python基于爬蟲(chóng)與文本挖掘的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)_第1頁(yè)
python基于爬蟲(chóng)與文本挖掘的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)_第2頁(yè)
python基于爬蟲(chóng)與文本挖掘的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)_第3頁(yè)
python基于爬蟲(chóng)與文本挖掘的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)_第4頁(yè)
python基于爬蟲(chóng)與文本挖掘的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)_第5頁(yè)
已閱讀5頁(yè),還剩21頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

第二章開(kāi)發(fā)工具和開(kāi)發(fā)技術(shù)本系統(tǒng)在后臺(tái)使用Python語(yǔ)言實(shí)現(xiàn)跨平臺(tái)的處理,以B/S的結(jié)構(gòu)方式以及django框架進(jìn)行開(kāi)發(fā),數(shù)據(jù)庫(kù)使用MySQL。2.1Python語(yǔ)言Python語(yǔ)言是荷蘭guidovanrossum在1991年推出的一種免費(fèi)開(kāi)源語(yǔ)言,其開(kāi)發(fā)的程序可讀性非常強(qiáng),非常適合初學(xué)者學(xué)習(xí),功能強(qiáng)大并且易于開(kāi)發(fā),可擴(kuò)展性很強(qiáng),代碼庫(kù)也很豐富,它的應(yīng)用范圍也非常廣,例如web應(yīng)用開(kāi)發(fā)、科學(xué)計(jì)算、人工智能等多個(gè)領(lǐng)域。自2005年開(kāi)始,Python上漲的勢(shì)頭就非常明顯,如今已經(jīng)進(jìn)入到3.0時(shí)代,近來(lái)在tiobe公布的2022年1月排行榜中,Python取得了第一的成績(jī),這說(shuō)明Python語(yǔ)言在蓬勃發(fā)展并且其發(fā)展前景非常好。對(duì)于物聯(lián)網(wǎng)專(zhuān)業(yè)的中職學(xué)生來(lái)說(shuō),學(xué)習(xí)Python語(yǔ)言不僅可以提高他們的專(zhuān)業(yè)水平和邏輯性,還可以提高他們的就業(yè)競(jìng)爭(zhēng)力。2.2Django框架Django是一個(gè)開(kāi)放源代碼的Web應(yīng)用框架,由Python寫(xiě)成。采用了MVT的框架模式,即模型M,視圖V和模板T。它最初是被開(kāi)發(fā)來(lái)用于管理勞倫斯出版集團(tuán)旗下的一些以新聞內(nèi)容為主的網(wǎng)站的,即是CMS(內(nèi)容管理系統(tǒng))軟件。并于2005年7月在BSD許可證下發(fā)布。這套框架是以比利時(shí)的吉普賽爵士吉他手DjangoReinhardt來(lái)命名的。2.3Hadoop介紹Hadoop是一個(gè)開(kāi)源的分布式計(jì)算平臺(tái),它使用簡(jiǎn)單的編程模型,基于集群的方式處理大量數(shù)據(jù)。Hadoop由兩個(gè)主要部分組成:HadoopDistributedFileSystem(HDFS)和MapReduce。HDFS是一個(gè)高度容錯(cuò)性的文件系統(tǒng),能夠在低成本硬件上提供高吞吐量的數(shù)據(jù)訪(fǎng)問(wèn)。MapReduce是一種并行處理框架,能夠?qū)⒋笠?guī)模數(shù)據(jù)集分解成多個(gè)小任務(wù),并在集群中并行執(zhí)行這些任務(wù)。Hadoop具有高可靠性、高擴(kuò)展性和低成本等優(yōu)點(diǎn),被廣泛應(yīng)用于大數(shù)據(jù)存儲(chǔ)和分析領(lǐng)域。2.4Scrapy介紹Scrapy是一個(gè)開(kāi)源且強(qiáng)大的Python爬蟲(chóng)框架,用于快速開(kāi)發(fā)和部署網(wǎng)絡(luò)爬蟲(chóng)。它由Twisted異步網(wǎng)絡(luò)庫(kù)驅(qū)動(dòng),能夠高效處理請(qǐng)求和響應(yīng),同時(shí)提供了一系列便捷的工具來(lái)解析網(wǎng)頁(yè)、提取結(jié)構(gòu)和存儲(chǔ)數(shù)據(jù)。Scrapy的設(shè)計(jì)遵循了Don'tRepeatYourself(DRY)的原則,具有高度的模塊化,支持中間件、管道和擴(kuò)展,使得定制和擴(kuò)展功能變得十分簡(jiǎn)便。此外,它還提供了豐富的命令行工具和API,使得爬蟲(chóng)的管理、監(jiān)控和部署變得簡(jiǎn)單而直觀(guān)。Scrapy廣泛用于數(shù)據(jù)挖掘、信息收集以及自動(dòng)化測(cè)試等領(lǐng)域,是數(shù)據(jù)工程師和開(kāi)發(fā)者的重要工具之一。2.5MYSQL數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)在軟件項(xiàng)目中扮演著操作管理數(shù)據(jù)的角色同時(shí)還能夠保證數(shù)據(jù)的獨(dú)立性、一致性和安全性,并為系統(tǒng)訪(fǎng)問(wèn)數(shù)據(jù)提供有效方式不僅如此數(shù)據(jù)庫(kù)還能大大減少程序員開(kāi)發(fā)程序時(shí)間。在日常能夠接觸實(shí)用的一般有兩類(lèi)數(shù)據(jù)庫(kù),一類(lèi)是以(Oracle,DB2,SQLServer,MySQL)為代表的關(guān)系型數(shù)據(jù)庫(kù)和以(NoSql、MongeDB)為代表的非關(guān)系型數(shù)據(jù)庫(kù),兩類(lèi)數(shù)據(jù)庫(kù)各有各的優(yōu)缺點(diǎn)。其中非關(guān)系型數(shù)據(jù)庫(kù)又分為網(wǎng)絡(luò)數(shù)據(jù)庫(kù)和層級(jí)數(shù)據(jù)庫(kù)。-網(wǎng)絡(luò)數(shù)據(jù)庫(kù)是指在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中應(yīng)用數(shù)據(jù)庫(kù)技術(shù)然后借助網(wǎng)絡(luò)技術(shù)將存儲(chǔ)于數(shù)據(jù)庫(kù)中的大量信息及時(shí)發(fā)布出去;在成熟的數(shù)據(jù)庫(kù)技術(shù)的幫助下,計(jì)算機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)中的各種數(shù)據(jù)的有效管理,用戶(hù)與網(wǎng)絡(luò)中的數(shù)據(jù)庫(kù)數(shù)據(jù)交互也借此得以進(jìn)行。IMS也是最早研制成功的數(shù)據(jù)庫(kù)系統(tǒng)。關(guān)系數(shù)據(jù)結(jié)構(gòu)、關(guān)系操作集合、關(guān)系完整性約束構(gòu)成了關(guān)系模型。2.6B/S架構(gòu)B/S結(jié)構(gòu)目前廣泛應(yīng)用于絕大部分系統(tǒng)搭建中,這種結(jié)構(gòu)摒棄C/S結(jié)構(gòu)客戶(hù)端服務(wù)端不分離的缺點(diǎn),具有更多的優(yōu)勢(shì):(1)跨平臺(tái)性:B/S的標(biāo)準(zhǔn)由標(biāo)準(zhǔn)化組織確立,適用于絕大多數(shù)的系統(tǒng)搭建,通用于應(yīng)用之間。(2)低維護(hù)成本:客戶(hù)端和服務(wù)器端分離,減輕了兩端的壓力,尤其是客戶(hù)端,對(duì)客戶(hù)端設(shè)備,硬件、軟件要求都比較低,并且系統(tǒng)需要升級(jí)或維護(hù)時(shí),只需要在服務(wù)器端升級(jí)或維護(hù)就可以,使相應(yīng)的費(fèi)用減少。

第三章需求分析在軟件的命周期中,需求分析是其中關(guān)鍵的一環(huán)。需求分析過(guò)程中不僅要對(duì)系統(tǒng)應(yīng)該實(shí)現(xiàn)的功能提出準(zhǔn)確和完善的請(qǐng)求,還要考慮需求的可行性。需求分析對(duì)設(shè)計(jì)和實(shí)現(xiàn)一個(gè)系統(tǒng)具有決定性的重大意義。只有充分完整的需求分析才能為后續(xù)的系統(tǒng)開(kāi)發(fā)過(guò)程和實(shí)現(xiàn)成果奠定基礎(chǔ)。3.1需求描述根據(jù)日常實(shí)際需要,一方面需要在系統(tǒng)中實(shí)現(xiàn)基礎(chǔ)信息的管理,同時(shí)還需要結(jié)合實(shí)際情況的需要,提供網(wǎng)絡(luò)輿情監(jiān)控管理功能,方便網(wǎng)絡(luò)輿情監(jiān)控管理工作的展開(kāi),綜合考慮,本套系統(tǒng)應(yīng)該滿(mǎn)足如下要求:首先,在系統(tǒng)中需要實(shí)現(xiàn)對(duì)基礎(chǔ)信息,包括登錄注冊(cè)、個(gè)人信息修改等信息的管理,這些是系統(tǒng)的基礎(chǔ)信息,和系統(tǒng)中其他內(nèi)容密切相關(guān)。然后,系統(tǒng)中需要實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情的各項(xiàng)數(shù)據(jù)進(jìn)行分析,允許管理員對(duì)系統(tǒng)進(jìn)行必要的設(shè)置。3.2系統(tǒng)可行性分析3.2.1技術(shù)可行性分析技術(shù)可行性分析基于現(xiàn)在web水平、軟硬件水平能否開(kāi)發(fā)出網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng),經(jīng)過(guò)對(duì)市面常見(jiàn)網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)了解研究對(duì)比,以及此次網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的估測(cè),預(yù)計(jì)在技術(shù)方面開(kāi)發(fā)本系統(tǒng)是可行的。第一,Python語(yǔ)言發(fā)展成熟且市面十分流行,由Python完成本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的開(kāi)發(fā)、調(diào)試,結(jié)合市面成熟的集成開(kāi)發(fā)軟件輔助開(kāi)發(fā),且本電腦配置win10系統(tǒng),足夠滿(mǎn)足本次網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)開(kāi)發(fā)。第二,驗(yàn)證技術(shù)發(fā)展迅速,使得本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)安全性很高。綜上所訴,開(kāi)發(fā)本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)完全可行。3.2.2經(jīng)濟(jì)可行性分析經(jīng)濟(jì)可行性分析,就是分析在現(xiàn)有經(jīng)濟(jì)情況下能否完成本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的開(kāi)發(fā)。下面對(duì)本系統(tǒng)開(kāi)發(fā)、運(yùn)行、維護(hù)的相關(guān)費(fèi)用評(píng)估,以及投入到社會(huì)完成系統(tǒng)可能費(fèi)用進(jìn)行估算。網(wǎng)絡(luò)資源豐富,本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)只需使用任選一開(kāi)源服務(wù)器即可,此方面無(wú)需投入費(fèi)用。開(kāi)發(fā)階段,由于本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)不屬于大型系統(tǒng),常規(guī)的電腦就可完成開(kāi)發(fā),不用購(gòu)置相關(guān)硬件設(shè)備。軟件方面,本系統(tǒng)只需使用網(wǎng)上免費(fèi)下載的軟件即可完成開(kāi)發(fā),這些軟件在使用時(shí)簡(jiǎn)單易懂,無(wú)需培訓(xùn),因此這方面也無(wú)需投入費(fèi)用。由于本系統(tǒng)不屬于大型系統(tǒng),運(yùn)行時(shí)候電費(fèi)可以忽略不記。網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)作為自己畢設(shè),由本人開(kāi)發(fā)即可完成,無(wú)需人力費(fèi)用。綜上,整個(gè)系統(tǒng)開(kāi)發(fā)花費(fèi)很少,所以本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)在經(jīng)濟(jì)上可行。3.2.3環(huán)境運(yùn)行可行性分析軟件在能否在客戶(hù)端使用并發(fā)揮效益的制約關(guān)鍵就是運(yùn)行環(huán)境。計(jì)算機(jī)普及,現(xiàn)在人們接觸各類(lèi)系統(tǒng)頻繁,日常生活使用計(jì)算機(jī)無(wú)障礙。并且該網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)頁(yè)面簡(jiǎn)單,通過(guò)顯示頁(yè)面引導(dǎo)即可完成本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)刪除、增加、修改等功能。對(duì)計(jì)算機(jī)要求低,門(mén)檻低,通過(guò)常用瀏覽器即可使用本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)。因此在運(yùn)行環(huán)境方面,本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)易于接受,是可行的。3.2.4法律可行性分析法律可行性分析,即分析本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)是否與各類(lèi)法律相悖。本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)使用市面開(kāi)源免費(fèi)軟件開(kāi)發(fā),且作為個(gè)人畢設(shè),無(wú)商用,均為本人自主開(kāi)發(fā),并且頁(yè)面設(shè)計(jì)合理,發(fā)布的網(wǎng)絡(luò)輿情要求符合常規(guī)。整個(gè)系統(tǒng)無(wú)抵觸法律法規(guī)的問(wèn)題。因此在法律上,本網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)可行。3.3系統(tǒng)功能需求分析基于爬蟲(chóng)與文本挖掘的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的功能需求分析如下:1.數(shù)據(jù)爬?。合到y(tǒng)需要具備強(qiáng)大的網(wǎng)絡(luò)爬蟲(chóng)功能,能夠自動(dòng)從各大社交媒體平臺(tái)、新聞網(wǎng)站和論壇等網(wǎng)絡(luò)資源中實(shí)時(shí)爬取數(shù)據(jù)。2.數(shù)據(jù)處理:系統(tǒng)需要能夠處理海量數(shù)據(jù),包括數(shù)據(jù)清洗、去重和格式轉(zhuǎn)換等操作,以便后續(xù)分析。3.文本挖掘:系統(tǒng)需要具備文本挖掘功能,能夠進(jìn)行關(guān)鍵詞提取、情感分析、主題建模等操作,以揭示網(wǎng)絡(luò)輿情的關(guān)鍵信息。4.數(shù)據(jù)分析:系統(tǒng)需要提供數(shù)據(jù)分析功能,包括數(shù)據(jù)統(tǒng)計(jì)、可視化展示和趨勢(shì)預(yù)測(cè)等,以便用戶(hù)了解網(wǎng)絡(luò)輿情的整體情況和發(fā)展趨勢(shì)。5.報(bào)警機(jī)制:系統(tǒng)需要具備預(yù)警機(jī)制,能夠根據(jù)用戶(hù)設(shè)定的關(guān)鍵詞或閾值,及時(shí)發(fā)送警報(bào)通知用戶(hù)。6.用戶(hù)管理:系統(tǒng)需要提供用戶(hù)管理功能,包括用戶(hù)注冊(cè)、登錄、權(quán)限分配等操作,以保證系統(tǒng)的安全性和可靠性。7.系統(tǒng)簡(jiǎn)介:系統(tǒng)需要提供詳細(xì)的使用說(shuō)明和幫助文檔,方便用戶(hù)快速上手和使用。3.4非功能性需求分析基于爬蟲(chóng)與文本挖掘的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的非功能需求分析如下:1.性能要求:系統(tǒng)需保證高效的數(shù)據(jù)處理能力,能夠快速響應(yīng)用戶(hù)請(qǐng)求,并在短時(shí)間內(nèi)完成大量數(shù)據(jù)的爬取、處理和分析。2.可靠性要求:系統(tǒng)應(yīng)具備高可靠性,確保長(zhǎng)時(shí)間穩(wěn)定運(yùn)行,同時(shí)應(yīng)有數(shù)據(jù)備份機(jī)制,防止數(shù)據(jù)丟失或損壞。3.可擴(kuò)展性要求:系統(tǒng)設(shè)計(jì)應(yīng)具有良好的可擴(kuò)展性,支持未來(lái)功能的增加或升級(jí),以適應(yīng)不斷變化的網(wǎng)絡(luò)環(huán)境和用戶(hù)需求。4.安全性要求:系統(tǒng)需要實(shí)現(xiàn)嚴(yán)格的安全措施,包括數(shù)據(jù)加密、訪(fǎng)問(wèn)控制和防止惡意攻擊等,保護(hù)系統(tǒng)和數(shù)據(jù)的安全。5.用戶(hù)友好性要求:系統(tǒng)界面應(yīng)直觀(guān)易用,便于用戶(hù)操作和管理,同時(shí)提供詳細(xì)的幫助文檔和技術(shù)支持。6.兼容性要求:系統(tǒng)應(yīng)兼容主流操作系統(tǒng)和瀏覽器,確保不同用戶(hù)的設(shè)備均可無(wú)障礙使用。7.維護(hù)性要求:系統(tǒng)應(yīng)易于維護(hù)和更新,以便及時(shí)修復(fù)漏洞、改進(jìn)功能和提升性能。3.5系統(tǒng)流程分析3.5.1登錄流程登錄流程步驟如下:(1)創(chuàng)建新賬號(hào):如果尚未注冊(cè),可以選擇創(chuàng)建新賬號(hào)。(2)填寫(xiě)賬號(hào)信息:在創(chuàng)建新賬號(hào)的流程中,需要填寫(xiě)賬號(hào)信息。(3)驗(yàn)證賬號(hào)信息:對(duì)用戶(hù)提交的賬號(hào)信息進(jìn)行驗(yàn)證。(4)通過(guò):如果賬號(hào)信息驗(yàn)證通過(guò),則進(jìn)入下一步。(5)失敗:如果賬號(hào)信息驗(yàn)證失敗,返回填寫(xiě)賬號(hào)信息的頁(yè)面。(6)注冊(cè)成功:如果所有步驟都順利完成,則表示注冊(cè)成功。(7)結(jié)束:流程的終止點(diǎn)。 圖3-1登錄流程圖3.5.2添加流程注冊(cè)流程步驟如下:(1)開(kāi)始節(jié)點(diǎn):表示流程的開(kāi)始。(2)輸入數(shù)據(jù):獲取需要添加的數(shù)據(jù)。(3)判斷條件:根據(jù)特定條件判斷是否滿(mǎn)足添加要求。(4)是:如果條件滿(mǎn)足,則執(zhí)行下一步;否則,結(jié)束流程。(5)添加到數(shù)據(jù)庫(kù)/列表等:將數(shù)據(jù)添加到目標(biāo)位置。(6)更新界面:刷新或更新界面以顯示新添加的數(shù)據(jù)。(7)結(jié)束節(jié)點(diǎn):表示流程的結(jié)束。圖3-2添加流程圖3.5.3刪除信息流程管理人員選擇自己想要?jiǎng)h除一條信息后,點(diǎn)擊后面的“刪除”按鈕,系統(tǒng)就會(huì)給管理人員一個(gè)提示表明信息刪除成功了,與此同時(shí)系統(tǒng)會(huì)從數(shù)據(jù)庫(kù)中將管理人員想要?jiǎng)h除的這條信息給刪除掉。刪除信息流程圖如圖3-3所示。圖3-3刪除信息流程圖3.6本章小結(jié)本章首先對(duì)整個(gè)系統(tǒng)進(jìn)行了詳細(xì)的需求描述,然后按照這些要求對(duì)系統(tǒng)的角色和功能進(jìn)行了詳細(xì)的分析,并對(duì)這些要求進(jìn)行了詳細(xì)的說(shuō)明。同時(shí)為保證需求分析的全面性,還對(duì)系統(tǒng)的一些非功能性需求進(jìn)行描述和對(duì)系統(tǒng)流程進(jìn)行分析,為以后的系統(tǒng)的開(kāi)發(fā)提供了一個(gè)比較完善的參考依據(jù)。第四章系統(tǒng)設(shè)計(jì)4.1系統(tǒng)總體設(shè)計(jì)系統(tǒng)的建設(shè)可以為網(wǎng)絡(luò)輿情監(jiān)控管理提供幫助,通過(guò)對(duì)一些基礎(chǔ)信息管理實(shí)現(xiàn)針對(duì)性的安排,可以按照用戶(hù)的角色權(quán)限使不同用戶(hù)角色看到不一樣的信息界面。現(xiàn)根據(jù)需求階段的分析,我們可以大致確定系統(tǒng)需要包含的功能如下圖所示:圖4-1系統(tǒng)總體結(jié)構(gòu)圖4.2數(shù)據(jù)庫(kù)設(shè)計(jì)數(shù)據(jù)庫(kù)能直觀(guān)反映表現(xiàn)系統(tǒng)的需求,數(shù)據(jù)庫(kù)的設(shè)計(jì)能否切實(shí)符合系統(tǒng)的需求關(guān)系到整個(gè)系統(tǒng)最終的呈現(xiàn)結(jié)果。通過(guò)之前的分析梳理,明確了系統(tǒng)中需要包含的功能和要求。系統(tǒng)中除了涉及對(duì)數(shù)據(jù)庫(kù)的增加、刪除、查詢(xún)、修改的基礎(chǔ)操作較多,還要理清實(shí)體間的對(duì)應(yīng)關(guān)系,據(jù)此完成表結(jié)構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)。4.2.1數(shù)據(jù)庫(kù)邏輯設(shè)計(jì)為了更直觀(guān)闡明數(shù)據(jù)庫(kù)的設(shè)計(jì),使用Vision繪制的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)數(shù)據(jù)模型E-R實(shí)體屬性圖。本系統(tǒng)E-R如圖4-2所示:圖4-2系統(tǒng)E-R圖4.2.2數(shù)據(jù)庫(kù)表設(shè)計(jì)在關(guān)系數(shù)據(jù)E-R圖中,分析并創(chuàng)建數(shù)據(jù)表,數(shù)據(jù)表用來(lái)記錄信息,數(shù)據(jù)表關(guān)系由多個(gè)數(shù)據(jù)表組成,下面介紹的是數(shù)據(jù)表各個(gè)字段信息如下表所示。表4-1:用戶(hù)字段名稱(chēng)類(lèi)型長(zhǎng)度字段說(shuō)明主鍵默認(rèn)值idbigint主鍵主鍵addtimetimestamp創(chuàng)建時(shí)間CURRENT_TIMESTAMPyonghuzhanghaovarchar200用戶(hù)賬號(hào)mimavarchar200密碼yonghuxingmingvarchar200用戶(hù)姓名xingbievarchar200性別lianxifangshivarchar200聯(lián)系方式touxianglongtext4294967295頭像表4-2:網(wǎng)絡(luò)輿情字段名稱(chēng)類(lèi)型長(zhǎng)度字段說(shuō)明主鍵默認(rèn)值idbigint主鍵主鍵addtimetimestamp創(chuàng)建時(shí)間CURRENT_TIMESTAMPdetailurlvarchar200詳情地址authorvarchar200博主commentsint評(píng)論數(shù)attitudesint點(diǎn)贊數(shù)repostsint分享數(shù)cityvarchar200發(fā)布城市textlongtext4294967295博文bozhuinfolongtext4294967295博主信息表4-3:管理員表字段名稱(chēng)類(lèi)型長(zhǎng)度字段說(shuō)明主鍵默認(rèn)值idbigint主鍵主鍵usernamevarchar100用戶(hù)名passwordvarchar100密碼imagevarchar200頭像rolevarchar100角色管理員addtimetimestamp新增時(shí)間CURRENT_TIMESTAMP表4-4:系統(tǒng)簡(jiǎn)介字段名稱(chēng)類(lèi)型長(zhǎng)度字段說(shuō)明主鍵默認(rèn)值idbigint主鍵主鍵addtimetimestamp創(chuàng)建時(shí)間CURRENT_TIMESTAMPtitlevarchar200標(biāo)題subtitlevarchar200副標(biāo)題contentlongtext4294967295內(nèi)容picture1longtext4294967295圖片1picture2longtext4294967295圖片2picture3longtext4294967295圖片3表4-5:配置文件字段名稱(chēng)類(lèi)型長(zhǎng)度字段說(shuō)明主鍵默認(rèn)值idbigint主鍵主鍵namevarchar100配置參數(shù)名稱(chēng)valuevarchar100配置參數(shù)值urlvarchar500url4.3本章小結(jié)這一章著重介紹了整個(gè)系統(tǒng)的設(shè)計(jì)。確定了系統(tǒng)的功能結(jié)構(gòu),并在此基礎(chǔ)上完成了數(shù)據(jù)庫(kù)的設(shè)計(jì)。第五章詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)5.1系統(tǒng)登錄注冊(cè)實(shí)現(xiàn)在登錄流程中,用戶(hù)首先在Vue前端界面輸入用戶(hù)名和密碼。這些信息通過(guò)HTTP請(qǐng)求發(fā)送到Python后端。后端接收請(qǐng)求,通過(guò)與MySQL數(shù)據(jù)庫(kù)交互驗(yàn)證用戶(hù)憑證。如果認(rèn)證成功,后端會(huì)返回給前端,允許用戶(hù)訪(fǎng)問(wèn)系統(tǒng)。這個(gè)過(guò)程涵蓋了從用戶(hù)輸入到系統(tǒng)驗(yàn)證和響應(yīng)的全過(guò)程。如圖5-1所示。圖5-1系統(tǒng)登錄界面在注冊(cè)流程中,用戶(hù)在Vue前端填寫(xiě)必要信息(如用戶(hù)名、密碼等)并提交。前端將這些信息通過(guò)HTTP請(qǐng)求發(fā)送到Python后端。后端處理這些信息,檢查用戶(hù)名是否唯一,并將新用戶(hù)數(shù)據(jù)存入MySQL數(shù)據(jù)庫(kù)。完成后,后端向前端發(fā)送注冊(cè)成功的確認(rèn),前端隨后通知用戶(hù)完成注冊(cè)。這個(gè)過(guò)程實(shí)現(xiàn)了新用戶(hù)的數(shù)據(jù)收集、驗(yàn)證和存儲(chǔ)。如圖5-2所示。圖5-2注冊(cè)頁(yè)面界面5.2管理員功能實(shí)現(xiàn)管理員進(jìn)入主頁(yè)面,主要功能包括對(duì)主頁(yè)、用戶(hù)信息、用戶(hù)、網(wǎng)絡(luò)輿情、系統(tǒng)簡(jiǎn)介等進(jìn)行操作。管理員主頁(yè)面如圖5-3所示:圖5-3管理員主界面用戶(hù)功能實(shí)現(xiàn)是在Django后端部分,您需要?jiǎng)?chuàng)建一個(gè)新的應(yīng)用,然后在該應(yīng)用下創(chuàng)建一個(gè)模型(models.py)來(lái)定義用戶(hù)的數(shù)據(jù)結(jié)構(gòu),使用Django的ORM來(lái)處理與MySQL數(shù)據(jù)庫(kù)的交互,包括用戶(hù)信息的搜索、增加或刪除等操作。接著,在views.py中編寫(xiě)視圖邏輯來(lái)處理前端請(qǐng)求,使用Django的URL路由(urls.py)將請(qǐng)求映射到相應(yīng)的視圖函數(shù)。對(duì)于數(shù)據(jù)的驗(yàn)證和序列化,可以使用Django的表單或序列化器來(lái)實(shí)現(xiàn)。在前端Vue.js部分,將創(chuàng)建相應(yīng)的Vue組件,在這些組件中使用axios或其他HTTP庫(kù)與Django后端的API進(jìn)行交互,實(shí)現(xiàn)用戶(hù)信息的瀏覽、修改或刪除等。狀態(tài)管理可以通過(guò)Vuex來(lái)維護(hù),比如在store目錄下定義用戶(hù)模塊的狀態(tài)、突變、動(dòng)作和獲取器。如圖5-4所示:圖5-4用戶(hù)界面網(wǎng)絡(luò)輿情管理功能實(shí)現(xiàn)是在Django后端部分,您需要?jiǎng)?chuàng)建一個(gè)新的應(yīng)用,然后在該應(yīng)用下創(chuàng)建一個(gè)模型(models.py)來(lái)定義網(wǎng)絡(luò)輿情的數(shù)據(jù)結(jié)構(gòu),使用Django的ORM來(lái)處理與MySQL數(shù)據(jù)庫(kù)的交互,包括網(wǎng)絡(luò)輿情信息的搜索、刪除或爬取數(shù)據(jù)等操作。接著,在views.py中編寫(xiě)視圖邏輯來(lái)處理前端請(qǐng)求,使用Django的URL路由(urls.py)將請(qǐng)求映射到相應(yīng)的視圖函數(shù)。對(duì)于數(shù)據(jù)的驗(yàn)證和序列化,可以使用Django的表單或序列化器來(lái)實(shí)現(xiàn)。在前端Vue.js部分,將創(chuàng)建相應(yīng)的Vue組件,在這些組件中使用axios或其他HTTP庫(kù)與Django后端的API進(jìn)行交互,實(shí)現(xiàn)網(wǎng)絡(luò)輿情信息的瀏覽或刪除等。狀態(tài)管理可以通過(guò)Vuex來(lái)維護(hù),比如在store目錄下定義網(wǎng)絡(luò)輿情模塊的狀態(tài)、突變、動(dòng)作和獲取器。如圖5-5所示:圖5-5網(wǎng)絡(luò)輿情管理界面管理員進(jìn)行爬取數(shù)據(jù)后可以在看板頁(yè)面查看到系統(tǒng)簡(jiǎn)介、評(píng)論數(shù)統(tǒng)計(jì)、點(diǎn)贊數(shù)統(tǒng)計(jì)、分享數(shù)統(tǒng)計(jì)、發(fā)布城市統(tǒng)計(jì)、網(wǎng)絡(luò)輿情總數(shù)、網(wǎng)絡(luò)輿情詳情等實(shí)時(shí)的分析圖進(jìn)行可視化管理;看板大屏選擇了Echart作為數(shù)據(jù)可視化工具,它是一個(gè)使用JavaScript實(shí)現(xiàn)的開(kāi)源可視化庫(kù),能夠無(wú)縫集成到JavaWeb應(yīng)用中。Echart的強(qiáng)大之處在于其豐富的圖表類(lèi)型和高度的定制化能力,使得管理人員可以通過(guò)直觀(guān)的圖表清晰地把握網(wǎng)絡(luò)輿情的各項(xiàng)統(tǒng)計(jì)數(shù)據(jù)。為了實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情信息的自動(dòng)化收集和更新,我們采用了ApacheSpark作為爬蟲(chóng)技術(shù)的基礎(chǔ)。Spark的分布式計(jì)算能力使得系統(tǒng)能夠高效地處理大規(guī)模數(shù)據(jù),無(wú)論是從互聯(lián)網(wǎng)上抓取最新的網(wǎng)絡(luò)輿情信息,還是對(duì)內(nèi)部數(shù)據(jù)進(jìn)行ETL(提取、轉(zhuǎn)換、加載)操作,都能夠保證數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性。在大數(shù)據(jù)分析方面,系統(tǒng)采用了Hadoop框架。Hadoop是一個(gè)能夠處理大數(shù)據(jù)集的分布式存儲(chǔ)和計(jì)算平臺(tái),它的核心是HDFS(HadoopDistributedFileSystem)和MapReduce計(jì)算模型。通過(guò)Hadoop,我們可以對(duì)收集到的大量數(shù)據(jù)進(jìn)行存儲(chǔ)和分析??窗屙?yè)面如圖5-6所示:圖5-6看板詳細(xì)頁(yè)面管理員點(diǎn)擊系統(tǒng)簡(jiǎn)介,在系統(tǒng)簡(jiǎn)介頁(yè)面輸入標(biāo)題進(jìn)行搜索,可以查看到系統(tǒng)簡(jiǎn)介詳細(xì)信息,并根據(jù)需要進(jìn)行瀏覽或修改操作。如圖5-7所示:圖5-7系統(tǒng)簡(jiǎn)介界面5.3用戶(hù)功能實(shí)現(xiàn)用戶(hù)進(jìn)入主頁(yè)面,主要功能包括對(duì)主頁(yè)、用戶(hù)信息、網(wǎng)絡(luò)輿情等進(jìn)行操作。用戶(hù)主頁(yè)面如圖5-8所示:圖5-8用戶(hù)主界面用戶(hù)點(diǎn)擊網(wǎng)絡(luò)輿情,進(jìn)入網(wǎng)絡(luò)輿情頁(yè)面輸入博主和發(fā)布城市進(jìn)行搜索網(wǎng)絡(luò)輿情詳細(xì)信息。并進(jìn)行瀏覽操作。如圖5-9所示:圖5-9網(wǎng)絡(luò)輿情界面5.4本章小結(jié)本章主要基于前面系統(tǒng)設(shè)計(jì)的內(nèi)容,詳細(xì)介紹了管理員和用戶(hù)對(duì)網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的主要功能界面進(jìn)行詳細(xì)介紹和展示。第六章系統(tǒng)測(cè)試6.1測(cè)試目的在網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的開(kāi)發(fā)周期中,系統(tǒng)測(cè)試是必不可少且考驗(yàn)?zāi)托牡倪^(guò)程。其重要性在于,它是保證系統(tǒng)質(zhì)量和牢靠性的最后一道關(guān),也是整個(gè)系統(tǒng)開(kāi)發(fā)過(guò)程的最后一次檢查。系統(tǒng)測(cè)試主要是為了避免用戶(hù)在使用時(shí)發(fā)生問(wèn)題,增強(qiáng)用戶(hù)體驗(yàn)感,為了不影響用戶(hù)的使用,我們需要從多角度、多思路去考慮系統(tǒng)可能遇到的問(wèn)題,通過(guò)不同的模擬場(chǎng)景來(lái)發(fā)現(xiàn)缺陷并解決問(wèn)題。在測(cè)試的過(guò)程中也可以了解到該系統(tǒng)的質(zhì)量情況,系統(tǒng)功能是否健全,系統(tǒng)邏輯是否順暢。一個(gè)合格的系統(tǒng)測(cè)試過(guò)程完成后將大大提升系統(tǒng)質(zhì)量和使用感。測(cè)試的目標(biāo)是驗(yàn)證系統(tǒng)是否符合需求規(guī)格說(shuō)明書(shū)的定義,并找出與需求規(guī)格說(shuō)明書(shū)不符合或與之沖突的內(nèi)容。測(cè)試過(guò)程中一定站在用戶(hù)的角度考慮問(wèn)題,避免一些不切實(shí)際的場(chǎng)景,浪費(fèi)測(cè)試時(shí)間,從而可能會(huì)引起問(wèn)題導(dǎo)致預(yù)期結(jié)果與實(shí)際結(jié)果不符。6.2測(cè)試用例(1)登錄測(cè)試登錄功能是用戶(hù)進(jìn)入系統(tǒng)的校驗(yàn)窗口,其中需要填寫(xiě)的信息包括用戶(hù)賬號(hào)和用戶(hù)密碼,下面將根據(jù)此功能設(shè)計(jì)具體測(cè)試用例來(lái)驗(yàn)證登錄功能的實(shí)現(xiàn)與否。具體測(cè)試用例見(jiàn)表6-1。表6-1登錄功能測(cè)試用例用例序號(hào)用例描述測(cè)試步驟期望輸出測(cè)試結(jié)果Test_01頁(yè)面展示瀏覽器輸入登錄地址進(jìn)入登錄頁(yè)面成功Test_02賬號(hào)非空檢驗(yàn)賬號(hào)為空,點(diǎn)擊“登錄”按鈕提示“用戶(hù)賬號(hào)必須輸入”成功Test_03賬號(hào)存在性檢驗(yàn)輸入不存在的賬號(hào)提示“輸入的賬號(hào)不存在”成功Test_04密碼非空檢驗(yàn)輸入正確的賬號(hào),密碼為空提示“用戶(hù)密碼必須輸入”成功Test_05密碼正確性檢驗(yàn)輸入正確的賬號(hào)和不正確的密碼提示“輸入的密碼錯(cuò)誤”成功Test_06登錄成功檢驗(yàn)輸入正確的賬號(hào)和密碼登錄成功,進(jìn)入首頁(yè)成功(2)修改密碼測(cè)試更改密碼功能需要用戶(hù)輸入原始密碼、修改后的密碼、修改后的確認(rèn)密碼,方可更換密碼。具體測(cè)試用例見(jiàn)表6-2。表6-2修改密碼測(cè)試用例用例序號(hào)用例描述測(cè)試步驟期望輸出測(cè)試結(jié)果Test_01頁(yè)面跳轉(zhuǎn)點(diǎn)擊“密碼修改”按鈕進(jìn)入密碼修改頁(yè)面成功Test_02原始密碼非空檢驗(yàn)原始密碼為空,點(diǎn)擊“提交”按鈕提示“原始密碼必須輸入”成功Test_03原始密碼正確性檢驗(yàn)輸入錯(cuò)誤原始密碼提示“原始密碼輸入錯(cuò)誤”成功Test_04修改密碼非空檢驗(yàn)輸入正確的原始密碼,修改密碼為空,點(diǎn)擊“提交”按鈕提示“修改密碼必須輸入”成功Test_05確認(rèn)密碼非空檢驗(yàn)輸入正確的原始密碼,修改密碼非空,確認(rèn)密碼為空,點(diǎn)擊“提交”按鈕提示“確認(rèn)密碼必須輸入”成功Test_06兩次新密碼輸入一致性檢驗(yàn)輸入正確的原始密碼,修改密碼非空,確認(rèn)密碼與修改密碼不一致,點(diǎn)擊“提交”按鈕提示“兩次密碼輸入不一致”成功Test_07修改成功檢驗(yàn)輸入正確的原始密碼,修改密碼非空,確認(rèn)密碼與修改密碼一致,點(diǎn)擊“提交”按鈕提示“處理成功”成功6.3本章小結(jié)本章主要內(nèi)容為系統(tǒng)測(cè)試,列舉部分黑盒測(cè)試的測(cè)試用例。結(jié)果發(fā)現(xiàn)系統(tǒng)基本實(shí)現(xiàn)了設(shè)計(jì)需求的大部分功能,未發(fā)現(xiàn)系統(tǒng)運(yùn)行過(guò)程中出現(xiàn)異常,數(shù)據(jù)加載符合最初設(shè)想,系統(tǒng)測(cè)試通過(guò),基本實(shí)現(xiàn)初始的設(shè)計(jì)目的。結(jié)論系統(tǒng)開(kāi)發(fā)的過(guò)程中,應(yīng)用了B/S結(jié)構(gòu)技術(shù)。在代碼執(zhí)行方面,主要是SQL的速度,采用了MYSQL數(shù)據(jù)庫(kù)在表結(jié)構(gòu)的設(shè)計(jì)中增加了索引和主鍵,也設(shè)計(jì)了表與表之間的主外鍵關(guān)系,使表結(jié)構(gòu)的設(shè)計(jì)能夠和SQL語(yǔ)句在執(zhí)行過(guò)程中有更快的速度來(lái)確保頁(yè)面響應(yīng)的及時(shí)性。通過(guò)運(yùn)用以上技術(shù)手段,使系統(tǒng)的性能得到了大幅度的提升,上述章節(jié)也對(duì)這些技術(shù)進(jìn)行了具體的描述,但是本系統(tǒng)還是有一些不足之處,后續(xù)仍要不斷地進(jìn)行迭代更新,以符合市場(chǎng)需求,避免被市場(chǎng)淘汰。該項(xiàng)目不僅完成了任務(wù)書(shū)中的所有要求,還增加了其他功能,以確保系統(tǒng)更加完整。實(shí)現(xiàn)了解放勞動(dòng)力的需求,使管理網(wǎng)絡(luò)輿情信息更加方便,實(shí)現(xiàn)信息化管理,對(duì)網(wǎng)絡(luò)輿情信息一目了然,用戶(hù)可以在網(wǎng)上了解網(wǎng)絡(luò)輿情信息。參考文獻(xiàn)[1]虞菊花,喬虹.基于Python的Web頁(yè)面自動(dòng)登錄工具設(shè)計(jì)與實(shí)現(xiàn)[J].安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報(bào),2023,22(03):19-22+28.[2]藍(lán)啟亮,吳光耀,王帥等.基于Python的CAN網(wǎng)絡(luò)數(shù)據(jù)庫(kù)管理分析[J].汽車(chē)實(shí)用技術(shù),2023,48(17):42-48.[3]李雙遠(yuǎn),李其昌.基于Django大學(xué)生網(wǎng)絡(luò)空間安全攻防實(shí)踐教學(xué)平臺(tái)的設(shè)計(jì)與研究[J].吉林化工學(xué)院學(xué)報(bào),2022,39(07):67-71.[4]楊珊珊.信息化視角下高校學(xué)生管理的創(chuàng)新路徑——評(píng)《高校教育信息化管理與學(xué)生管理工作》[J].中國(guó)科技論文,2022,17(04):483.[5]王開(kāi)柱,寧洪偉,李銳.B/S模式的網(wǎng)上選課系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[J].電腦知識(shí)與技術(shù),2021.[6]《大數(shù)據(jù)技術(shù)原理與應(yīng)用——概念、存儲(chǔ)、處理、分析與應(yīng)用(第3版)》林子雨人民郵電出版社2020-12-01[7]《網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù)》錢(qián)洋,姜元春電子工業(yè)出版社2020-01-01[8]周鑫.互聯(lián)網(wǎng)時(shí)代大數(shù)據(jù)技術(shù)在職業(yè)教育教學(xué)中的應(yīng)用[J].收藏,2019,1.[9]薛耀偉.基于Django框架管理界面自動(dòng)生成模塊的設(shè)計(jì)與實(shí)現(xiàn)[D].哈爾濱工業(yè)大學(xué),2020.[10]邱小群,鄧麗艷,陳海潮.基于B/S的信息管理系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)[J].信息與電腦(理論版),2022,34(20):146-148.[11]鄭戟明,董云朝,柳青.MySQL數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入導(dǎo)出方法的探討[J].電腦知識(shí)與技術(shù),2022,18(22):24-25.[1

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論