基于Hive“智慧農網”農產品數據分析可視化系統(tǒng)_第1頁
基于Hive“智慧農網”農產品數據分析可視化系統(tǒng)_第2頁
基于Hive“智慧農網”農產品數據分析可視化系統(tǒng)_第3頁
基于Hive“智慧農網”農產品數據分析可視化系統(tǒng)_第4頁
基于Hive“智慧農網”農產品數據分析可視化系統(tǒng)_第5頁
已閱讀5頁,還剩41頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

代碼5.19所示。代碼STYLEREF1\s5.SEQ代碼\*ARABIC\s119農產品價格查詢結果$('.layui-btn').click(function(){varinputVal=$('.layui-input').val()table.render({elem:'#demo',height:312,url:'http://localhost:8080/getPart6'//數據接口,page:true//開啟分頁,where:{query:inputVal},cols:[[//表頭 {field:'style',title:'名稱',width:120,sort:true,fixed:'left'},{field:'adress',title:'市場名稱',width:120},{field:'minprice',title:'最低價',width:120},{field:'maxprice',title:'最高價',width:120},{field:'avgprice',title:'平均價',width:120},{field:'time',title:'時間',width:120}]]})}本章小結本章對設計的系統(tǒng)進行了實現(xiàn),首先對網頁數據使用Python技術進行爬取,其次使用MapReduce計算框架對爬取的數據進行清洗,再將清洗后的數據放入HDSF中儲存,使用Hive技術將數據分別創(chuàng)建各類表進行分類分析。最后,使用Echarts可視化技術對已經分析好的數據進行可視化操作。使數據可視化便于系統(tǒng)用戶便捷使用。系統(tǒng)測試系統(tǒng)測試,是對系統(tǒng)的驗證,也是整個系統(tǒng)發(fā)展重要的步驟。測試結果直接關系系統(tǒng)成功與否。通過測試,保障系統(tǒng)的質量、性能和安全性。在系統(tǒng)試驗中,要嚴格規(guī)范,重視細節(jié),進行綜合試驗。系統(tǒng)測試的主要目的是找出系統(tǒng)中可能存在的問題或錯誤,及時修復這些問題,確保系統(tǒng)安全穩(wěn)定運行。功能測試系統(tǒng)采集數據測試系統(tǒng)采集數據測試用例如REF_Ref161145581\h表6.1所示表STYLEREF1\s6.SEQ表\*ARABIC\s11采集數據用例表系統(tǒng)測試測試用例用例編號001用例名稱系統(tǒng)采集數據用例測試目的確保采集農產品數據的完整性。測試步驟通過隨機抓取已采集的數據,查看數據庫中數據與頁面數據是否一致。測試過程如所示。期望結果所采集的數據與網頁顯示數據保持一致測試結果測試結果如REF_Ref161020274\h圖6.1所示,數據庫中所儲存的數據與頁面一致。具體步驟如下。圖STYLEREF1\s6.SEQ圖\*ARABIC\s11數據庫中爬取數據系統(tǒng)清洗數據測試系統(tǒng)清洗數據測試用例如REF_Ref161147084\h表6.2所示。表STYLEREF1\s6.SEQ表\*ARABIC\s12清洗數據用例表系統(tǒng)測試測試用例用例編號002用例名稱系統(tǒng)清洗數據用例測試目的確保將缺失值、異常值、超出范圍的數據清洗成功。測試步驟通過Hive查詢是否將異常農產品數據清洗。測試過程如REF_Ref161148362\h圖6.2所示。期望結果采集的數據完成數據清洗。測試結果Hive命令執(zhí)行后已將缺省值、異常值、超出范圍數據清洗成功。結果如REF_Ref161148368\h圖6.3所示。具體步驟如下。圖STYLEREF1\s6.SEQ圖\*ARABIC\s12進行數據清洗圖STYLEREF1\s6.SEQ圖\*ARABIC\s13清洗后數據系統(tǒng)分析數據測試系統(tǒng)分析數據測試用例如REF_Ref161148530\h表6.3所示。表STYLEREF1\s6.SEQ表\*ARABIC\s13分析數據用例表系統(tǒng)測試測試用例用例編號003用例名稱系統(tǒng)分析數據用例測試目的測試是否將清洗的農產品數據通過Hive進行數據分析。測試步驟通過MySQL數據庫查詢是否完成數據分析。測試過程如REF_Ref161149840\h圖6.4REF_Ref161149844\h圖6.5所示。期望結果清洗的數據完成數據分析。測試結果結果如REF_Ref161067492\h圖6.6所示。已將清洗后數據通過Hive數據分析實現(xiàn)分類。具體步驟如下。圖STYLEREF1\s6.SEQ圖\*ARABIC\s14執(zhí)行白菜最高價數據分析圖STYLEREF1\s6.SEQ圖\*ARABIC\s15hive中所有分析表圖STYLEREF1\s6.SEQ圖\*ARABIC\s16數據庫中數據分析分類表系統(tǒng)預測功能測試系統(tǒng)預測功能測試用例表如REF_Ref161149935\h表6.4所示。表STYLEREF1\s6.SEQ表\*ARABIC\s14預測功能用例表系統(tǒng)測試測試用例用例編號004用例名稱系統(tǒng)預測功能用例測試目的評估系統(tǒng)在不同環(huán)境和條件下對農產品的數據預測結果。測試步驟通過Python代碼實現(xiàn)價格的預測測試。期望結果成功進行價格的預測。測試結果農產品價格分析預測如REF_Ref160904793\h圖6.7REF_Ref160904794\h圖6.8REF_Ref160904797\h圖6.9所示。具體步驟如下所示。圖STYLEREF1\s6.SEQ圖\*ARABIC\s17線性回歸預測結果圖STYLEREF1\s6.SEQ圖\*ARABIC\s18霍爾特線性趨勢法預測結果圖STYLEREF1\s6.SEQ圖\*ARABIC\s19自回歸移動平均模型(ARIMA)預測結果系統(tǒng)可視化功能測試系統(tǒng)業(yè)務功能測試包含了多個功能測試。1.系統(tǒng)登陸注冊測試:登陸注冊測試用例如REF_Ref161150515\h表6.5所示。表STYLEREF1\s6.SEQ表\*ARABIC\s15登陸組成測試用例表系統(tǒng)測試測試用例用例編號005用例名稱系統(tǒng)登陸注冊功能用例測試目的測試系統(tǒng)是否可以通過識別后臺數據庫用戶并成功登陸系統(tǒng)。測試步驟登錄界面網頁輸入已存在用戶名和密碼查看是否可以成功登陸。注冊界面創(chuàng)建新用戶時,查看后端數據庫是否更新新創(chuàng)建的用戶名和密碼。期望結果用戶成功進行登陸注冊進入系統(tǒng)。測試結果測試結果如REF_Ref160904688\h圖6.10REF_Ref160904689\h圖6.11REF_Ref160904690\h圖6.12所示。具體實現(xiàn)步驟。圖STYLEREF1\s6.SEQ圖\*ARABIC\s110系統(tǒng)登陸測試圖STYLEREF1\s6.SEQ圖\*ARABIC\s111系統(tǒng)注冊測試圖STYLEREF1\s6.SEQ圖\*ARABIC\s112后臺數據庫是否更新數據測試2.系統(tǒng)數據分析可視化功能測試:數據分析可視化測試用例表如REF_Ref161150761\h表6.6所示。表STYLEREF1\s6.SEQ表\*ARABIC\s16系統(tǒng)數據分析可視化用例表系統(tǒng)測試測試用例用例編號006用例名稱系統(tǒng)數據分析可視化功能用例測試目的檢查系統(tǒng)是否對農產品數據可視化成功實現(xiàn)。測試步驟通過登陸本系統(tǒng)查看網頁是否形成數據分析后的可視化界面。期望結果數據可視化界面完整展現(xiàn)。測試結果測試結果如REF_Ref160904750\h圖6.13REF_Ref160904751\h圖6.14REF_Ref160904752\h圖6.15REF_Ref160904754\h圖6.16REF_Ref160904755\h圖6.17所示。圖STYLEREF1\s6.SEQ圖\*ARABIC\s113各類農產品價格分析測試圖STYLEREF1\s6.SEQ圖\*ARABIC\s114各個市場的白菜價格分析測試圖STYLEREF1\s6.SEQ圖\*ARABIC\s115各類農產品的價格變化測試圖STYLEREF1\s6.SEQ圖\*ARABIC\s116各個市場的農產品數量分析測試圖STYLEREF1\s6.SEQ圖\*ARABIC\s117數據查詢測試測試總結該系統(tǒng)的開發(fā)過程中,收集了許多優(yōu)秀網站平臺的設計案例,并從中吸取經驗。無論是界面設計還是系統(tǒng)性能優(yōu)化,都以客戶需求為導向,旨在為用戶和管理員提供極致的操作體驗。本系統(tǒng)的應用具有以下兩大優(yōu)點:1.針對性強:在系統(tǒng)開發(fā)設計階段,始終以客戶需求為導向,不僅能夠滿足用戶需求,還能夠實現(xiàn)多個操作系統(tǒng)的兼容性,滿足用戶多方面的要求。2.便于管理:該系統(tǒng)具有豐富的功能板塊,當出現(xiàn)漏洞時,系統(tǒng)會報錯并及時處理。通過系統(tǒng)測試,發(fā)現(xiàn)可視化資源存儲系統(tǒng)的功能和性能都能滿足用戶的要求。此外,系統(tǒng)操作具有良好的兼容性。對農業(yè)信息化技術的提升具有一定的促進作用,因此在市場上具有良好的前景。本章小結本章對系統(tǒng)的實現(xiàn)進行了測試,對系統(tǒng)的登陸注冊功能、農產品數據可視化功能和農產品數據預測功能進行了測試,確保了基于Hive的“智慧農網”農產品數據分析可視化系統(tǒng)的完整性和實用性。結論與展望本次研究中,以農產品數據分析作為研究內容。設計思路如下。首先,進行系統(tǒng)需求分析,確定此次需要用到的技術。其次設計系統(tǒng)框架,在系統(tǒng)設計實現(xiàn)之后,還需進行軟硬件測試。具體言,分為以下四個步驟:1、研究背景。隨著網絡技術的快速發(fā)展升級,對各個行業(yè)的影響都是深遠的,而且都意識到了計算機信息技術的重要性。當前,管理型系統(tǒng)成為研發(fā)領域的重點。在此次的農產品價格采集與挖掘設計與研發(fā)項目中,綜合運用了Java語言、spring框架和Python算法等技術。2、系統(tǒng)需求分析。在這一環(huán)節(jié)中,首先分析系統(tǒng)的功能需求和非功能需求,非功能需求是指系統(tǒng)的性能需求,性能需求與系統(tǒng)的軟件規(guī)模、復雜程度等有管關,對系統(tǒng)的流暢性和實用性構成直接影響。3、搭建數據模型。設計系統(tǒng)的數據模型時系統(tǒng)設計項目的重中之重。模型和模塊中要包括所有與之相關的數據,而且模型并非是一成不變的,需要進行動態(tài)調整的,確定各個實體間的內在聯(lián)系。4、研發(fā)項目完成。要明確系統(tǒng)運行配置,制定出數據過濾和數據延展的功能實現(xiàn)方案對農產品價格采集與挖掘功能進行代碼編寫,確保系統(tǒng)各個功能的實現(xiàn)。測試工作的完成,標志著農產品價格采集與挖掘研發(fā)項目正式告一段落,用戶通過登錄該系統(tǒng)能夠實現(xiàn)相關操作,但該系統(tǒng)也存在一些缺陷,從系統(tǒng)測試結果來看,主要體現(xiàn)在三個方面:(1)數據庫運算能力有待加強:在信息化時代,數據是最寶貴的資源,數據庫性能決定了系統(tǒng)的整體運行質量,因此,針對數據庫的運算和存儲兩個方面要進行不斷提升,此外,保障數據安全也尤為重要。(2)系統(tǒng)界面不夠整潔美觀:盡管界面功能較多,符合用戶的基本需求,但是整體上來看,各個功能菜單設計不夠美觀,需要進行不斷優(yōu)化設計,給用戶提供更良好的體驗。(3)系統(tǒng)響應速度慢:此次系統(tǒng)的服務器tomcat服務器,該服務器屬于Apache基金會,作為一款免費服務器,與商業(yè)服務器在性能方面有一定差距,主要是運行不夠穩(wěn)定。當系統(tǒng)上線后,隨著用戶規(guī)模的擴大,系統(tǒng)獲得效益后需要更換性能更佳的服務器,為廣大用戶提供流暢、穩(wěn)定的操作體驗。參考文獻樊飛轉.基于大數據分析的農產品市場預測與調控研究[J].中國果樹,2023(08):152.HuM.BigDataMiningandAnalysisofAgriculturalProductsBasedone-CommercePlatform[J].WirelessCommunicationsandMobileComputing,2022,2022.LuyanD.AnalysisonInfluencingFactorsofConsumerTrustinE-CommerceMarketingofGreenAgriculturalProductsBasedonBigDataAnalysis[J].MathematicalProblemsinEngineering,2022,2022.黃浩鋒.利用大數據進行農產品電商發(fā)展分析[J].科技風,2022(16):67-69.DOI:10.19392/ki.1671-7341.202216022.WenjingY,ZeshengZ,QingchuanZ,etal.DeepDataAnalysis-BasedAgriculturalProductsManagementforSmartPublicHealthcare[J].FrontiersinPublicHealth,2022,10.何樂為,江晨宇,楊龔蕾等.大數據時代下農產品銷售平臺發(fā)展現(xiàn)狀分析[J].商展經濟,2022(05):35-37.DOI:10.19995/ki.CN10-1617/F7.2022.05.035.YuxinW,SvetlanaA,YuriyS.EvaluatingtheEfficiencyoftheClassifierMethodWhenAnalysingthe

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論