CN120105315A 一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法 (云南農(nóng)業(yè)大學(xué))_第1頁(yè)
CN120105315A 一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法 (云南農(nóng)業(yè)大學(xué))_第2頁(yè)
CN120105315A 一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法 (云南農(nóng)業(yè)大學(xué))_第3頁(yè)
CN120105315A 一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法 (云南農(nóng)業(yè)大學(xué))_第4頁(yè)
CN120105315A 一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法 (云南農(nóng)業(yè)大學(xué))_第5頁(yè)
已閱讀5頁(yè),還剩23頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

(19)國(guó)家知識(shí)產(chǎn)權(quán)局(10)申請(qǐng)公布號(hào)CN120105315A(21)申請(qǐng)?zhí)?02510583350.3(22)申請(qǐng)日2025.05.07路95號(hào)白玉艷(74)專利代理機(jī)構(gòu)北京騰遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11608GO6F18/15(2023.01)(54)發(fā)明名稱(57)摘要本發(fā)明公開了一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法,涉及數(shù)據(jù)融合處理技術(shù)領(lǐng)域,對(duì)清洗后數(shù)據(jù)進(jìn)行數(shù)據(jù)篩查;由構(gòu)建的農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)對(duì)篩查后數(shù)據(jù)做預(yù)處理,通過(guò)規(guī)則引擎檢查數(shù)據(jù)的邏輯一致性,并依據(jù)檢查結(jié)果采取相應(yīng)的應(yīng)對(duì)策略;采用高斯混合模型及構(gòu)建的邏輯規(guī)則組合識(shí)別多源數(shù)據(jù)中的異常點(diǎn),對(duì)于檢測(cè)出的異常點(diǎn)結(jié)合具體場(chǎng)景進(jìn)行修正或補(bǔ)齊;通過(guò)信息增益選擇關(guān)鍵特征,將其與原始多源數(shù)據(jù)進(jìn)行多源融合,對(duì)異常數(shù)據(jù)模式進(jìn)行分類后建立異常模式庫(kù),依據(jù)異常數(shù)據(jù)的異常特征從故障匹配規(guī)則庫(kù)內(nèi)匹配出異常數(shù)據(jù)的來(lái)源類別;建立故障采集多源數(shù)據(jù)后進(jìn)行數(shù)據(jù)清洗,設(shè)定異常數(shù)據(jù)的識(shí)別規(guī)則采集多源數(shù)據(jù)后進(jìn)行數(shù)據(jù)清洗,設(shè)定異常數(shù)據(jù)的識(shí)別規(guī)則后,對(duì)清洗后數(shù)據(jù)進(jìn)行數(shù)據(jù)篩查由構(gòu)建的農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)對(duì)篩查后數(shù)據(jù)做預(yù)處理,通過(guò)規(guī)則引擎檢查數(shù)據(jù)的邏輯致性,并依據(jù)檢查結(jié)果采取相應(yīng)的應(yīng)對(duì)策略采用高斯混合模型及構(gòu)建的邏輯規(guī)則組合識(shí)別多源數(shù)據(jù)中的異常點(diǎn),對(duì)于檢測(cè)出的異常點(diǎn)結(jié)合具體場(chǎng)景進(jìn)行修正或補(bǔ)齊通過(guò)信息增益選擇關(guān)鍵特征,對(duì)齊后生成時(shí)間和空間的高階交互特征,將其與原始多源數(shù)據(jù)進(jìn)行多源融合,生成高質(zhì)量融合數(shù)據(jù)集對(duì)異常數(shù)據(jù)模式進(jìn)行分類后建立異常模式庫(kù),依據(jù)異常數(shù)據(jù)的異常特征從故障匹配規(guī)則庫(kù)內(nèi)匹配出異常數(shù)據(jù)的來(lái)源類別;并依據(jù)故障來(lái)源數(shù)據(jù)生成提醒系數(shù),若提醒21.一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,其特采集多源數(shù)據(jù)后進(jìn)行數(shù)據(jù)清洗,設(shè)定異常數(shù)據(jù)的識(shí)別規(guī)則后,對(duì)清洗后數(shù)據(jù)進(jìn)行數(shù)據(jù)篩查;由構(gòu)建的農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)對(duì)篩查后數(shù)據(jù)做預(yù)處理,通過(guò)規(guī)則引擎檢查數(shù)據(jù)的邏輯一致性,并依據(jù)檢查結(jié)果采取相應(yīng)的應(yīng)對(duì)策略;采用高斯混合模型及構(gòu)建的邏輯規(guī)則組合識(shí)別多源數(shù)據(jù)中的異常點(diǎn),對(duì)于檢測(cè)出的異常點(diǎn)結(jié)合具體場(chǎng)景進(jìn)行修正或補(bǔ)齊;通過(guò)信息增益選擇關(guān)鍵特征,對(duì)齊后生成時(shí)間和空間的高階交互特征,將其與原始多源數(shù)據(jù)進(jìn)行多源融合,生成高質(zhì)量融合數(shù)據(jù)集;其中,計(jì)算每個(gè)特征與目標(biāo)變量之間的信息增益,設(shè)定增益閾值,將信息增益超出增益閾值的作為關(guān)鍵特征;對(duì)關(guān)鍵特征進(jìn)行歸一化、對(duì)齊和補(bǔ)齊,基于對(duì)齊后的關(guān)鍵特征生成時(shí)間和空間的高階交互特征;對(duì)異常數(shù)據(jù)模式進(jìn)行分類后建立異常模式庫(kù),依據(jù)異常數(shù)據(jù)的異常特征從故障匹配規(guī)則庫(kù)內(nèi)匹配出異常數(shù)據(jù)的來(lái)源類別;并依據(jù)故障來(lái)源數(shù)據(jù)生成提醒系數(shù),若提醒系數(shù)超過(guò)提醒閾值,向外部發(fā)出報(bào)警指令。2.根據(jù)權(quán)利要求1所述的一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,其特征在于:識(shí)別數(shù)據(jù)中的缺失值后使K近鄰法進(jìn)行填補(bǔ);對(duì)填補(bǔ)后的數(shù)據(jù)進(jìn)行單位轉(zhuǎn)換和格式統(tǒng)一后做標(biāo)準(zhǔn)化處理,檢查數(shù)據(jù)集中是否存在重復(fù)的記錄并刪除冗余部分;通過(guò)農(nóng)業(yè)領(lǐng)域知識(shí)和統(tǒng)計(jì)方法設(shè)定異常數(shù)據(jù)的識(shí)別規(guī)則,依據(jù)識(shí)別規(guī)則對(duì)每一維數(shù)據(jù)進(jìn)行單維篩查并獲取相應(yīng)的篩查結(jié)果,對(duì)篩查出的異常值初步標(biāo)記。3.根據(jù)權(quán)利要求2所述的一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,其特征在于:確定目標(biāo)網(wǎng)格分辨率,插值后將低分辨率數(shù)據(jù)映射到目標(biāo)網(wǎng)格;將插值對(duì)齊后的數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò),提取區(qū)域紋理和空間模式;通過(guò)線性插值對(duì)時(shí)間步長(zhǎng)不一致的數(shù)據(jù)進(jìn)行同步處理,結(jié)合LSTM模型提取時(shí)間序列數(shù)據(jù),輸入對(duì)齊后的時(shí)構(gòu)建農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)后,對(duì)不同數(shù)據(jù)源字段名稱標(biāo)準(zhǔn)化,并進(jìn)行字段和單位的語(yǔ)義對(duì)齊;基于領(lǐng)域知識(shí)定義邏輯檢查規(guī)則,若某條數(shù)據(jù)違反邏輯規(guī)則,對(duì)無(wú)法修復(fù)的記錄直接標(biāo)記并剔除,對(duì)可修復(fù)的記錄通過(guò)插值或數(shù)據(jù)融合修正。4.根據(jù)權(quán)利要求3所述的一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,其特征在于:采用高斯混合模型對(duì)數(shù)據(jù)點(diǎn)的概率密度進(jìn)行建模,識(shí)別低密度的異常點(diǎn),其中,假設(shè)輸入數(shù)據(jù)為X={x?,x?,,xi},其中,xi∈Rd,表示一個(gè)d維數(shù)據(jù)點(diǎn);高斯混合模型的概率密度表第k個(gè)高斯分布的均值:2k第k個(gè)高斯分布的協(xié)方差矩陣;當(dāng)某點(diǎn)的密度值p(x)小于預(yù)設(shè)閾5.根據(jù)權(quán)利要求4所述的一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,其特征在于:結(jié)合農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)和實(shí)際經(jīng)驗(yàn),建立屬性之間的關(guān)系規(guī)則,數(shù)學(xué)表達(dá)的方式如下:構(gòu)建邏輯規(guī)則R的集合,用于數(shù)據(jù)點(diǎn)xi的屬性驗(yàn)證:R(xi)={r?(xi),r?(xi),…rm(xi)},其中,r;(xi)∈{0,1},表示屬性規(guī)則j對(duì)Xi是否成立,6.根據(jù)權(quán)利要求5所述的一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,其特征在于:3匯總數(shù)據(jù)類型、數(shù)據(jù)來(lái)源、應(yīng)用目標(biāo)及分布模式后生成異常狀態(tài)數(shù)據(jù),將異常狀態(tài)數(shù)據(jù)作為輸入,使用訓(xùn)練后的場(chǎng)景識(shí)別模型識(shí)別異常值的具體場(chǎng)景,獲取相應(yīng)的異常場(chǎng)景,依據(jù)識(shí)別出的異常場(chǎng)景,使用預(yù)訓(xùn)練的推薦算法在預(yù)先構(gòu)建的異常值處理策略庫(kù)內(nèi)匹配適配的異常處理方法。7.根據(jù)權(quán)利要求6所述的一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,其特征在于:提取異常數(shù)據(jù)的異常特征作為聚類的輸入,使用預(yù)訓(xùn)練的聚類算法對(duì)異常數(shù)據(jù)模式進(jìn)行分類,對(duì)每個(gè)異常點(diǎn)分配聚類標(biāo)簽,用于標(biāo)記其所屬的異常模式類別,輸出每個(gè)異常模式的中心及其特征描述;每個(gè)類別的異常點(diǎn)數(shù)量、分布特征及特定模式的空間/時(shí)間范圍,匯總聚類結(jié)果后建立異常模式庫(kù)。8.根據(jù)權(quán)利要求7所述的一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,其特征在于:根據(jù)領(lǐng)域知識(shí)、歷史數(shù)據(jù)以及設(shè)備運(yùn)行經(jīng)驗(yàn)總結(jié)生成故障匹配規(guī)則,其中,故障匹配規(guī)則涵蓋特征維度、閾值范圍和邏輯條件,規(guī)則類型包括簡(jiǎn)單規(guī)則、復(fù)合規(guī)則及概率規(guī)則;對(duì)原始數(shù)據(jù)進(jìn)行清洗后提取關(guān)鍵特征,將異常特征與故障匹配規(guī)則庫(kù)內(nèi)的故障匹配規(guī)則逐一對(duì)比,匹配出異常數(shù)據(jù)的來(lái)源類別。9.根據(jù)權(quán)利要求8所述的一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,其特征在于:使用層次分析法為各個(gè)故障來(lái)源確定相應(yīng)的權(quán)重系數(shù)后,若在當(dāng)前階段內(nèi)存輸出的異常數(shù)據(jù)的量超過(guò)預(yù)期,向外部發(fā)出提醒并將相應(yīng)的時(shí)間節(jié)點(diǎn)作為提醒節(jié)點(diǎn);獲取產(chǎn)生提醒節(jié)點(diǎn)的故障來(lái)源、提醒節(jié)點(diǎn)的分布狀態(tài)及每個(gè)提醒節(jié)點(diǎn)上累積的數(shù)據(jù)異常程度,匯總作為提醒狀態(tài)數(shù)據(jù);由提醒狀態(tài)數(shù)據(jù)構(gòu)建提醒系數(shù)R(t),若獲取的提醒系數(shù)R(t)超過(guò)預(yù)設(shè)的提醒閾值,向外部發(fā)出報(bào)數(shù)據(jù)清理單元,采集多源數(shù)據(jù)后進(jìn)行數(shù)據(jù)清洗,設(shè)定異常數(shù)據(jù)的識(shí)別規(guī)則后,對(duì)清洗后數(shù)據(jù)進(jìn)行數(shù)據(jù)篩查;數(shù)據(jù)檢測(cè)單元,由構(gòu)建的農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)對(duì)篩查后數(shù)據(jù)做預(yù)處理,通過(guò)規(guī)則引擎檢查數(shù)據(jù)的邏輯一致性,并依據(jù)檢查結(jié)果采取相應(yīng)的應(yīng)對(duì)策略;異常點(diǎn)識(shí)別單元,采用高斯混合模型及構(gòu)建的邏輯規(guī)則組合識(shí)別多源數(shù)據(jù)中的異常點(diǎn),對(duì)于檢測(cè)出的異常點(diǎn)結(jié)合具體場(chǎng)景進(jìn)行修正或補(bǔ)齊;數(shù)據(jù)融合單元,通過(guò)信息增益選擇關(guān)鍵特征,對(duì)齊后生成時(shí)間和空間的高階交互特征,將其與原始多源數(shù)據(jù)進(jìn)行多源融合,生成高質(zhì)量融合數(shù)據(jù)集;來(lái)源識(shí)別單元,對(duì)異常數(shù)據(jù)模式進(jìn)行分類后建立異常模式庫(kù),依據(jù)異常數(shù)據(jù)的異常特征從故障匹配規(guī)則庫(kù)內(nèi)匹配出異常數(shù)據(jù)的來(lái)源類別;并依據(jù)故障來(lái)源數(shù)據(jù)生成提醒系數(shù),若提醒系數(shù)超過(guò)提醒閾值,向外部發(fā)出報(bào)警指令。4一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法技術(shù)領(lǐng)域[0001]本發(fā)明涉及數(shù)據(jù)融合處理技術(shù)領(lǐng)域,具體為一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法。背景技術(shù)[0002]隨著精準(zhǔn)農(nóng)業(yè)的興起和普及,農(nóng)業(yè)生產(chǎn)逐漸依賴于多源異構(gòu)數(shù)據(jù)的支持,如氣象數(shù)據(jù)、土壤數(shù)據(jù)、作物生長(zhǎng)數(shù)據(jù)及遙感影像數(shù)據(jù)。這些數(shù)據(jù)廣泛應(yīng)用于病蟲害監(jiān)測(cè)、作物產(chǎn)量預(yù)測(cè)和土地利用優(yōu)化等場(chǎng)景。然而,這些數(shù)據(jù)通常表現(xiàn)出異構(gòu)性,如空間分辨率不一致、時(shí)間步長(zhǎng)差異和數(shù)據(jù)語(yǔ)義的非統(tǒng)一性。此外,數(shù)據(jù)中經(jīng)常存在噪聲、缺失值及異常值,這些問(wèn)題不僅影響數(shù)據(jù)融合的效果,還可能導(dǎo)致分析結(jié)果偏差,嚴(yán)重阻礙了農(nóng)業(yè)智能化決策的發(fā)展。因此,如何高效地整合多源異構(gòu)農(nóng)業(yè)數(shù)據(jù),提升數(shù)據(jù)質(zhì)量及可用性,已成為當(dāng)前精準(zhǔn)農(nóng)業(yè)領(lǐng)域的關(guān)鍵研究方向。[0003]在申請(qǐng)公布號(hào)為CN118035927A的中國(guó)發(fā)明專利中,公開了基于云計(jì)算的多源數(shù)據(jù)融合方法,包括:通過(guò)用戶操作日志集中各操作日志的有效性以及用戶的固定操作周期出現(xiàn)的規(guī)律性確定各操作日志對(duì)應(yīng)的噪聲疑似程度,基于對(duì)噪聲疑似程度分析的結(jié)果更新孤立樹的初始值,并利用噪聲疑似程度構(gòu)建目標(biāo)孤立森林,然后利用目標(biāo)孤立森林去除操作日志集中的噪聲數(shù)據(jù),最后對(duì)去除噪聲數(shù)據(jù)后的用戶操作日志集,服務(wù)器日志數(shù)據(jù)以及網(wǎng)絡(luò)通信日志數(shù)據(jù)進(jìn)行抽取和轉(zhuǎn)換,并加載到預(yù)設(shè)的目標(biāo)系統(tǒng),從而得到融合數(shù)據(jù)集。提高了日志數(shù)據(jù)中異常數(shù)據(jù)的檢測(cè)效率和準(zhǔn)確性,且可以提高異常數(shù)據(jù)檢測(cè)算法的魯棒性。[0004]現(xiàn)有的多源農(nóng)業(yè)數(shù)據(jù)處理技術(shù)面臨以下核心技術(shù)問(wèn)題:多源數(shù)據(jù)的時(shí)空不一致性及其處理方法難以兼顧精度與效率。例如,遙感影像與地面氣象數(shù)據(jù)的空間分辨率可能分別為500米與10米,直接融合可能導(dǎo)致局部特征丟失;不同數(shù)據(jù)的時(shí)間采樣率不一致(如土壤濕度數(shù)據(jù)按天采樣,而氣象數(shù)據(jù)按小時(shí)采樣)造成時(shí)間對(duì)齊困難。此外,數(shù)據(jù)中的異常值,如設(shè)備故障引起的傳感器讀數(shù)偏差或極端天氣導(dǎo)致的短時(shí)異常,可能影響后續(xù)建模的準(zhǔn)確性?,F(xiàn)有技術(shù)缺乏針對(duì)多源異構(gòu)數(shù)據(jù)的標(biāo)準(zhǔn)化與智能化處理方法,尤其是在復(fù)雜的農(nóng)業(yè)場(chǎng)景中,如何實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的有效提升及數(shù)據(jù)價(jià)值的充分挖掘,亟待解決的重要技術(shù)問(wèn)題。[0005]為此,本發(fā)明提供了一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法。發(fā)明內(nèi)容[0006](一)解決的技術(shù)問(wèn)題針對(duì)現(xiàn)有技術(shù)的不足,本發(fā)明提供了一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法,通過(guò)對(duì)清洗后數(shù)據(jù)進(jìn)行數(shù)據(jù)篩查;由構(gòu)建的農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)對(duì)篩查后數(shù)據(jù)做預(yù)處理,通過(guò)規(guī)則引擎檢查數(shù)據(jù)的邏輯一致性,并依據(jù)檢查結(jié)果采取相應(yīng)的應(yīng)對(duì)策略;采用高斯混合模型及構(gòu)建的邏輯規(guī)則組合識(shí)別多源數(shù)據(jù)中的異常點(diǎn),對(duì)于檢測(cè)出的異常點(diǎn)結(jié)合具體場(chǎng)景進(jìn)行修正或補(bǔ)齊;通過(guò)信息增益選擇關(guān)鍵特征,將其與原始多源數(shù)據(jù)進(jìn)行多源融合,對(duì)異常數(shù)據(jù)模式進(jìn)行分類后建立異常模式庫(kù),依據(jù)異常數(shù)據(jù)的異常特征從故障匹配規(guī)則庫(kù)內(nèi)匹配5出異常數(shù)據(jù)的來(lái)源類別;準(zhǔn)確識(shí)別異常數(shù)據(jù)的來(lái)源類別,為異常數(shù)據(jù)的處理提供針對(duì)性解決方案,從而解決了背景技術(shù)中記載的技術(shù)問(wèn)題。[0007](二)技術(shù)方案為實(shí)現(xiàn)以上目的,本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn):一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,包括,采集多源數(shù)據(jù)后進(jìn)行數(shù)據(jù)清洗,設(shè)定異常數(shù)據(jù)的識(shí)別規(guī)則后,對(duì)清洗后數(shù)據(jù)進(jìn)行數(shù)據(jù)篩查;由構(gòu)建的農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)對(duì)篩查后數(shù)據(jù)做預(yù)處理,通過(guò)規(guī)則引擎檢查數(shù)據(jù)的邏輯一致性,并依據(jù)檢查結(jié)果采取相應(yīng)的應(yīng)對(duì)策略;采用高斯混合模型及構(gòu)建的邏輯規(guī)則組合識(shí)別多源數(shù)據(jù)中的異常點(diǎn),對(duì)于檢測(cè)出的異常點(diǎn)結(jié)合具體場(chǎng)景進(jìn)行修正或補(bǔ)齊;通過(guò)信息增益選擇關(guān)鍵特征,對(duì)齊后生成時(shí)間和空間的高階交互特征,將其與原始多源數(shù)據(jù)進(jìn)行多源融合,生成高質(zhì)量融合數(shù)據(jù)集;其中,計(jì)算每個(gè)特征與目標(biāo)變量之間的信息增益,設(shè)定增益閾值,將信息增益超出增益閾值的作為關(guān)鍵特征;對(duì)關(guān)鍵特征進(jìn)行歸一化、對(duì)齊和補(bǔ)齊,基于對(duì)齊后的關(guān)鍵特征生成時(shí)間和空間的高階交互特征;對(duì)異常數(shù)據(jù)模式進(jìn)行分類后建立異常模式庫(kù),依據(jù)異常數(shù)據(jù)的異常特征從故障匹配規(guī)則庫(kù)內(nèi)匹配出異常數(shù)據(jù)的來(lái)源類別;并依據(jù)故障來(lái)源數(shù)據(jù)生成提醒系數(shù),若提醒系數(shù)超過(guò)提醒閾值,向外部發(fā)出報(bào)警指令。[0008]進(jìn)一步的,識(shí)別數(shù)據(jù)中的缺失值后使K近鄰法進(jìn)行填補(bǔ);對(duì)填補(bǔ)后數(shù)據(jù)進(jìn)行單位轉(zhuǎn)換和格式統(tǒng)一后做標(biāo)準(zhǔn)化處理,檢查數(shù)據(jù)集中是否存在重復(fù)的記錄并刪除冗余部分;通過(guò)農(nóng)業(yè)領(lǐng)域知識(shí)和統(tǒng)計(jì)方法設(shè)定異常數(shù)據(jù)的識(shí)別規(guī)則,依據(jù)識(shí)別規(guī)則對(duì)每一維數(shù)據(jù)進(jìn)行單維篩查并獲取相應(yīng)的篩查結(jié)果,對(duì)篩查出的異常值初步標(biāo)記。[0009]進(jìn)一步的,確定目標(biāo)網(wǎng)格分辨率,插值后將低分辨率數(shù)據(jù)映射到目標(biāo)網(wǎng)格;將插值對(duì)齊后的數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò),提取區(qū)域紋理和空間模式;通過(guò)線性插值對(duì)時(shí)間步長(zhǎng)不一致的數(shù)據(jù)進(jìn)行同步處理,結(jié)合LSTM模型提取時(shí)間序列數(shù)據(jù),輸入對(duì)齊后構(gòu)建農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)后,對(duì)不同數(shù)據(jù)源字段名稱標(biāo)準(zhǔn)化,并進(jìn)行字段和單位的語(yǔ)義對(duì)齊;基于領(lǐng)域知識(shí)定義邏輯檢查規(guī)則,若某條數(shù)據(jù)違反邏輯規(guī)則,對(duì)無(wú)法修復(fù)的記錄直接標(biāo)記并剔除,對(duì)可修復(fù)的記錄通過(guò)插值或數(shù)據(jù)融合修正。[0010]進(jìn)一步的,采用高斯混合模型對(duì)數(shù)據(jù)點(diǎn)的概率密度進(jìn)行建模,識(shí)別低密度的異常p(x)小于預(yù)設(shè)閾值時(shí),該點(diǎn)被標(biāo)記為異常點(diǎn)。[0011]進(jìn)一步的,結(jié)合農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)和實(shí)際經(jīng)驗(yàn),建立屬性之間的關(guān)系規(guī)則,數(shù)學(xué)表達(dá)的方式如下:構(gòu)建邏輯規(guī)則R的集合,用于數(shù)據(jù)點(diǎn)xi的屬性驗(yàn)證:R(xi)={r?(xi),r?(xi),…[0012]其中,r;(xi)∈{0,1},表最低通過(guò)規(guī)則數(shù),則標(biāo)記Xi為異常點(diǎn)。將異常狀態(tài)數(shù)據(jù)作為輸入,使用訓(xùn)練后的場(chǎng)景識(shí)別模型識(shí)別異常值的具體場(chǎng)景,獲取相應(yīng)6的異常場(chǎng)景,依據(jù)識(shí)別出的異常場(chǎng)景,使用預(yù)訓(xùn)練的推薦算法在預(yù)先構(gòu)建的異常值處理策略庫(kù)內(nèi)匹配適配的異常處理方法。[0014]進(jìn)一步的,提取異常數(shù)據(jù)的異常特征作為聚類的輸入,使用預(yù)訓(xùn)練的聚類算法對(duì)異常數(shù)據(jù)模式進(jìn)行分類,對(duì)每個(gè)異常點(diǎn)分配聚類標(biāo)簽,用于標(biāo)記其所屬的異常模式類別,輸出每個(gè)異常模式的中心及其特征描述;每個(gè)類別的異常點(diǎn)數(shù)量、分布特征及特定模式的空間/時(shí)間范圍,匯總聚類結(jié)果后建立異常模式庫(kù)。[0015]進(jìn)一步的,根據(jù)領(lǐng)域知識(shí)、歷史數(shù)據(jù)以及設(shè)備運(yùn)行經(jīng)驗(yàn)總結(jié)生成故障匹配規(guī)則,其中,故障匹配規(guī)則涵蓋特征維度、閾值范圍和邏輯條件,規(guī)則類型包括簡(jiǎn)單規(guī)則、復(fù)合規(guī)則及概率規(guī)則;對(duì)原始數(shù)據(jù)進(jìn)行清洗后提取關(guān)鍵特征,將異常特征與故障匹配規(guī)則庫(kù)內(nèi)的故障匹配規(guī)則逐一對(duì)比,匹配出異常數(shù)據(jù)的來(lái)源類別。[0016]進(jìn)一步的,使用層次分析法為各個(gè)故障來(lái)源確定相應(yīng)的權(quán)重系數(shù)后,若在當(dāng)前階段內(nèi)存輸出的異常數(shù)據(jù)的量超過(guò)預(yù)期,向外部發(fā)出提醒并將相應(yīng)的時(shí)間節(jié)點(diǎn)作為提醒節(jié)獲取產(chǎn)生提醒節(jié)點(diǎn)的故障來(lái)源、提醒節(jié)點(diǎn)的分布狀態(tài)及每個(gè)提醒節(jié)點(diǎn)上累積的數(shù)據(jù)異常程度,匯總作為提醒狀態(tài)數(shù)據(jù);由提醒狀態(tài)數(shù)據(jù)構(gòu)建提醒系數(shù)R(t),若獲取的提醒系數(shù)R(t)超過(guò)預(yù)設(shè)的提醒閾值,向外部發(fā)出報(bào)警指令。[0017]進(jìn)一步的,由提醒狀態(tài)數(shù)據(jù)構(gòu)建提醒系數(shù)RT={tkIAi(tk)>θ;,tk∈[0,T]},T為時(shí)間范圍的上限。數(shù)據(jù)清理單元,采集多源數(shù)據(jù)后進(jìn)行數(shù)據(jù)清洗,設(shè)定異常數(shù)據(jù)的識(shí)別規(guī)則后,對(duì)清洗后數(shù)據(jù)進(jìn)行數(shù)據(jù)篩查;數(shù)據(jù)檢測(cè)單元,由構(gòu)建的農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)對(duì)篩查后數(shù)據(jù)做預(yù)處理,通過(guò)規(guī)則引擎檢查數(shù)據(jù)的邏輯一致性,并依據(jù)檢查結(jié)果采取相應(yīng)的應(yīng)對(duì)策略;異常點(diǎn)識(shí)別單元,采用高斯混合模型及構(gòu)建的邏輯規(guī)則組合識(shí)別多源數(shù)據(jù)中的異常點(diǎn),對(duì)于檢測(cè)出的異常點(diǎn)結(jié)合具體場(chǎng)景進(jìn)行修正或補(bǔ)齊;數(shù)據(jù)融合單元,通過(guò)信息增益選擇關(guān)鍵特征,對(duì)齊后生成時(shí)間和空間的高階交互特征,將其與原始多源數(shù)據(jù)進(jìn)行多源融合,生成高質(zhì)量融合數(shù)據(jù)集;來(lái)源識(shí)別單元,對(duì)異常數(shù)據(jù)模式進(jìn)行分類后建立異常模式庫(kù),依據(jù)異常數(shù)據(jù)的異常特征從故障匹配規(guī)則庫(kù)內(nèi)匹配出異常數(shù)據(jù)的來(lái)源類別;并依據(jù)故障來(lái)源數(shù)據(jù)生成提醒系[0021](三)有益效果7本發(fā)明提供了一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)及方法,具備以下有益效1、農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)的構(gòu)建充分利用了專家經(jīng)驗(yàn)與歷史數(shù)據(jù)資源,可以識(shí)別并糾正常規(guī)算法難以發(fā)現(xiàn)的潛在錯(cuò)誤數(shù)據(jù),確保輸入數(shù)據(jù)符合農(nóng)業(yè)生產(chǎn)的實(shí)際邏輯,進(jìn)一步提高了數(shù)據(jù)分析結(jié)果的可解釋性。[0022]2、與基于固定規(guī)則的異常檢測(cè)相比,高斯混合模型不僅能夠適應(yīng)復(fù)雜的數(shù)據(jù)分布,還能夠動(dòng)態(tài)調(diào)整檢測(cè)標(biāo)準(zhǔn),大幅提升異常點(diǎn)識(shí)別的靈敏性和準(zhǔn)確性;通過(guò)結(jié)合農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù),可進(jìn)一步對(duì)模型檢測(cè)出的疑似異常點(diǎn)進(jìn)行邏輯校驗(yàn),從而提升檢測(cè)的精準(zhǔn)度,聯(lián)合檢測(cè)有效彌補(bǔ)了單一方法的不足,提升了異常檢測(cè)的全面性和領(lǐng)域適配性。[0023]3、通過(guò)場(chǎng)景識(shí)別模型,能夠精準(zhǔn)區(qū)分異常數(shù)據(jù)的具體類型,實(shí)現(xiàn)對(duì)不同異常場(chǎng)景的針對(duì)性處理;利用預(yù)訓(xùn)練的推薦算法,從異常值處理策略庫(kù)中自動(dòng)匹配最優(yōu)處理方案,有效提高異常修正的效率和智能化水平;在綜合考慮多維關(guān)聯(lián)關(guān)系的基礎(chǔ)上補(bǔ)齊缺失值,確保補(bǔ)全結(jié)果合理且符合邏輯。[0024]4、通過(guò)對(duì)異常點(diǎn)進(jìn)行分組,可以發(fā)現(xiàn)異常數(shù)據(jù)中的潛在模式,同時(shí)通過(guò)建立異常模式庫(kù),能夠?qū)崿F(xiàn)對(duì)已知異常的快速識(shí)別與分類,建立故障匹配規(guī)則庫(kù),可以準(zhǔn)確識(shí)別異常數(shù)據(jù)的來(lái)源類別,可以為異常數(shù)據(jù)的處理提供針對(duì)性解決方案,有助于發(fā)現(xiàn)數(shù)據(jù)采集和存儲(chǔ)環(huán)節(jié)中的潛在問(wèn)題,為系統(tǒng)優(yōu)化提供反饋途徑。[0025]5、提醒系數(shù)基于異常數(shù)據(jù)的數(shù)量、分布和嚴(yán)重程度進(jìn)行動(dòng)態(tài)計(jì)算,實(shí)現(xiàn)對(duì)潛在問(wèn)題的實(shí)時(shí)監(jiān)控,當(dāng)異常累積效應(yīng)達(dá)到預(yù)警閾值時(shí),可及時(shí)發(fā)出報(bào)警信號(hào),通知相關(guān)人員介入處理。通過(guò)這種主動(dòng)式預(yù)警機(jī)制,可以有效避免異常問(wèn)題的擴(kuò)大化和后續(xù)損失,為農(nóng)業(yè)生產(chǎn)提供可靠的智能化風(fēng)險(xiǎn)管理工具。[0026]6、通過(guò)實(shí)時(shí)監(jiān)測(cè)、智能優(yōu)化迭代以及多維數(shù)據(jù)分析,全面提升數(shù)據(jù)處理的效率與準(zhǔn)確性,顯著增強(qiáng)了系統(tǒng)的自適應(yīng)性和智能化水平,能夠精準(zhǔn)識(shí)別和修復(fù)數(shù)據(jù)異常,保障數(shù)據(jù)的完整性和可信度,有效減少因數(shù)據(jù)缺失或錯(cuò)誤帶來(lái)的偏差和風(fēng)險(xiǎn)。附圖說(shuō)明[0027]圖1為本發(fā)明多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法流程示意圖;圖2為本發(fā)明多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合系統(tǒng)結(jié)構(gòu)示意圖。具體實(shí)施方式[0028]下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。[0029]請(qǐng)參閱圖1,本發(fā)明提供一種多源異構(gòu)農(nóng)業(yè)數(shù)據(jù)要素的融合方法,包括,步驟一、采集多源數(shù)據(jù)后進(jìn)行數(shù)據(jù)清洗,設(shè)定異常數(shù)據(jù)的識(shí)別規(guī)則后,對(duì)清洗后數(shù)據(jù)進(jìn)行數(shù)據(jù)篩查;所述步驟一包括如下內(nèi)容:步驟101、采集多源數(shù)據(jù)后進(jìn)行數(shù)據(jù)清洗,其中,識(shí)別數(shù)據(jù)中的缺失值后使K近鄰法8進(jìn)行填補(bǔ);對(duì)填補(bǔ)后數(shù)據(jù)進(jìn)行單位轉(zhuǎn)換和格式統(tǒng)一后做標(biāo)準(zhǔn)化處理,檢查數(shù)據(jù)集中是否存在重復(fù)的記錄并刪除冗余部分,完成數(shù)據(jù)清洗過(guò)程;針對(duì)多源數(shù)據(jù)的缺失值填補(bǔ)、異常值剔除以及數(shù)據(jù)標(biāo)準(zhǔn)化處理,能夠有效地消除數(shù)據(jù)中的噪聲和冗余,從而減少計(jì)算過(guò)程中的誤差傳播。[0030]步驟102、通過(guò)農(nóng)業(yè)領(lǐng)域知識(shí)和統(tǒng)計(jì)方法設(shè)定異常數(shù)據(jù)的識(shí)別規(guī)則;依據(jù)識(shí)別規(guī)則對(duì)每一維數(shù)據(jù)進(jìn)行單維篩查并獲取相應(yīng)的篩查結(jié)果,對(duì)篩查出的異設(shè)定規(guī)則對(duì)異常數(shù)據(jù)進(jìn)行初步識(shí)別,能夠快速剔除明顯的錯(cuò)誤數(shù)據(jù),實(shí)現(xiàn)對(duì)不同類型異常數(shù)據(jù)(單點(diǎn)異常、持續(xù)異常、孤立點(diǎn)異常等)的全面覆蓋與分類篩查,提高對(duì)潛在問(wèn)題的敏感性,還為后續(xù)異常修正提供了依據(jù)和方向。[0031]步驟二、由構(gòu)建的農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)對(duì)篩查后數(shù)據(jù)做預(yù)處理,通過(guò)規(guī)則引擎檢查數(shù)據(jù)的邏輯一致性,并依據(jù)檢查結(jié)果采取相應(yīng)的應(yīng)對(duì)策略;所述步驟二包括如下內(nèi)容:步驟201、確定目標(biāo)網(wǎng)格分辨率,例如將所有數(shù)據(jù)統(tǒng)一到0.1°或500m的分辨率,使用雙線性插值對(duì)低分辨率數(shù)據(jù)(如衛(wèi)星數(shù)據(jù))進(jìn)行插值,將其映射到目標(biāo)網(wǎng)格;利用卷積神經(jīng)網(wǎng)絡(luò)提取空間特征,其中,將插值對(duì)齊后的數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò),提取區(qū)域紋理和空間模式,例如,使用預(yù)訓(xùn)練模型(如ResNet)結(jié)合農(nóng)田特征,提取植被覆蓋度和氣候影響特征;通過(guò)線性插值對(duì)時(shí)間步長(zhǎng)不一致的數(shù)據(jù)進(jìn)行同步處理,結(jié)合LSTM模型提取時(shí)間序列數(shù)據(jù),輸入對(duì)齊后的時(shí)間序列數(shù)據(jù),提取趨勢(shì)性特征(如土壤濕度的變化規(guī)律),LSTM能捕捉數(shù)據(jù)的長(zhǎng)期依賴關(guān)系(如歷史降水對(duì)當(dāng)前濕度的影響);多源數(shù)據(jù)通常來(lái)源于不同的空間分辨率和時(shí)間采樣率,直接使用會(huì)導(dǎo)致分析結(jié)果偏差,通過(guò)網(wǎng)格化處理,將空間數(shù)據(jù)轉(zhuǎn)換為一致分辨率的網(wǎng)格化形式,能夠統(tǒng)一表達(dá)復(fù)雜的空間分布特征,提升空間特征提取能力;而時(shí)間同步處理通過(guò)對(duì)數(shù)據(jù)時(shí)間步長(zhǎng)的一致化,確保了跨時(shí)間點(diǎn)數(shù)據(jù)之間的可比性,為分析時(shí)間序列變化趨勢(shì)提供了良好基礎(chǔ)。這一步不僅解決了多源數(shù)據(jù)間的異構(gòu)性問(wèn)題,還顯著增強(qiáng)了數(shù)據(jù)在時(shí)間和空間維度上的表現(xiàn)力。[0032]步驟202、構(gòu)建農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)后,對(duì)不同數(shù)據(jù)源字段名稱標(biāo)準(zhǔn)化,并進(jìn)行字段和單位的語(yǔ)義對(duì)齊;基于領(lǐng)域知識(shí)定義邏輯檢查規(guī)則,例如氣象邏輯規(guī)則、土壤濕度規(guī)則及時(shí)間步長(zhǎng)規(guī)則等,通過(guò)規(guī)則引擎檢查不同數(shù)據(jù)源數(shù)據(jù)的邏輯一致性;若某條數(shù)據(jù)違反邏輯規(guī)則,標(biāo)記沖突字段及其原因,對(duì)無(wú)法修復(fù)的記錄直接標(biāo)記并剔除,對(duì)可修復(fù)的記錄通過(guò)插值或數(shù)據(jù)融合修正;其中,構(gòu)建農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)的方法為:確定構(gòu)建目標(biāo):構(gòu)建農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)的第一步是明確目標(biāo)和用途。知識(shí)庫(kù)的主要目標(biāo)包括:統(tǒng)一多源數(shù)據(jù)的字段和語(yǔ)義,解決不同來(lái)源數(shù)據(jù)之間的差異問(wèn)題;提供邏輯約束蟲害防治等;同時(shí)支持氣象學(xué)、遙感技術(shù)、土壤科學(xué)等多學(xué)科知識(shí)的集成和綜合分析。明確目標(biāo)能夠幫助制定清晰的構(gòu)建規(guī)劃,并確保最終成果能夠滿足實(shí)際需求。[0033]數(shù)據(jù)采集與處理:構(gòu)建知識(shí)庫(kù)的核心是獲取高質(zhì)量的數(shù)據(jù)。農(nóng)業(yè)領(lǐng)域的數(shù)據(jù)來(lái)源9豐富多樣,主要包括氣象數(shù)據(jù)(如溫度、降水量)、土壤數(shù)據(jù)(如肥力、長(zhǎng)階段、需水量)、遙感數(shù)據(jù)(如植被指數(shù)、地表溫度),以及農(nóng)業(yè)管理害監(jiān)測(cè))。這些數(shù)據(jù)以結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化形式存在,因此需要通過(guò)不同渠道(如傳[0034]采集完成后,需對(duì)數(shù)據(jù)進(jìn)行清洗和處理,確保數(shù)據(jù)質(zhì)量和一致性。具體方法包括填補(bǔ)缺失值(如使用插值法)、統(tǒng)一字段和單位(如將氣溫統(tǒng)一為℃)、剔除異常值(如使用統(tǒng)計(jì)方法檢測(cè)離群點(diǎn)),并通過(guò)邏輯規(guī)則檢查數(shù)據(jù)合理性,例如確保日最低溫度不高于日最高溫[0035]知識(shí)建模:知識(shí)建模是將農(nóng)業(yè)知識(shí)系統(tǒng)化的關(guān)鍵環(huán)節(jié)。首先,對(duì)知識(shí)進(jìn)行分類:結(jié)構(gòu)化知識(shí)(如數(shù)據(jù)字段和規(guī)則)、語(yǔ)義知識(shí)(如概念和屬性關(guān)系)、過(guò)程知識(shí)(如生長(zhǎng)階段和病蟲害防治流程)、時(shí)空知識(shí)(如季節(jié)性特征和區(qū)域適種性)。接著,根據(jù)實(shí)際需求選擇合適的“土壤類型”用節(jié)點(diǎn)和邊表示。嵌入表示:通過(guò)機(jī)器學(xué)習(xí)將知識(shí)轉(zhuǎn)化為向量表示,用于復(fù)雜的分析任務(wù)。[0037]這些建模方法能夠從不同層面表達(dá)農(nóng)業(yè)領(lǐng)域的專業(yè)知識(shí),為智能化分析奠定基礎(chǔ)。[0038]知識(shí)存儲(chǔ)與管理:在完成知識(shí)建模后,需要選擇合適的存儲(chǔ)和管理系統(tǒng)。常用存儲(chǔ)方式包括:關(guān)系型數(shù)據(jù)庫(kù)(用于存儲(chǔ)結(jié)構(gòu)化知識(shí),如字段標(biāo)準(zhǔn)化表)、圖數(shù)據(jù)庫(kù)(用于存儲(chǔ)知效的查詢接口,例如基于SQL或SPARQL的查詢語(yǔ)言,方便用戶快速檢索所需知識(shí)。農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)的構(gòu)建充分利用了專家經(jīng)驗(yàn)與歷史數(shù)據(jù)資源,對(duì)數(shù)據(jù)的邏輯一致性檢查起到了至關(guān)重要的作用。例如,氣象數(shù)據(jù)中的高溫高濕組合關(guān)系、作物生長(zhǎng)周期內(nèi)肥料使用量與土壤含水率的匹配,均可通過(guò)知識(shí)庫(kù)的邏輯規(guī)則進(jìn)行校驗(yàn)。這一過(guò)程可以識(shí)別并糾正常規(guī)算法難以發(fā)現(xiàn)的潛在錯(cuò)誤數(shù)據(jù),確保輸入數(shù)據(jù)符合農(nóng)業(yè)生產(chǎn)的實(shí)際邏輯,進(jìn)一步提高了數(shù)據(jù)分析結(jié)果的可解釋性。[0040]步驟三、采用高斯混合模型及構(gòu)建的邏輯規(guī)則組合識(shí)別多源數(shù)據(jù)中的異常點(diǎn),對(duì)于檢測(cè)出的異常點(diǎn)結(jié)合具體場(chǎng)景進(jìn)行修正或補(bǔ)齊;所述步驟三包括如下內(nèi)容:步驟301、采用高斯混合模型對(duì)數(shù)據(jù)點(diǎn)的概率密度進(jìn)行建模,識(shí)別低密度的異常當(dāng)某點(diǎn)的密度值p(x)小于預(yù)設(shè)閾值時(shí),該點(diǎn)被標(biāo)記為異常點(diǎn);高斯混合模型(GMM)是一種基于概率密度的聚類方法,可通過(guò)建模數(shù)據(jù)的概率分布來(lái)識(shí)別異常點(diǎn)。在農(nóng)業(yè)多源數(shù)據(jù)中,異常點(diǎn)往往位于數(shù)據(jù)密度較低的區(qū)域,傳統(tǒng)方法可能難以有效區(qū)分正常值和異常值,而高斯混合模型能夠通過(guò)其靈活的概率建模特性識(shí)別這些低密度區(qū)域。與基于固定規(guī)則的異常檢測(cè)相比,高斯混合模型不僅能夠適應(yīng)復(fù)雜的數(shù)據(jù)分布,還能夠動(dòng)態(tài)調(diào)整檢測(cè)標(biāo)準(zhǔn),大幅提升異常點(diǎn)識(shí)別的靈敏性和準(zhǔn)確性。[0041]步驟302、結(jié)合農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)和實(shí)際經(jīng)驗(yàn),建立屬性之間的關(guān)系規(guī)則(如高溫一高濕合理性、高溫一低濕異常性等),其中,數(shù)學(xué)表達(dá)的方式如下:構(gòu)建邏輯規(guī)則R的集合,用于數(shù)據(jù)點(diǎn)xi的屬性驗(yàn)證:R(xi)={r?(xi),r?(xi),…最低通過(guò)規(guī)則數(shù),則標(biāo)記Xi為異常點(diǎn);在異常檢測(cè)過(guò)程中,單純依賴數(shù)學(xué)模型可能存在局限性,例如無(wú)法判斷某些異常點(diǎn)是否符合實(shí)際農(nóng)業(yè)場(chǎng)景。通過(guò)結(jié)合農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù),可進(jìn)一步對(duì)模型檢測(cè)出的疑似異常點(diǎn)進(jìn)行邏輯校驗(yàn),從而提升檢測(cè)的精準(zhǔn)度。例如,當(dāng)溫度與濕度的異常組合符合特定作物病害的典型特征時(shí),可將其標(biāo)記為“潛在問(wèn)題點(diǎn)”,而非簡(jiǎn)單剔除。聯(lián)合檢測(cè)有效彌補(bǔ)了單一方法的不足,提升了異常檢測(cè)的全面性和領(lǐng)域適配性。[0043]步驟303、對(duì)于檢測(cè)出的異常點(diǎn)結(jié)合具體場(chǎng)景進(jìn)行修正或補(bǔ)齊,其中,根據(jù)異常數(shù)據(jù)的類型、來(lái)源、應(yīng)用場(chǎng)景,識(shí)別異常值所處的異常場(chǎng)景,A,數(shù)據(jù)類型:包括,時(shí)間序列數(shù)據(jù):連續(xù)時(shí)間點(diǎn)的觀測(cè)數(shù)據(jù),如氣象、溫濕度變化、傳感器讀數(shù);異常表現(xiàn)為突變或缺失;空間數(shù)據(jù):具有地理坐標(biāo)屬性的觀測(cè)數(shù)據(jù),如土壤特性、地形特征、遙感影像。異常表現(xiàn)為單點(diǎn)或局部區(qū)域偏離;分類數(shù)據(jù):具有離散類別的特征,如作物種類、土地利用類型。異常表現(xiàn)為無(wú)效或不符合類別分布;多維關(guān)聯(lián)數(shù)據(jù):特征間存在強(qiáng)相關(guān)性的多維數(shù)據(jù)集,如氣象數(shù)據(jù)(溫度、濕度、降雨量);B,可能的數(shù)據(jù)來(lái)源:包括傳感器采集:可能由于設(shè)備故障或環(huán)境干擾引入異常;手工記錄:人為誤差可能導(dǎo)致異常值;遠(yuǎn)程感知:遙感或無(wú)人機(jī)數(shù)據(jù),可能因光照、遮擋或傳輸丟失引入異常;C,應(yīng)用目標(biāo):包括預(yù)測(cè):如作物產(chǎn)量預(yù)測(cè),對(duì)趨勢(shì)性數(shù)據(jù)異常的修正尤為重要;分類:如土地利用分類,需關(guān)注分類標(biāo)簽異常;知識(shí)推理:如氣象與土壤耦合關(guān)系分析,需保留關(guān)鍵特征的關(guān)聯(lián)性;通過(guò)統(tǒng)計(jì)分析識(shí)別異常值的分布模式,例如,離散單點(diǎn)異常、群體異常及長(zhǎng)尾分布異常等,分析獲取異常點(diǎn)前后的數(shù)據(jù)變化趨勢(shì)、鄰近空間特征,檢查多維特征之間的相關(guān)性變化;匯總數(shù)據(jù)類型、數(shù)據(jù)來(lái)源、應(yīng)用目標(biāo)及分布模式等,生成異常狀態(tài)數(shù)據(jù);步驟304、將異常狀態(tài)數(shù)據(jù)作為輸入,使用訓(xùn)練后的場(chǎng)景識(shí)別模型識(shí)別異常值的具體場(chǎng)景,獲取相應(yīng)的異常場(chǎng)景,例如時(shí)間序列突變異常、空間局部偏、分類數(shù)據(jù)標(biāo)簽異常及多維關(guān)聯(lián)異常等;依據(jù)識(shí)別出的異常場(chǎng)景,使用預(yù)訓(xùn)練的推薦算法在預(yù)先構(gòu)建的異常值處理策略庫(kù)內(nèi)匹配適配的異常處理方法;通過(guò)多維特征預(yù)測(cè)模型(例如多輸出回歸)補(bǔ)齊缺失使用時(shí),結(jié)合步驟301及302中的內(nèi)容:在農(nóng)業(yè)多源數(shù)據(jù)中,通過(guò)插值算法(如線性插值、樣條插值、Kriging插值等),結(jié)合領(lǐng)域知識(shí)(如作物生長(zhǎng)對(duì)氣溫的容忍范圍),能夠合理填補(bǔ)異常點(diǎn),避免對(duì)整體數(shù)據(jù)特性造成破壞。修正異常點(diǎn)后,可消除因數(shù)據(jù)間斷或跳躍對(duì)模型預(yù)測(cè)造成的干擾,確保時(shí)間序列數(shù)據(jù)的平滑性和連續(xù)性。異常點(diǎn)修正能夠有效降低異常值對(duì)統(tǒng)計(jì)分析結(jié)果(如均值、方差等)11的影響,從而提升分析的精度。修正后的數(shù)據(jù)質(zhì)量更高,為后續(xù)的建模與預(yù)測(cè)提供了可靠的數(shù)據(jù)基礎(chǔ),從而提升模型的魯棒性和預(yù)測(cè)效果。[0044]通過(guò)場(chǎng)景識(shí)別模型,能夠精準(zhǔn)區(qū)分異常數(shù)據(jù)的具體類型(如時(shí)間序列突變、空間局部偏差、多維關(guān)聯(lián)異常等),實(shí)現(xiàn)對(duì)不同異常場(chǎng)景的針對(duì)性處理;利用預(yù)訓(xùn)練的推薦算法,從異常值處理策略庫(kù)中自動(dòng)匹配最優(yōu)處理方案,有效提高異常修正的效率和智能化水平;結(jié)合多維特征預(yù)測(cè)模型(如多輸出回歸模型),在綜合考慮多維關(guān)聯(lián)關(guān)系的基礎(chǔ)上科學(xué)補(bǔ)齊缺失值,確保補(bǔ)全結(jié)果合理且符合邏輯。通過(guò)構(gòu)建閉環(huán)反饋機(jī)制,該方法還能實(shí)現(xiàn)策略庫(kù)與識(shí)別模型的動(dòng)態(tài)優(yōu)化,推動(dòng)系統(tǒng)的自適應(yīng)性與智能化發(fā)展,特別適用于農(nóng)業(yè)等多維復(fù)雜場(chǎng)景的數(shù)據(jù)需求,為精準(zhǔn)決策和智能管理奠定堅(jiān)實(shí)基礎(chǔ)。[0045]步驟四、通過(guò)信息增益選擇關(guān)鍵特征,對(duì)齊后生成時(shí)間和空間的高階交互特征,將其與原始多源數(shù)據(jù)進(jìn)行多源融合,生成高質(zhì)量融合數(shù)據(jù)集;所述步驟四包括如下內(nèi)容:步驟401、信息增益是評(píng)估特征與目標(biāo)變量之間關(guān)聯(lián)性的重要指標(biāo),衡量的是在引入某一特征后,目標(biāo)變量的不確定性減少的程度。簡(jiǎn)單來(lái)說(shuō),信息增益越大,說(shuō)明特征對(duì)目標(biāo)變量的解釋能力越強(qiáng),是一個(gè)重要的特征選擇依據(jù);計(jì)算每個(gè)特征與目標(biāo)變量之間的信息增益,設(shè)定增益閾值(如信息增益>0.1),將信息增益超出增益閾值的作為關(guān)鍵特征;從而選擇對(duì)目標(biāo)變量貢獻(xiàn)較大的特征,去除信息增益低于閾值的特征;信息增益IG(X;,Y)的計(jì)算公式如下:IG(X;,Y)=H(Y)-H(Y|Xi):其中:H(Y)表示目標(biāo)變量Y的信息,反映目標(biāo)變量的不確定性H(Y|Xi)表示在已知特征Xi的情況下,目標(biāo)變量Y的條件信息熵;信息熵H(Y)的公式為:H(Y)=-∑yeyP(y)log?P(y),其中,P(y)表示Y的分布越隨機(jī)、不確定性越高;條件信息熵的定義為,條件信息H(Y|Xi)是指在已知特征Xi的條件下,目標(biāo)變量的不確定性,定義為:H(Y|Xi)=∑x;ex;P(xi)·H(Y|xi),其中:P(xi)是特征Xi取值的概率;H(Y|xi)是Xi=x;時(shí)目標(biāo)變量Y的信息熵;通過(guò)上述公式可以看出,信息增益計(jì)算了在引入特征Xi后,目標(biāo)變量Y的減少了多少,即特征Xi提供的信息量;信息增益是特征選擇中的重要指標(biāo),它通過(guò)衡量每個(gè)特征對(duì)目標(biāo)變量的貢獻(xiàn)度,幫助篩選出具有最大區(qū)分度的特征。在農(nóng)業(yè)多源數(shù)據(jù)的分析中,信息增益的應(yīng)用不僅能夠去除冗余和無(wú)用特征,還能突出關(guān)鍵特征(如對(duì)產(chǎn)量預(yù)測(cè)貢獻(xiàn)最大的氣溫、降水、土壤濕度等)。[0046]步驟402、對(duì)關(guān)鍵特征進(jìn)行歸一化、對(duì)齊和補(bǔ)齊,以解決數(shù)據(jù)在時(shí)間和空間維度上的不一致性,基于對(duì)齊后的關(guān)鍵特征生成時(shí)間和空間的高階交互特征;其中,時(shí)間維度主要通過(guò)滑動(dòng)窗口計(jì)算統(tǒng)計(jì)特征,提取時(shí)間序列中的動(dòng)態(tài)變化模式;空間維度則圍繞鄰域關(guān)系展開高階特征生成,捕捉空間區(qū)域之間的復(fù)雜交互關(guān)系;在生成高階交互特征后,將高階交互特征與原始多源數(shù)據(jù)一起進(jìn)行最終的多源融合,統(tǒng)一為高質(zhì)量的融合數(shù)據(jù)集;通過(guò)這種方式,高階交互特征的提取與多源數(shù)據(jù)融合過(guò)程相輔相成,不僅提升了數(shù)據(jù)的特征豐富性,也為后續(xù)建模提供了更加全面的特征表達(dá)。高階交互特征生成是對(duì)原始特征的深入挖掘,通過(guò)捕捉多個(gè)特征間的非線性關(guān)系(如溫濕度對(duì)蒸發(fā)量的共同影響),豐富了數(shù)據(jù)的表達(dá)能力。尤其是在多源數(shù)據(jù)融合中,高階特征能夠幫助構(gòu)建更復(fù)雜的關(guān)聯(lián)模型,生成更具業(yè)務(wù)價(jià)值的綜合特征。通過(guò)結(jié)合高階交互特征與原始多源數(shù)據(jù),能夠充分利用數(shù)據(jù)間的互補(bǔ)性,最大化提升預(yù)測(cè)的準(zhǔn)確性。[0048]步驟五、對(duì)異常數(shù)據(jù)模式進(jìn)行分類后建立異常模式庫(kù),依據(jù)異常數(shù)據(jù)的異常特征從故障匹配規(guī)則庫(kù)內(nèi)匹配出異常數(shù)據(jù)的來(lái)源類別;并依據(jù)故障來(lái)源數(shù)據(jù)生成提醒系數(shù),若提醒系數(shù)超過(guò)提醒閾值,向外部發(fā)出報(bào)警指令;所述步驟五包括如下內(nèi)容:時(shí)間范圍(白天/夜晚、特定季節(jié)等);空間特征:異常發(fā)生的地理位置或傳感器節(jié)點(diǎn);數(shù)值特征:異常值的幅度(如極高/極低)及其變化速率;分布特征:異常值在特定時(shí)間/空間范圍內(nèi)的分布密度;使用預(yù)訓(xùn)練的聚類算法對(duì)異常數(shù)據(jù)模式進(jìn)行分類,對(duì)每個(gè)異常點(diǎn)分配聚類標(biāo)簽,用于標(biāo)記其所屬的異常模式類別,輸出每個(gè)異常模式的中心(如K-Means的簇中心)及其特征描述;每個(gè)類別的異常點(diǎn)數(shù)量、分布特征及特定模式的空間/時(shí)間范圍;匯總聚類結(jié)果后建立異常模式庫(kù),便于后續(xù)使用和分析,每個(gè)異常模式的核心信聚類算法通過(guò)對(duì)異常點(diǎn)進(jìn)行分組,能夠發(fā)現(xiàn)異常數(shù)據(jù)中的潛在模式(如溫度傳感器故障引起的持續(xù)異常、氣候極端條件下的作物異常表現(xiàn)),這些模式為后續(xù)異常修復(fù)與管理提供了依據(jù),同時(shí)通過(guò)建立異常模式庫(kù),能夠?qū)崿F(xiàn)對(duì)已知異常的快速識(shí)別與分類,這種模式化管理大幅提升了異常處理的效率,同時(shí)為后續(xù)農(nóng)業(yè)生產(chǎn)的智能化管控奠定了基礎(chǔ)。[0049]步驟502、根據(jù)領(lǐng)域知識(shí)、歷史數(shù)據(jù)以及設(shè)備運(yùn)行經(jīng)驗(yàn)總結(jié)生成故障匹配規(guī)則,其故障匹配規(guī)則涵蓋特征維度、閾值范圍和邏輯條件,規(guī)則類型包括簡(jiǎn)單規(guī)則、復(fù)合規(guī)則及概率規(guī)則;對(duì)原始數(shù)據(jù)進(jìn)行清洗后提取關(guān)鍵特征,將異常特征與故障匹配規(guī)則庫(kù)內(nèi)的故障匹配規(guī)則逐一對(duì)比,匹配出異常數(shù)據(jù)的來(lái)源類別,例如識(shí)別設(shè)備故障、極端天氣或采集誤差;結(jié)合農(nóng)業(yè)領(lǐng)域知識(shí)和歷史經(jīng)驗(yàn),建立故障匹配規(guī)則庫(kù),能夠準(zhǔn)確識(shí)別異常數(shù)據(jù)的來(lái)源類別,可以為異常數(shù)據(jù)的處理提供針對(duì)性解決方案,有助于發(fā)現(xiàn)數(shù)據(jù)采集和存儲(chǔ)環(huán)節(jié)中的潛在問(wèn)題,為系統(tǒng)優(yōu)化提供反饋途徑。[0050]步驟503、使用層次分析法為各個(gè)故障來(lái)源確定相應(yīng)的權(quán)重系數(shù)后,若在當(dāng)前階段內(nèi)存輸出的異常數(shù)據(jù)的量超過(guò)預(yù)期,向外部發(fā)出提醒并將相應(yīng)的時(shí)間節(jié)點(diǎn)作為提醒節(jié)點(diǎn);獲取產(chǎn)生提醒節(jié)點(diǎn)的故障來(lái)源、提醒節(jié)點(diǎn)的分布狀態(tài)及每個(gè)提醒節(jié)點(diǎn)上累積的數(shù)據(jù)異常程度,匯總作為提醒狀態(tài)數(shù)據(jù);由提醒狀態(tài)數(shù)據(jù)構(gòu)建提醒系數(shù)R(t),方式如下:R(t)=ZtLET(∑'=1Wi·△;(tk))·[0051]式中:Wi為第i個(gè)故障來(lái)源的重要性權(quán)重系數(shù),所有權(quán)重滿足歸一化∑=1Wi=1,且Wi≥0,為累積異常程度,在提醒節(jié)點(diǎn)tk上,第i個(gè)故障來(lái)源的累積異常程度為:

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論