CCSZ00團體標準T/CSES179—2024生態(tài)環(huán)境領域人工智能算法評估方法Evaluationofartificialintelligencealgorithmsinthefieldofecologicalenvironment2024-12-25發(fā)布2024-12-25實施中國環(huán)境科學學會ⅠT/CSES179—2024前言 Ⅲ引言 Ⅳ1范圍 12規(guī)范性引用文件 13術語和定義 14縮略語 25評估體系 25.1概述 25.2算法性能 35.3可解釋性 45.4可控性 45.5安全性 55.6維護性 66評估流程 76.1總則 76.2確定評估目標 86.3制定評估方案 96.4執(zhí)行評估 96.5匯總評估結論 97評估方法 97.1算法性能 97.2可解釋性 107.3可控性 117.4安全性 127.5維護性 14附錄A(資料性)算法評估實施案例 17圖1生態(tài)環(huán)境領域人工智能算法評估流程 8表1指標體系 2表2風險等級 8表3生態(tài)環(huán)境領域算法評估目標等級劃分 9表4生態(tài)環(huán)境領域測試元評估等級劃分 9ⅡT/CSES179—2024表5算法的精準性評估方法 10表6算法的效能評估方法 10表7算法的可解釋性評估方法 11表8算法的可控性評估方法 11表9算法的可靠性評估方法 12表10算法計算環(huán)境的魯棒性評估方法 12表11算法的保密性評估方法 13表12算法的兼容性評估方法 14表13算法的可維護性評估方法 15表14算法的可移植性評估方法 16表15算法的可擴展性評估方法 16表A.1評估準備 17表A.2人工智能評估指標 18表A.3算法性能評估結果 19表A.4算法評估結論 19ⅢT/CSES179—2024本文件按照GB/T1.1—2020《標準化工作導則第1部分:標準化文件的結構和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內容可能涉及專利。本文件的發(fā)布機構不承擔識別專利的責任。本文件由生態(tài)環(huán)境部信息中心提出。本文件由中國環(huán)境科學學會歸口。本文件起草單位:生態(tài)環(huán)境部信息中心、浙大啟真未來城市科技(杭州)有限公司、天津市生態(tài)環(huán)境科學研究院、聯通(浙江)產業(yè)互聯網有限公司、廣東省環(huán)境科學研究院、生態(tài)環(huán)境部環(huán)境規(guī)劃院、浙江工業(yè)大學、浙江大學濱江研究院。ⅣT/CSES179—2024中共中央、國務院印發(fā)的《數字中國建設整體布局規(guī)劃》提出“建設綠色智慧的數字生態(tài)文明”?！吨泄仓醒雵鴦赵宏P于全面推進美麗中國建設的意見》指出“深化人工智能等數字技術應用,構建美麗中國數字化治理體系,建設綠色智慧的數字生態(tài)文明”。為加快推進人工智能在生態(tài)環(huán)境領域的應用,保障算法的質量,促進公平競爭,加速創(chuàng)新和技術進步,亟需建立評估方法,為各部門、地區(qū)開展生態(tài)環(huán)境領域人工智能算法評估提供參考依據。1T/CSES179—2024生態(tài)環(huán)境領域人工智能算法評估方法1范圍本文件規(guī)范了生態(tài)環(huán)境領域人工智能算法的評估體系、評估流程及方法。本文件適用于指導生態(tài)環(huán)境領域人工智能算法開發(fā)方、用戶方以及相關組織對生態(tài)環(huán)境領域人工智能算法開展的評估工作。2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中,注明日期的引用文件,僅該日期對應的版本適用于本文件;不注明日期的引用文件,其最新版本(包括所有的修改單)適用于本文件。GB/T20986信息安全技術網絡安全事件分類分級指南GB/T41867信息技術人工智能術語GB/T42888信息安全技術機器學習算法安全評估規(guī)范T/CESA1036信息技術人工智能機器學習模型及系統的質量要素和測試方法3術語和定義下列術語和定義適用于本文件。人工智能artificialintelligence人工智能系統相關機制和應用的研究和開發(fā)。[來源:GB/T41867—2022,3.1.2]3.2對抗攻擊adversarialattack通過在正常樣本上添加難以察覺的微小擾動誤導人工智能算法的攻擊方法。[來源:JR/T0221—2021,3.8,有修改]3.3物理對抗攻擊physicaladversarialattack通過物理手段在真實世界構建對抗樣本攻擊人工智能算法的方法。[來源:JR/T0221,3.9]3.4模型后門攻擊modelbackdoorattack在訓練模型時植入后門,當觸發(fā)后門條件時,模型會產生不正常的輸出。3.5可解釋性explainability系統以人能理解的方式,表達影響其(執(zhí)行)結果的重要因素的能力。注:可解釋性理解為對“原因”的表述,而不是嘗試以“實現必要的優(yōu)勢特性”做出爭辯。2T/CSES179—2024[來源:GB/T41867—2022,3.4.3]3.6可靠性reliability實施一致的期望行為并獲得結果的性質。[來源:GB/T41867—2022,3.4.4]3.7可控性controllability系統被人類或其他外部主體干預的性質。[來源:GB/T41867—2022,3.4.5]3.8評估對象在任何情況下都保持其性能水平的特性。[來源:GB/T41867—2022,3.4.9,有修改]3.9測試元testelement用于評估算法的具體指標,具有明確的測試目標和可量化的結果。4縮略語下列縮略語適用于本文件。API:應用程序接口(ApplicationProgrammingInterface)ASR:攻擊成功率(AttackSuccessRatio)GPU:圖形處理器(GraphicsProcessingUnit)MAE:平均絕對誤差(MeanAbsoluteError)MAPE:平均絕對百分比誤差(MeanAbsolutePercentageError)MSE:均方誤差(MeanSquareError)R2:決定系數(CoefficientofDetermination)5評估體系5.1概述人工智能算法效果可能受到內外部因素影響。本文件按照GB/T42888和T/CESA1036,結合生態(tài)環(huán)境領域應用場景,制定了一套生態(tài)環(huán)境領域人工智能算法評估體系,包含5個一級指標、11個二級指標(見表1)。表1指標體系一級指標二級指標重點要素算法性能精準性回歸任務精準性、分類任務精準性效能執(zhí)行效率、數據處理能力可解釋性可解釋性模型復雜度、解釋性能力、解釋性質量可控性可控性系統穩(wěn)定性、參數可調性、運行狀態(tài)的實時監(jiān)控3T/CSES179—2024表1指標體系(續(xù))一級指標二級指標重點要素安全性可靠性中毒性攻擊抵御可靠性、對抗性攻擊抵御可靠性、物理對抗攻擊抵御可靠性計算環(huán)境的魯棒性智能算法供應鏈的魯棒性、分布式計算的魯棒性、計算框架的魯棒性保密性數據敏感性與保密性、模型保密性、依賴信息保密性維護性兼容性算法對數據格式的兼容性、算法對操作系統的兼容性、算法對其他軟件的兼容性可維護性算法迭代的更新頻率、算法迭代的質量變化可移植性算法對硬件設備的可移植性、算法對人工智能框架的可移植性可擴展性算法水平擴展能力、算法垂直擴展能力5.2算法性能5.2.1精準性5.2.1.1回歸任務精準性評估算法在回歸問題上的預測精確程度,包括但不限于以下測試元:a)均方誤差(MSE);b)決定系數(R2);c)平均絕對誤差(MAE);d)平均絕對百分比誤差(MAPE)。5.2.1.2分類任務精準性評估算法在分類問題上的分類準確性,包括但不限于以下測試元:a)準確率;b)精確率;c)召回率;d)F1分數。5.2.2效能5.2.2.1執(zhí)行效率評估算法的運行效率與資源使用情況,包括但不限于以下測試元:a)執(zhí)行速度;b)資源利用率。5.2.2.2數據處理能力評估算法應對大量數據或復雜任務的能力,包括但不限于以下測試元:a)吞吐量;b)并行處理能力;c)負載處理能力。4T/CSES179—20245.3可解釋性5.3.1模型復雜度解釋算法的復雜性和計算資源需求能力,包括但不限于以下測試元:a)模型參數數量;b)模型結構復雜度。5.3.2解釋性能力解釋算法的輸出預測結果,包括但不限于以下測試元:a)可視化效果評估;b)特征重要性評估。5.3.3解釋性質量評估算法對用戶的交互性,包括但不限于以下測試元:a)解釋的準確性;b)解釋的完整性;c)解釋的一致性。5.4可控性5.4.1系統穩(wěn)定性評估算法在面臨操作環(huán)境變化時的穩(wěn)定性表現,包括但不限于以下測試元:a)平均錯誤率;b)最大錯誤率;c)運行期間崩潰次數;d)崩潰后恢復時間。5.4.2參數可調性評估算法應對不同參數設置變化的能力,包括但不限于以下測試元:a)參數調整范圍;b)參數調整對性能的影響。5.4.3運行狀態(tài)的實時監(jiān)控評估算法在運行過程中對信息資源的監(jiān)控能力,包括但不限于以下測試元:a)狀態(tài)信息更新頻率;b)故障預警機制的有效性;c)資源利用率的優(yōu)化程度;d)資源調度算法的合理性。5T/CSES179—20245.5安全性5.5.1可靠性5.5.1.1中毒性攻擊抵御可靠性評估算法模型應對中毒攻擊的可靠性,包括但不限于以下測試元:a)數據投毒攻擊抵御能力;b)模型后門攻擊抵御能力。5.5.1.2對抗性攻擊抵御可靠性評估算法模型應對對抗性攻擊的可靠性,包括但不限于以下測試元:a)白盒對抗攻擊抵御能力;b)灰盒對抗攻擊抵御能力;c)黑盒對抗攻擊抵御能力。5.5.1.3物理對抗攻擊抵御可靠性評估算法模型在面對物理對抗攻擊時保持其性能和準確性的能力,包括但不限于以下測試元:a)有目標物理對抗攻擊抵御能力;b)無目標物理對抗攻擊抵御能力。5.5.2計算環(huán)境的魯棒性5.5.2.1智能算法供應鏈的魯棒性評估算法模型應對各種不確定因素的能力,包括但不限于以下測試元:a)供應鏈完整性;b)組件來源可信性;c)供應鏈安全性。5.5.2.2分布式計算的魯棒性評估算法模型面對各種異常情況時,分布式算法保持穩(wěn)定運行的能力,包括但不限于以下測試元:a)數據一致性能力;b)分布式結構安全性。5.5.2.3計算框架的魯棒性評估在各種異常情況下,計算框架保持穩(wěn)定運行和正確執(zhí)行任務的能力,包括但不限于以下測試元:a)算子安全性;b)框架庫安全性;c)API安全性;d)編譯器安全性。6T/CSES179—20245.5.3保密性5.5.3.1數據敏感性與保密性評估算法在處理敏感數據時的安全性與隱私保護能力,包括但不限于以下測試元:a)數據加密措施;b)數據訪問控制;c)數據存儲安全性。5.5.3.2模型保密性評估算法在保護模型本身及其生成的數據時的安全性與隱私保護能力,包括但不限于以下測試元:a)模型參數保密性;b)模型文件加密;c)模型訪問權限控制。5.5.3.3依賴信息保密性評估算法在管理其依賴項安全性和隱私保護能力,包括但不限于以下測試元:a)依賴庫和框架的保密性;b)依賴信息的訪問控制;c)依賴信息的完整性保護。5.6維護性5.6.1兼容性5.6.1.1算法對數據格式的兼容性評估算法在處理數據時的效率和準確度,包括但不限于以下測試元:a)數據格式兼容性;b)不同數據格式處理能力。5.6.1.2算法對操作系統的兼容性評估算法在多種操作系統上運行的能力,包括但不限于以下測試元:a)操作系統兼容數量;b)跨平臺操作便捷性。5.6.1.3算法對其他軟件的兼容性評估算法與第三方軟件共同工作時的表現,包括但不限于以下測試元:a)第三方軟件兼容性;b)軟件更新適應性;c)國產化芯片的適配兼容性;d)人工智能框架的適配兼容性。7T/CSES179—20245.6.2可維護性5.6.2.1算法迭代的更新頻率評估算法的發(fā)展速度與適應變化的能力,包括但不限于以下測試元:a)迭代時間間隔能力;b)迭代代碼變動量。5.6.2.2算法迭代的質量變化評估算法在各次更新后的綜合表現改善情況,包括但不限于以下測試元:a)迭代性能提升能力;b)迭代系統穩(wěn)定能力。5.6.3可移植性5.6.3.1算法對硬件設備的可移植性評估算法在不同硬件平臺上運行時的適應性和效率,包括但不限于以下測試元:a)支持的硬件設備種類;b)跨硬件性能差異。5.6.3.2算法對人工智能框架的可移植性評估算法在不同人工智能框架中運行的效率和適應性,包括但不限于以下測試元:a)支持的人工智能框架數;b)框架間的性能保持。5.6.4可擴展性5.6.4.1算法水平擴展能力評估算法在通過增加更多的計算節(jié)點來提高系統的處理能力和容量,包括但不限于以下測試元:a)性能提升評估;b)無狀態(tài)服務支持;c)自動識別與集成。5.6.4.2算法垂直擴展能力評估算法在通過升級單個組件來提升性能的能力,包括但不限于以下測試元:a)硬件升級性能提升;b)最大算力限制。6評估流程生態(tài)環(huán)境領域人工智能算法評估流程見圖1。包括確定評估目標、制定評估方案、執(zhí)行評估、匯總評估結論四個活動。算法評估實施案例見附錄A。8T/CSES179—2024圖1生態(tài)環(huán)境領域人工智能算法評估流程6.2確定評估目標可運用以下步驟確定生態(tài)環(huán)境領域人工智能算法的評估目標。a)場景分析:分析生態(tài)環(huán)境領域人工智能算法的應用場景、運行環(huán)境與使用流程,既要考慮系統正常使用的情況,也要考慮可預見的異常情況。b)風險分析:通過算法場景分析、失效風險分析、歷史運行數據分析、專家委員會評審等,調查評估算法失效可能產生的風險程度并確定風險等級。應按照GB/T20986的要求,依據事件影響對象的重要程度與事件對業(yè)務損失、社會危害和潛在環(huán)境事件的嚴重程度來判定風險程度。風險程度對應的風險等級見表2。表2風險等級危險嚴重性等級描述特別嚴重風險事件發(fā)生在特別重要的事件影響對象上,并且:a)導致特別嚴重的業(yè)務損失,或b)造成特別重大的社會危害,或c)導致特別重大突發(fā)環(huán)境事件嚴重風險事件發(fā)生在特別重要或重要的事件影響對象上,并且:a)導致特別重要的事件影響對象遭受嚴重的業(yè)務損失或導致重要的事件影響對象遭受特別嚴重的業(yè)務損失,或b)造成重大的社會危害,或c)導致重大突發(fā)環(huán)境事件較大風險事件發(fā)生在特別重要或重要或一般的事件影響對象上,并且:a)導致特別重要的事件影響對象遭受較大或較小的業(yè)務損失,或重要的事件影響對象遭受嚴重或較大的業(yè)務損失,或導致一般的事件影響對象遭受較大(含)以上級別的業(yè)務損失,或b)造成較大的社會危害,或c)導致較大突發(fā)環(huán)境事件一般風險事件發(fā)生在重要或一般的事件影響對象上,并且:a)導致較小的業(yè)務損失,或b)造成一般的社會危害,或c)導致一般突發(fā)環(huán)境事件c)確定評估目標:根據算法失效的危險嚴重性等級,可建立人工智能算法的評估目標,見表3。其中評估目標從高到低依次分為Ⅰ級、Ⅱ級、Ⅲ級、Ⅳ級四個級別。9T/CSES179—2024表3生態(tài)環(huán)境領域算法評估目標等級劃分評估目標目標等級描述避免算法失效造成特別重大嚴重風險事件避免算法失效造成嚴重風險事件避免算法失效造成較大風險事件Ⅳ級避免算法失效造成一般風險事件6.3制定評估方案根據項目實際情況選取測試元,確定測試元應達到的指標要求,并用專家打分法確定測試元權重,參考案例見表A.2和表A.3。6.4執(zhí)行評估執(zhí)行評估應按照評估方案對測試元逐一評估、形成分項評估結果、留存證明材料,包含以下內容:a)按照評估需求,開展評估;b)根據測試效果,對測試元進行分項評估,每項評估分值在0~100分,評估規(guī)則如表4所示;c)采用測試工具、經專家審核確定測試元得分,通過加權乘積之和逐級計算重點要素、二級指標、一級指標,確定評分結果;d)留存生態(tài)環(huán)境領域人工智能算法評估過程及結果的必要證明材料。表4生態(tài)環(huán)境領域測試元評估等級劃分評估分值描述[0,45)測試元明顯未達到測試要求[45,60)測試元未達到測試要求[60,80)測試元符合測試基本要求[80,90)測試元優(yōu)于測試要求[90,100)測試元明顯優(yōu)于測試要求6.5匯總評估結論人工智能算法的所有測試元均通過評估,則算法通過評估并達到目標要求;否則未通過評估。7評估方法7.1算法性能精準性涉及數據處理、分析及預測的準確性。在環(huán)境監(jiān)測、污染防治等關鍵領域,通過細致的算法測試,評估算法在不同場景下的表現。生態(tài)環(huán)境領域算法的精準性評估方法見表5。10T/CSES179—2024表5算法的精準性評估方法重點評估要素評估方法回歸任務精準性a)均方誤差(MSE):計算預測值與實際值之差的平方的平均值。MSE值越小,表示預測值與實際值之間的差異越小,回歸任務精準性越高。b)決定系數(R2):通過比較模型預測值與實際值的相關性來評估模型的擬合優(yōu)度。R2值越接近1,表示模型擬合效果越好,回歸任務精準性越高。c)平均絕對誤差(MAE):計算預測值與實際值之間絕對差值的平均值。MAE越低,模型的準確性越高。d)平均絕對百分比誤差(MAPE):計算預測值與實際值之間差值的絕對值除以實際值的平均值,以百分比表示誤差分類任務精準性a)準確率:計算正確分類的樣本數占總樣本數的比例。準確率值越大,表示算法正確分類的能力越強,分類任務精準性越高。b)精確率:計算真正為正樣本占實際為正樣本的比例。精確率值越大,表示算法預測為正樣本的樣本中真正為正樣本的比例越高,分類任務精準性越高。c)召回率:衡量模型正確預測正樣本全度的能力,即正樣本被預測為正樣本占總的正樣本的比例。召回率值越大,表示算法能找出正樣本的能力越強,分類任務精準性越高。d)F1分數:綜合考慮精確率和召回率,計算它們的調和平均值。F1分數越大,表示算法在精確率和召回率之間取得的平衡更強,分類任務精準性越高7.1.2效能效能關乎算法的運行效率,以及算法在解決實際問題的效果和能力。生態(tài)環(huán)境領域算法的效能評估方法見表6。表6算法的效能評估方法重點評估要素評估方法執(zhí)行效率a)執(zhí)行速度:使用計時器記錄算法從開始執(zhí)行到任務完成所需的總時間?？倳r間越小,表示算法的執(zhí)行速度越快,性能越好。b)資源利用率:監(jiān)控算法運行時的內存占用、智能加速卡使用率,并計算其平均值。內存占用、智能加速卡使用率越低,表示算法的資源利用率越高,對系統資源的消耗越少數據處理能力a)吞吐量:記錄算法在單位時間內成功處理的數據量或任務數。吞吐量越高,表示算法的數據處理能力越好。b)并行處理能力:模型算法同時執(zhí)行多個指令或任務的能力。并行處理能力的提升比例越高,說明算法在并行計算方面的優(yōu)化越好。c)負載處理能力:在不同負載條件下測試算法的性能表現,如高負載、低負載和中等負載情況。算法在不同負載條件下都能保持穩(wěn)定的性能表現,說明其負載處理能力強7.2可解釋性可解釋性是評估算法可靠性和適用性的重要維度。模型復雜度、解釋性能力和解釋性質量是構成生態(tài)環(huán)境領域算法可解釋性的三個核心指標,涉及算法模型參數量和結構,可視化和特征重要性評估,以及解釋質量的準確性、完整性和一致性。在關鍵領域如環(huán)境監(jiān)測和污染防治,應進行嚴格的算法測試,以確保算法在各種場景下的表現能力。生態(tài)環(huán)境領域算法的可解釋性評估方法見表7。11T/CSES179—2024表7算法的可解釋性評估方法重點評估要素評估方法模型復雜度a)模型參數數量:記錄模型中所有參數的數量。參數數量越多,表示算法的復雜度越高,可解釋性越差。b)模型結構復雜度:記錄模型中的層級、多,深度越深,以及神經元的連接方式越多樣,表明算法的結構復雜度越高,可解釋性越差解釋性能力a)可視化效果評估:記錄算法可視化后信息密度和數據關系的表達。信息密度越大,表示算法的可視化效果越強,可解釋性能力越好。b)特征重要性評估:記錄單個或多個特征輸入算法后對預測結果的影響程度。影響程度越大,表示算法的特征重要性評估效果越強,可解釋性能力越好解釋性質量a)解釋的準確性:在不同的輸入參數或特定條件下,記錄算法所生成的解釋性結果。若解釋結果清晰、準確,則解釋的準確性滿足。b)解釋的完整性:記錄算法提供解釋的涵蓋范圍。解釋涵蓋的范圍越大,解釋質量的完整性越高。c)解釋的一致性:在不同的輸入或條件下,記錄算法提供的解釋結果。若解釋結果保持相對穩(wěn)定和一致,則解釋的一致性滿足7.3可控性可控性是評估生態(tài)環(huán)境領域算法系統實際應用價值的關鍵指標,關乎算法系統的穩(wěn)定性和可調性,以及涉及算法系統在運行時的情況。生態(tài)環(huán)境領域算法的可控性評估方法見表8。表8算法的可控性評估方法重點評估要素評估方法系統穩(wěn)定性a)平均錯誤率:統計算法在連續(xù)運行期間出現的錯誤次數,并計算其平均值。平均錯誤率越小,說明算法在運行過程中出錯的可能性越小,穩(wěn)定性越高。b)最大錯誤率:記錄算法在特定條件下或特定時間段內的最大錯誤次數。最大錯誤率反映了算法在極端情況下的錯誤表現,其值越小,表示算法的穩(wěn)定性和魯棒性越好。c)運行期間崩潰次數:監(jiān)控算法在連續(xù)運行期間發(fā)生的崩潰次數。崩潰次數越少,說明算法的運行越穩(wěn)定,用戶體驗越好。d)崩潰后恢復時間:在算法發(fā)生崩潰后,記錄從崩潰到恢復正常運行所需的時間?；謴蜁r間越短,說明算法具備快速恢復的能力,對服務連續(xù)性的影響越低參數可調性a)參數調整范圍:對算法參數進行調整,記錄參數調整范圍,范圍越大,表明參數可調性越好。b)參數調整對性能的影響:在調整算法參數過程中,記錄算法性能變化情況。算法性能波動越小,說明算法參數調整越穩(wěn)定運行狀態(tài)的實時監(jiān)控a)狀態(tài)信息更新頻率:記錄算法在上一次狀態(tài)更新到下一次狀態(tài)更新的時間間隔。時間間隔越短,說明算法狀態(tài)信息更新的越頻繁,實時監(jiān)控能力越強。b)故障預警機制的有效性:在多次測試算法故障后,記錄算法成功故障預警的次數。成功次數越多,表明算法故障預警機制越有效。c)資源利用率的優(yōu)化程度:記錄資源優(yōu)化前和優(yōu)化后的利用比值。利用比值越低,表明算法資源利用率的優(yōu)化程度越好。d)資源調度算法的合理性:監(jiān)控算法在調度資源后資源的分布情況。資源分布越平均,說明資源調度算法越合理12T/CSES179—20247.4安全性7.4.1可靠性可靠性涉及算法模型的訓練、測試等過程。在環(huán)境監(jiān)測、污染防治等關鍵領域,通過算法模型的能力,應對各種數據、模型攻擊方法,評估算法模型在不同攻擊方法下的可靠性。生態(tài)環(huán)境領域算法的可靠性評估方法見表9。表9算法的可靠性評估方法重點評估要素評估方法中毒性攻擊抵御可靠性a)數據投毒攻擊抵御能力:計算成功攻擊使算法模型對輸入數據進行錯誤分類的比例。比例越小,表示被成功攻擊的算法模型越少,數據投毒攻擊抵御能力越強b)模型后門攻擊抵御能力:計算成功攻擊的后門樣本與全部后門樣本的比值。比值越小,表示后門攻擊成功率(ASR)越低,模型后門攻擊抵御能力越強對抗性攻擊抵御可靠性a)白盒對抗攻擊抵御能力:計算成功攻擊的白盒對抗樣本與全部白盒對抗樣本的比值。比值越小,表示白盒對抗攻擊成功率(ASR)越低,模型白盒對抗攻擊抵御能力越強。b)灰盒對抗攻擊抵御能力:計算成功攻擊的灰盒對抗樣本與全部灰盒對抗樣本的比值。比值越小,表示灰盒對抗攻擊成功率(ASR)越低,模型灰盒對抗攻擊抵御能力越強。c)黑盒對抗攻擊抵御能力:計算成功攻擊的黑盒對抗樣本與全部黑盒對抗樣本的比值。比值越小,表示黑盒對抗攻擊成功率(ASR)越低,模型黑盒對抗攻擊抵御能力越強物理對抗攻擊抵御可靠性a)有目標物理對抗攻擊抵御能力:計算成功攻擊的有目標物理對抗樣本與全部有目標對抗樣本的比值。比值越小,表示有目標物理對抗攻擊成功率(ASR)越低,模型有目標物理對抗攻擊抵御能力越強。b)無目標物理對抗攻擊抵御能力:計算成功攻擊的無目標物理對抗樣本與全部無目標對抗樣本的比值。比值越小,表示無目標物理對抗攻擊成功率(ASR)越低,模型無目標物理對抗攻擊抵御能力越強7.4.2計算環(huán)境的魯棒性算法計算環(huán)境的魯棒性涉及算法模型的訓練、測試等過程。在環(huán)境監(jiān)測、污染控制等關鍵領域,通過全面考察計算,評估算法計算環(huán)境在不同場景下的魯棒性。生態(tài)環(huán)境領域算法計算環(huán)境的魯棒性評估方法見表10。表10算法計算環(huán)境的魯棒性評估方法重點評估要素評估方法智能算法供應鏈的魯棒性a)供應鏈完整性:統計計算環(huán)境中供應鏈的實際環(huán)節(jié)數量與理論環(huán)節(jié)數量的比值越大,表示供應鏈的環(huán)節(jié)數量越多,供應鏈完整性越高。b)組件來源可信性:通過信譽度、穩(wěn)定性、質量等評估組件或組件的供應商。組件穩(wěn)定性、質量等越高,商家信譽度、合規(guī)性越好,組件來源可信度越高。c)供應鏈安全性:通過供應鏈透明度、供應商信譽度、安全合規(guī)性、災難恢復與業(yè)務連續(xù)性等評估供應鏈的安全性。供應鏈透明度越高、供應商信譽度越高、安全合規(guī)性越好、災難恢復與業(yè)務連續(xù)性越有效等,則供應鏈的安全性越高13T/CSES179—2024表10算法計算環(huán)境的魯棒性評估方法(續(xù))重點評估要素評估方法分布式計算的魯棒性a)數據一致性能力:通過數據一致性級別、讀寫數據的時延、系統吞吐量等評估數據一致性能力。數據一致性級別越高、系統讀寫數據時延越低、系統吞吐量越大等,則數據一致性能力越強。b)分布式結構安全性:通過數據安全性、數據保密性、訪問控制策略嚴密性、數據備份與恢復能力等評估分布式結構安全性。數據安全保密性越好、訪問控制策略嚴密性越高、數據備份與恢復能力越強等,則分布式結構安全性越好計算框架的魯棒性a)算子安全性:通過訪問控制和權限管理嚴密性、安全驗證規(guī)范性、日志和監(jiān)控完整性等評估算子安全性。訪問控制和權限管理嚴密性越好、安全驗證規(guī)范性越強、日志和監(jiān)控完整性越高等,則算子安全性越強。b)框架庫安全性:通過漏洞管理和修復能力、身份驗證和訪問控制嚴密性、日志和監(jiān)控完整性等評估框架庫安全性。漏洞管理和修復能力越強、身份驗證和訪問控制嚴密性越好、日志和監(jiān)控完整性越高等,則框架庫安全性越好。c)API安全性:通過訪問控制和權限管理嚴密性、輸入驗證和過濾機制、持續(xù)安全監(jiān)控設置等手段評估API安全性。訪問控制和權限管理嚴密性越好、輸入驗證和過濾機制越完整、設置了持續(xù)安全監(jiān)控等,則API安全性越好。d)編譯器安全性:通過編譯器的代碼審查功能、漏洞披露與修復技術、運行保護能力等方面評估編譯器安全性。編譯器的代碼審查功能越好、漏洞披露與修復技術越成熟、運行保護能力越強等,則編譯器安全性更好7.4.3保密性保密性是評估生態(tài)環(huán)境領域算法在處理敏感數據時安全性的關鍵指標,涉及算法在數據存儲、傳輸和處理過程中的加密和訪問控制能力。在需要嚴格數據保護的生態(tài)監(jiān)測、物種多樣性分析等場景中,通過評估算法的數據加密強度、認證機制以及權限設置來確保其保密性能符合要求。生態(tài)環(huán)境領域算法的保密性評估方法見表11。表11算法的保密性評估方法重點評估要素評估方法數據敏感性與保密性a)數據加密措施:算法在存儲和傳輸數據時采用的加密技術,包括加密協議的類型、密鑰管理機制以及加密強度級別。采用的加密技術越先進、密鑰管理越嚴格、加密級別越高,則數據的安全性和保密性越好。b)數據訪問控制:算法實施的數據訪問權限設置,包括用戶身份驗證、角色基礎的訪問控制、訪問控制列表等機制的部署和細粒度。訪問控制機制越全面,權限劃分越細致,表明算法在保護數據不被未授權訪問方面的效能越強。c)數據存儲安全性:檢驗算法在數據存儲階段采取的安全措施,包括數據備份機制、存儲加密技術以及物理和邏輯安全策略的實施情況。若算法提供的數據備份頻率高,存儲加密技術先進,且有嚴格的物理和邏輯安全策略,則其數據存儲安全性較強14T/CSES179—2024表11算法的保密性評估方法(續(xù))重點評估要素評估方法模型保密性a)模型參數保密性:評估模型參數的保護措施,包括參數加密、訪問控制以及在模型分享或發(fā)布時的保密策略。模型參數的加密程度越高,訪問權限劃分越精確,則模型參數保密性越強。b)模型文件加密:檢查算法在保存和分發(fā)模型文件時所采用的加密措施,包括文件加密標準、傳輸過程的加密協議以及密鑰管理策略。若模型文件使用強加密標準,傳輸過程中有安全保障,且密鑰管理嚴格,則認為模型文件的加密保護較為充分。c)模型訪問權限控制:考察算法實施的模型訪問權限管理機制,包括用戶身份驗證、權限分配、權限審核流程和操作日志監(jiān)控等。如果算法支持細粒度的權限配置,能夠根據用戶角色限制對模型的訪問和操作,且有完備的審計跟蹤記錄,則認為其模型訪問權限控制較為嚴格依賴信息保密性a)依賴庫和框架的保密性:分析算法所依賴的庫和框架的保密措施,包括它們的訪問權限設置、加密特性以及是否對外部暴露敏感信息。如果依賴的庫和框架提供了良好的安全性能,定期更新修復漏洞,并且對敏感數據處理有明確的安全策略,則認為其保密性較強。b)依賴信息的訪問控制:檢查算法及其依賴庫和框架的訪問權限設置,包括版本管理系統的權限配置、依賴信息文件的讀取權限以及對這些信息的修改和更新機制。若算法實現了對依賴信息的嚴格訪問控制,確保只有授權用戶能夠獲取、修改或更新這些信息,則認為其訪問控制措施得當。c)依賴信息的完整性保護:審查和驗證算法所依賴的庫和框架的發(fā)布來源,檢查依賴信息文件以確認其未經未授權篡改。若依賴信息能夠與官方或可信源發(fā)布的信息匹配,且無跡象表明文件被篡改,則認為完整性保護措施有效7.5維護性7.5.1兼容性兼容性是評估生態(tài)環(huán)境領域算法適應性的關鍵指標,涉及算法在各種硬件、軟件及操作系統上的運行能力。在多設備、跨平臺的環(huán)境管理任務中,通過全面的兼容性測試,評估算法在不同系統和設備上的穩(wěn)定性和運行效率。生態(tài)環(huán)境領域算法的兼容性評估方法見表12。表12算法的兼容性評估方法重點評估要素評估方法算法對數據格式的兼容性a)數據格式兼容性:統計算法能夠兼容和處理的數據格式種類數量,以及支持的編碼標準數量。兩者數量越大,表示算法對不同數據格式和編碼標準的適應性越強,靈活性越高。b)不同數據格式處理能力:通過測試算法處理不同數據格式的數據集,記錄完成相同任務所需的時間及結果的正確率。時間越短,表示算法處理該數據格式的效率越高;正確率越高,表示算法處理該數據格式的準確性越好算法對操作系統的兼容性a)操作系統兼容數量:統計算法能夠在其上運行無誤的操作系統類型及各類型的不同版本數量。兼容的操作系統類型及版本數量越多,表示算法的適應性和泛用性越強。b)跨平臺操作便捷性:評估算法在不同操作系統平臺上進行安裝、配置和使用的難易程度,以及算法在各平臺上的表現是否一致。安裝和配置過程越簡單,用戶在不同平臺間切換使用時的學習成本越低,表示算法的跨平臺操作便捷性越高;各平臺上算法表現的差異越小,表示其跨平臺一致性越好15T/CSES179—2024表12算法的兼容性評估方法(續(xù))重點評估要素評估方法算法對其他軟件的兼容性a)第三方軟件兼容性:統計算法能夠與之無縫集成和協作的第三方軟件的種類及其支持的版本數量。若算法能與更多類型的第三方軟件兼容,并且支持它們的多個版本,則說明其適應性和集成能力更強。b)軟件更新適應性:監(jiān)測算法在依賴的第三方軟件發(fā)生更新或變更時,其運行穩(wěn)定性和功能完整性的表現,記錄出現問題的頻率及解決問題所需的時間。若算法在面對第三方軟件更新或變更時,仍能保持穩(wěn)定運行且功能不受影響,或在問題出現后能迅速恢復,則說明其適應性更強。c)國產化芯片的適配兼容性:評估算法在國產化芯片上的性能和穩(wěn)定性,確保算法能夠有效地利用國產化硬件資源。各國產化芯片上算法表現的差異越小,表示其兼容國產化芯片的能力越好。d)人工智能框架的適配兼容性:評估算法在國產、人工智能框架中的表現,確保算法能夠在這些框架上高效運行。各人工智能框架上算法表現的差異越小,表示其兼人工智能框架的能力越好7.5.2可維護性可維護性是評估生態(tài)環(huán)境領域算法長期適用性和可更新性的關鍵指標,涉及算法的代碼結構、文檔完整性及模塊化設計。在面對環(huán)境變化和新技術挑戰(zhàn)的背景下,通過定期的維護和升級,評估算法的修復效率。生態(tài)環(huán)境領域算法的可維護性評估方法見表13。表13算法的可維護性評估方法重點評估要素評估方法算法迭代的更新頻率a)迭代時間間隔能力:測量算法從一次迭代開始到下一次迭代開始之間的時間間隔。時間間隔越短,表示算法的迭代速度越快,能夠更快地響應環(huán)境變化和數據更新。b)迭代代碼變動量:記錄算法在每次迭代中代碼的改變程度,包括新增、修改或刪除的代碼行數。變動量越少,表示算法迭代時對原代碼結構的影響越小,維護成本和迭代風險越低算法迭代的質量變化a)迭代性能提升能力:通過基準測試或性能評估,比較算法迭代前后在執(zhí)行效率、準確率或其他關鍵性能上的提升百分比。提升百分比越大,表示算法每次迭代帶來的性能改善越顯著。b)迭代系統穩(wěn)定能力:通過運行系統穩(wěn)定性測試,記錄算法迭代前后系統的故障頻率和恢復時間。若迭代后故障頻率降低且恢復時間縮短,表明算法的改進增強了系統的穩(wěn)定性7.5.3可移植性可移植性是評估生態(tài)環(huán)境領域算法適應性和廣泛適用性的關鍵指標,涉及算法在不同計算環(huán)境、操作系統及硬件配置上的運行能力。在多平臺部署和跨設備應用的情境中,通過考察算法依賴管理的簡便性以及對不同系統架構的支持程度來評估其可移植性。生態(tài)環(huán)境領域算法的可移植性評估方法見表14。16T/CSES179—2024表14算法的可移植性評估方法重點評估要素評估方法算法對硬件設備的可移植性a)支持的硬件設備種類:列出算法能夠兼容并優(yōu)化運行的硬件設備類型,如不同制造商的處理器、特定型號的圖形處理單元(GPU)、各式傳感器等,并統計數量。支持的硬件設備種類數量越多,表明算法的適應性和通用性越強,能夠部署在更多樣化的硬件環(huán)境中。b)跨硬件性能差異:在不同類型的硬件設備上運行相同的算法,記錄并比較其性能,如處理速度、吞吐量和資源占用等。若算法在不同硬件上的性能差異較小,表示其具有良好的跨平臺性能一致性;若差異較大,則說明算法對特定硬件的優(yōu)化程度不一算法對人工智能框架的可移植性a)支持的人工智能框架數:統計算法能夠與之兼容并優(yōu)化運行的人工智能框架數量。支持的人工智能框架數越多,表明算法的適應性和兼容性越強,對開發(fā)者的選擇提供更多靈活性。b)框架間的性能保持:在多個不同的人工智能框架上實施同一算法,對比其在各框架上的執(zhí)行效率、準確性和穩(wěn)定性等關鍵性能。若算法在不同框架間表現出相似的性能水平,說明其具有良好的跨框架性能一致性;若性能差異顯著,則需針對特定框架進行優(yōu)化7.5.4可擴展性可擴展性是評估生態(tài)環(huán)境領域算法在面對增長的數據量和計算需求時的適應性和靈活性的關鍵指標。在數據處理量不斷增加和計算資源需求變化的情境中,通過考察算法在增加計算資源時的性能提升能力,以及在升級單個組件時的性能改善情況來評估其可擴展性。生態(tài)環(huán)境領域算法的可擴展性評估方法見表15。表15算法的可擴展性評估方法重點評估要素評估方法算法水平擴展能力a)性能提升評估:評估算法在增加計算資源時,性能是否能夠相應地線性或接近線性地提升。如果性能提升顯著且與資源增加成正比,則表明算法具有良好的水平擴展能力。b)無狀態(tài)服務支持:檢查算法是否支持無狀態(tài)服務以便于橫向擴展。如果新增節(jié)點對現有操作的影響很小或沒有影響,并且系統能夠平滑地處理負載均衡,則表明算法具有良好的無狀態(tài)服務支持能力。c)自動識別與集成:驗證新增加的資源能否被系統自動識別并有效利用,確保新資源能夠無縫集成到現有系統中。如果系統能夠自動識別和配置新增資源,并且這些資源能夠立即投入使用而無需人工干預,則表明算法具有良好的自動識別與集成能力算法垂直擴展能力a)硬件升級性能提升:算法在通過升級單個組件來提升性能的能力。如果性能提升明顯且與硬件增強成正比,則表明算法具有良好的垂直擴展能力。b)最大算力限制:確定單個實例支持的最大算力限制,并分析隨著硬件增強帶來的性能改善比例。單個實例支持的最大算力越高,且性能改善比例越大,算法的垂直擴展能力越好17T/CSES179—2024附錄A(資料性)算法評估實施案例評估準備見表A.1。人工智能評估指標見表A.2。算法性能評估結果見表A.3。算法評估結論見表A.4。表A.1評估準備算法名稱濕地地物分類算法算法說明濕地地物分類算法是基于正射遙感影像數據信息進行地物分類的技術。其通過無人機采集濕地的高精度正射遙感影像,使用基于大模型的算法進行地物分類,分為森林、灌叢、草地、水體、建筑等類型。無人機將定期巡航獲取目標區(qū)域的正射遙感影像數據,用戶提供需要分類的類型并進行識別,算法將產出語義識別結果并生成分類影像結果。該系統將應用于西溪濕地的影像識別中用于產出生態(tài)側應用的基礎數據。場景分析算法運行條件a)本地:?硬件設備:智能攝像頭;?操作系統:Linux;?人