ICS35.030CCSL70T/CSAS團體標準Assessmentspecificationforsecurityofartificialintelligencealgorithms四川省網絡空間安全協(xié)會發(fā)布 I 12規(guī)范性引用文件 13術語和定義 14概述 24.1評估指標體系 24.2安全等級 35對抗攻擊測試方法 35.1白盒攻擊測試 35.2黑盒攻擊測試 46判別式人工智能算法安全評估要求和評估方法 56.1安全要求 56.2評估方法 77生成式人工智能算法安全評估要求和評估方法 87.1安全要求 87.2評估方法 8人工智能算法安全評估實施 8.1流程要求 8.2評估準備 8.3評估執(zhí)行 8.4評估分析 8.5評估報告 附錄A（資料性）人工智能算法安全風險 A.1設計階段的安全風險 A.2開發(fā)階段的安全風險 A.3測試階段的安全風險 A.4部署階段的安全風險 A.5運維階段的安全風險 A.6更新階段的安全風險 附錄B（資料性）文本生成大模型安全性評估實施案例 B.1算法說明 B.2評估準備 B.3評估執(zhí)行 B.4評估分析 B.5評估結論 附錄C（資料性）邊界條件與異常情況 C.1概述 C.2輸入邊界與攻擊成功率 C.3回答超時與拒絕回答率 I本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內容可能涉及專利。本文件的發(fā)布機構不承擔識別專利的責任。本文件由四川省網絡空間安全協(xié)會提出并歸口。本文件起草單位：中國電子科技集團公司第三十研究所、中國電子科技網絡信息安全有限公司、成都四方數(shù)安信息技術有限公司、全域數(shù)據信息安全重點聯(lián)合實驗室西南實驗室。本文件主要起草人：人工智能作為數(shù)字經濟和智能社會的核心驅動力，正在深刻改變各行各業(yè)的生產方式、服務模式以及社會治理結構。然而，隨著人工智能技術的快速發(fā)展，其算法的安全性問題也日益凸顯，諸如算法偏見、對抗性攻擊、隱私泄露以及決策透明度不足等問題，可能帶來一系列的社會、經濟和倫理挑戰(zhàn)。人工智能算法安全評估規(guī)范在于構建一套系統(tǒng)化、標準化的人工智能算法安全評估框架，以確保人工智能技術的安全性、可靠性和可控性，從而在廣泛的應用領域中推動其健康、有序發(fā)展。本文件為算法開發(fā)者和應用者提供了一套清晰的技術標準和評估方法，確保在算法設計、訓練和部署過程中能夠充分考慮安全性、透明性和可解釋性，從而有效減少算法偏見和安全漏洞的風險。其次，本文件有助于規(guī)范人工智能算法的開發(fā)流程，推動行業(yè)在算法安全性方面的協(xié)同創(chuàng)新，建立起健全的算法治理機制，為社會提供更可靠、更安全的人工智能應用。再次，本文件通過建立統(tǒng)一的評估標準，將有效促進人工智能技術的廣泛應用，推動數(shù)字經濟的高質量發(fā)展，提升產業(yè)的智能化水平，激發(fā)經濟發(fā)展的新動能。此外，本文件還將助力國家在全球人工智能領域中的競爭力提升，提高社會對人工智能技術的信任度，推動人工智能在各個行業(yè)的深度融合與創(chuàng)新應用，將為構建一個更加安全、透明、可持續(xù)發(fā)展的智能社會奠定堅實的基礎，進一步強化國家在數(shù)字經濟時代的競爭優(yōu)勢，為全球人工智能治理貢獻中國智慧。1人工智能算法安全評估規(guī)范本文件規(guī)定了人工智能算法在設計、開發(fā)、測試、部署、運維及更新等階段的安全要求，描述了對應的證實方法，確立了人工智能算法安全評估實施的程序。本文件適用于智能系統(tǒng)或平臺中采用的人工智能算法的安全評估與保護。其適用范圍包括評估人工智能算法在各類應用場景中的安全性，確保算法的透明性、可解釋性、穩(wěn)定性及抵御外部威脅的能力，涵蓋算法在設計、開發(fā)、測試、部署、運維及更新過程中可能面臨的安全挑戰(zhàn)。本標準同樣適用于跨組織、跨平臺的算法協(xié)同應用場景，確保算法在不同環(huán)境和生態(tài)系統(tǒng)中的安全一致性與可靠性。2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T41867-2022信息技術人工智能術語GB/T42888-2023信息安全技術機器學習算法安全評估規(guī)范GB/T45225-2025人工智能深度學習算法評估GB/T0001-2025數(shù)據生命周期安全參考框架3術語和定義下列術語和定義適用于本文件。GB/T41867-2022、GB/T42888-2023、GB/T45225-2025界定的以及下列術語和定義適用于本文件。3.1人工智能算法artificialintelligencealgorithm通過計算機系統(tǒng)模擬、擴展或增強人類智能的技術與方法。3.2判別式人工智能算法discriminativeartificialintelligencealgorithm通過分析輸入數(shù)據與標簽（目標輸出）之間的關系，來判別或分類輸入數(shù)據所屬類別的人工智能算法。3.3生成式人工智能算法generativeartificialintelligencealgorithm通過學習輸入數(shù)據的分布或特征，生成新的數(shù)據樣本的人工智能算法。3.4對抗樣本adversarialexamples在數(shù)據集中添加細微干擾形成的輸入樣本，能以較高概率誘導深度學習算法給出錯誤的輸出，甚至是給出特定結果。[來源：GB/T45225-2025，3.5]3.52對抗攻擊adversarialattack攻擊者故意構造并注入對抗樣本，以使目標模型產生錯誤輸出或失效的攻擊行為。4概述4.1評估指標體系4.1.1評估指標構成人工智能算法安全性的評估指標應包括但不限于攻擊成功率、拒絕回答率、攻擊隱蔽性、模型竊取程度、平均攻擊查詢次數(shù)，見圖1。圖1人工智能算法安全評估指標體系4.1.2攻擊成功率攻擊成功率定義為攻擊成功樣本數(shù)量占總攻擊樣本數(shù)量的比例，其計算方法見公式（1）。式中：ASR：攻擊成功率；Ns：攻擊成功樣本數(shù)量；N：總攻擊樣本數(shù)量。4.1.3拒絕回答率拒絕回答率定義為生成式人工智能算法在面對特定輸入時拒絕生成或提供回答的比例，其計算方法見公式（2）。式中：RR：拒絕回答率；Nr：拒絕回答的輸入次數(shù)；N：總輸入次數(shù)。4.1.4模型竊取程度模型竊取程度定義為通過模型蒸餾或其他方式構建的代理模型與原始模型之間的性能差異，計算方法見公式（3）。式中：3MSD：模型竊取程度；D：數(shù)據集；x：數(shù)據樣本；δ(x)：指示函數(shù)，當代理模型的預測與原始模型的預測相同時為1，否則為0。[來源：GB/T45225-2025，4.8b]4.1.5平均攻擊查詢次數(shù)平均攻擊查詢次數(shù)定義為攻擊成功所需的平均模型查詢次數(shù)。[來源：GB/T45225-2025，4.8c]4.2安全等級人工智能算法可分為基礎級、標準級、增強級和嚴格級4個安全等級：a)基礎級：適用于低風險場景的人工智能算法，主要關注基本的安全防護措施。通常，這一級別的算法不涉及敏感數(shù)據或關鍵業(yè)務，其安全需求以防止基礎性攻擊和數(shù)據泄露為主，確保算法的基本運行穩(wěn)定性和數(shù)據保護；b)標準級：適用于中等風險場景的人工智能算法，要求較全面的安全防護措施，包括數(shù)據和模型的保護。此級別的安全要求在防止算法被濫用、數(shù)據被未授權訪問的基礎上，還關注對抗簡單到中等復雜度的攻擊，提升算法的可靠性和數(shù)據安全性；c)增強級：適用于高風險場景的人工智能算法，需具備全面而嚴謹?shù)陌踩雷o能力。算法需要更強的抗攻擊能力、完整的數(shù)據加密、嚴格的訪問控制和詳細的透明性與可審計性。該級別的算法通常用于可能帶來較高影響的應用場景，如涉及敏感信息的行業(yè)或復雜業(yè)務流程；d)嚴格級：適用于極高風險場景的人工智能算法，強調最高標準的安全保障。要求包括全面的數(shù)據保護和算法防護、最嚴密的防御與應急機制，以及對算法全生命周期的可控性和審計。此級別通常用于國家安全、軍事或其他需要極高保障的場景，確保系統(tǒng)在惡劣或極端條件下的穩(wěn)定性與安全性。人工智能算法安全評估應根據不同算法應用場景，基于用戶需求或專家領域知識，設定不同評價指標的等級閾值。人工智能算法評估時，可先基于評估指標分值所在區(qū)間確定該指標的安全級別，再綜合所有評估指標確定算法安全級別。各級人工智能算法評價指標閾值設定示例見表1。表1各級人工智能算法評價指標閾值設定示例安全級別基礎級標準級增強級嚴格級判別式人工智能算法攻擊成功率模型竊取程度平均攻擊查詢次數(shù)生成式人工智能算法拒絕回答率模型竊取程度平均攻擊查詢次數(shù)5對抗攻擊測試方法應采用對抗攻擊對智能算法進行安全性測試。智能算法的對抗攻擊測試分為白盒攻擊測試和黑盒攻擊測試。5.1白盒攻擊測試4白盒攻擊測試是指測試者完全掌握算法的所有內部細節(jié)，包括模型結構、參數(shù)、訓練數(shù)據和代碼邏輯等信息，并利用這些信息來構建對抗樣本、進行對抗攻擊測試。白盒攻擊測試流程見圖2，包括評估準備、對抗樣本生成、測試與評估三大步驟，細分為如下八個子步驟：a)步驟1：加載測試數(shù)據集，即導入用于評估算法安全性的測試數(shù)據集，可為原始測試數(shù)據集或自建測試數(shù)據集；b)步驟2：構建并加載模型，即根據算法超參數(shù)初始化模型結構并加載權重參數(shù)；c)步驟3：選擇損失函數(shù)，即選擇算法訓練時所用的損失函數(shù)；d)步驟4：計算梯度信息，即計算損失函數(shù)對于測試樣本的梯度信息；e)步驟5：生成對抗樣本，即利用步驟4計算得到的梯度信息構造對抗樣本；f)步驟6：執(zhí)行推理過程，即對對抗樣本進行推理操作；g)步驟7：獲取推理結果，即獲取算法在對抗樣本上的預測輸出；h)步驟8：計算評估指標，即根據算法輸出結果計算安全性評估指標。圖2白盒攻擊測試流程5.2黑盒攻擊測試5黑盒攻擊測試指測試者完全不掌握算法內部結構、參數(shù)和具體工作機制，僅可通過訪問算法的輸入和輸出結果來構建對抗樣本、進行對抗攻擊測試。黑盒攻擊測試流程見圖3，包括評估準備、對抗樣本生成、測試與評估三大步驟，細分為如下六個子步驟：a)步驟1：接口分析，識別并解析目標模型提供的輸入輸出接口形式及調用方式；b)步驟2：自建測試數(shù)據集，即根據測試目標構建具有代表性和針對性的輸入樣本集合；c)步驟3：構造對抗樣本，即在不了解模型內部信息的前提下，通過啟發(fā)式或查詢方法生成對抗樣本；d)步驟4：執(zhí)行推理過程，即通過模型公開接口對對抗樣本進行推理操作；e)步驟5：獲取推理結果，即獲取算法在對抗樣本上的預測輸出；f)步驟6：計算評估指標，即根據算法輸出結果計算安全性評估指標。圖3黑盒攻擊測試流程6判別式人工智能算法安全評估要求和評估方法6.1安全要求6.1.1通用條款對判別式人工智能算法的通用安全要求包括以下內容：6a)應對訓練數(shù)據、驗證數(shù)據和測試數(shù)據進行嚴格管理，防止數(shù)據被篡改、投毒、非法訪問。數(shù)據在收集、存儲、使用、加工、傳輸、提供、公開和銷毀全生命周期中，應采取加密、訪問控制等安全機制機制，確保數(shù)據的完整性、機密性與合規(guī)性；b)應對訓練數(shù)據集的合規(guī)性進行審查，確保數(shù)據來自合法渠道；c)應確保算法在不同階段處理的個人數(shù)據得到充分的保護，遵循數(shù)據最小化原則，并采用匿名化、去標識化等技術手段以降低隱私泄露風險；d)應盡可能提高算法的可解釋性，為重要決策提供合理的解釋和證據支持，減少“黑箱”風險；e)應評估和提升模型的魯棒性，防范常見的對抗攻擊；f)應建立算法運行過程的日志機制，記錄關鍵操作和決策過程，并支持必要的安全審計與可追溯性，以確保行為合規(guī)；g)應對算法代碼、模型權重參數(shù)、配置參數(shù)等實行嚴格的訪問控制，防止未經授權的人員訪問、修改和使用。6.1.2設計階段在設計階段，判別式人工智能算法的安全要求包括以下內容：a)應對訓練數(shù)據進行安全性審查，確保不會泄露敏感信息，并驗證數(shù)據集的完備性以及數(shù)據類別之間的平衡性，避免因數(shù)據選擇帶來過擬合或隱私泄露風險；b)應設計具備對抗魯棒性的模型架構，并建立對異常輸入和對抗樣本的防御機制；c)應設計潛在風險事件的應急處理方案。6.1.3開發(fā)階段在開發(fā)階段，判別式人工智能算法的安全要求包括以下內容：a)應對訓練數(shù)據進行嚴格管理，確保數(shù)據在標注和處理過程中未被篡改或污染；b)應在開發(fā)過程中采用對抗訓練方法，提升模型對不同攻擊方式的魯棒性；c)應設置對算法運行過程中的輸入輸出監(jiān)控機制，發(fā)現(xiàn)異常行為時及時處理；d)應防止開發(fā)過程中可能出現(xiàn)的邏輯修改、漏洞引入和非法訪問。6.1.4測試階段在測試階段，判別式人工智能算法的安全要求包括以下內容：a)應確保測試數(shù)據未被訓練數(shù)據覆蓋，避免算法因記憶訓練數(shù)據導致測試結果不準確；b)應進行白盒、黑盒對抗性攻擊測試，驗證模型在應對不同類型對抗攻擊下的表現(xiàn)。6.1.5部署階段在部署階段，判別式人工智能算法的安全要求包括以下內容：a)應確保算法運行環(huán)境的安全性，包括硬件、網絡等的保護措施；b)應對部署的模型參數(shù)進行加密存儲，避免被篡改和竊取。6.1.6運維階段在運維階段，判別式人工智能算法的安全要求包括以下內容：a)應持續(xù)監(jiān)控模型的運行狀態(tài)，檢測可能的異常行為和安全事件；b)應及時修補算法漏洞，并對運維過程中可能的風險進行評估和記錄；c)應對運維階段的訪問權限進行管理，防止非授權訪問或數(shù)據泄露。6.1.7更新階段7在更新階段，判別式人工智能算法的安全要求包括以下內容：a)應對算法更新包進行驗證，確保其安全性和可靠性；b)應提供更新版本的管理與回滾功能，以在出現(xiàn)問題時恢復到安全狀態(tài)；c)應記錄所有更新的內容、時間及相關操作，以便于后續(xù)追溯和審計。6.2評估方法6.2.1通用條款6.1.1各項要求的評估方法如下：a)檢查數(shù)據存儲和傳輸?shù)募用艽胧┘霸L問控制策略是否完善，包括靜態(tài)數(shù)據加密和傳輸加密的測試。通過模擬攻擊場景，評估數(shù)據的防篡改和抗投毒能力，并驗證訪問權限的合規(guī)性與有效性；b)應要求數(shù)據提供方提供詳細的數(shù)據來源聲明，包括數(shù)據的原始收集方式、收集主體、收集時間范圍、收集地域等信息；c)驗證算法在不同階段是否遵循數(shù)據最小化原則，并采用匿名化、去標識化等隱私保護技術。對隱私數(shù)據流動和存儲進行評估，確保符合隱私法規(guī)，降低泄露風險。模擬隱私數(shù)據訪問和處理場景，驗證其是否符合設定的隱私保護標準；d)通過算法可解釋性測試工具評估算法的透明性。使用案例分析等方法評估算法在關鍵決策中的解釋能力，確保其提供合理、準確的解釋并滿足實際應用需求；e)設計并執(zhí)行不同類型的對抗攻擊測試，評估模型在面對這些攻擊下的穩(wěn)健性和抗擾動能力。通過魯棒性評估工具和壓力測試分析模型的穩(wěn)定性；f)檢查日志記錄機制是否詳細和安全，確保所有關鍵操作和決策過程均被記錄，確保測試日志的可追溯性和審計功能；g)模擬不同權限用戶對算法模塊、模型文件和配置參數(shù)的訪問情況，確保未授權的訪問嘗試被有效阻止。定期進行權限審核，評估訪問控制策略的健壯性和有效性。6.2.2設計階段6.1.2各項要求的評估方法如下：a)通過數(shù)據審計工具檢查訓練數(shù)據是否包含敏感信息，并驗證數(shù)據間的相關性是否會引發(fā)偏差或過擬合風險；b)對模型架構進行安全性測試，包括對異常輸入和對抗樣本的響應模擬。評估設計中是否包含防御機制，并驗證其有效性；c)對潛在的安全風險進行分析，模擬風險事件并驗證應急處理流程的可行性和效率。6.2.3開發(fā)階段6.1.3各項要求的評估方法如下：a)對訓練數(shù)據處理流程進行審計，驗證數(shù)據的來源、標注質量以及未被篡改的真實性。利用數(shù)據質量評估工具對標注數(shù)據進行抽樣檢查；b)在訓練過程中引入對抗樣本，評估模型在常見攻擊場景中的表現(xiàn)。驗證對抗訓練后的模型是否顯著提高了魯棒性；c)在算法運行過程中模擬不同的輸入輸出場景，包括極端輸入和邊界條件，以測試監(jiān)控機制的反應與檢測能力。評估機制能否及時發(fā)現(xiàn)并處理異常行為，確保系統(tǒng)運行的穩(wěn)定性和安全性；d)對開發(fā)流程中的代碼和模型邏輯進行靜態(tài)和動態(tài)分析，確保不存在邏輯漏洞。模擬非法訪問場景，檢查邏輯完整性的保護效果。6.2.4測試階段86.1.4各項要求的評估方法如下：a)檢查測試數(shù)據是否獨立于訓練數(shù)據，通過交叉驗證和數(shù)據重疊檢測工具，確保測試數(shù)據與訓練數(shù)據的完全隔離；b)對算法進行白盒、黑盒對抗攻擊模擬，評估模型在面對對抗樣本時的表現(xiàn)和抵御能力。記錄模型在每種攻擊條件下的性能變化，并分析潛在的安全隱患。6.2.5部署階段6.1.5各項要求的評估方法如下：a)對算法運行環(huán)境的硬件、軟件及網絡配置進行安全性評估，檢查是否存在安全漏洞。包括測試防火墻、權限設置及網絡隔離等措施的有效性，進行滲透測試以評估環(huán)境安全性；b)驗證模型參數(shù)的加密存儲是否符合加密標準，并測試加密參數(shù)在未授權訪問或嘗試逆向工程的情況下的安全性?？梢阅M不同的攻擊場景，包括暴力破解、解密嘗試等，確保參數(shù)安全性。6.2.6運維階段6.1.6各項要求的評估方法如下：a)建立并測試監(jiān)控系統(tǒng)的功能，檢測并分析模型運行中的異常行為和潛在的安全事件?？梢酝ㄟ^運行測試用例或模擬真實應用環(huán)境，驗證監(jiān)控機制的靈敏度和可靠性；b)對系統(tǒng)和算法漏洞進行及時修補，評估補丁的有效性與對系統(tǒng)運行的影響。通過模擬未補丁情況下的攻擊場景，確保補丁后風險消除，并記錄補丁更新的過程和效果；c)測試訪問權限設置，確保只有經過授權的人員可以訪問算法及其數(shù)據。模擬不同訪問權限場景，檢查權限管理機制是否嚴格和可靠，避免越權訪問和數(shù)據泄露。6.2.7更新階段6.1.7各項要求的評估方法如下：a)對算法更新包進行校驗，包括數(shù)字簽名驗證和代碼一致性檢查，以確保更新包的來源和內容安全無誤。引入靜態(tài)分析工具，檢查更新包可能引入的漏洞和風險；b)測試版本管理系統(tǒng)對不同版本的記錄與管理能力，包括更新前后版本的兼容性和變更記錄。驗證回滾機制，確保在出現(xiàn)問題時能夠快速、安全地回退到穩(wěn)定狀態(tài)；c)測試更新操作的記錄系統(tǒng)，確保所有操作包括更新內容、時間和相關行為被完整記錄，并且記錄可追溯。通過模擬操作記錄查看與審計流程，驗證系統(tǒng)合規(guī)性和可用性。7生成式人工智能算法安全評估要求和評估方法7.1安全要求7.1.1通用條款對生成式人工智能算法的通用安全要求包括以下內容：a)應對訓練數(shù)據集的合規(guī)性進行審查，確保數(shù)據來自合法渠道；b)應建立機制限制生成內容的類型和范圍，防止生成違法、違規(guī)、有害或不適當?shù)膬热荩⒛軌蚋鶕嶋H需求靈活調整約束條件；c)應對生成的內容進行真實性和安全性驗證，避免模型生成的內容誤導用戶或傳遞不實信息，尤其是與事實不符的生成內容；d)應構建用戶交互與反饋機制，允許用戶舉報或反饋生成內容的問題，并通過反饋進行持續(xù)改進和優(yōu)化；9e)應對輸入數(shù)據進行檢測，防止惡意輸入對生成內容造成不良影響。可利用內容篩選和輸入限制機制確保模型生成安全的結果；f)生成式智能算法的輸入和輸出應符合相關隱私法規(guī)和數(shù)據保護政策，確保模型不會泄露敏感信g)應通過安全對齊等方式增強模型抵御對抗性輸入的能力，防止生成模型在惡意攻擊下輸出不安全或不合理的內容；h)應記錄生成過程的輸入、模型參數(shù)和輸出等信息，確保在出現(xiàn)異常時能夠回溯和分析生成內容的過程，滿足審計需求。7.1.2設計階段在設計階段，生成式人工智能算法的安全要求包括以下內容：a)應設計約束機制以防止生成內容包含敏感、違法、不適當或有害的成分；b)應確保生成內容的輸出具有一定的可控性和可解釋性，并建立生成內容審查與反饋機制；c)應設計抵抗特定惡意輸入的機制，防止誘導模型生成不適宜或偏見內容；d)應考慮如何防止生成內容泄露潛在的隱私信息。7.1.3開發(fā)階段在開發(fā)階段，生成式人工智能算法的安全要求包括以下內容：a)應對模型進行安全性對齊，確保不會生成誤導性、有害性或帶有偏見的內容；b)應引入輸入數(shù)據檢測機制，對輸入數(shù)據進行篩選，防止惡意輸入影響模型生成有害內容；c)應采取措施減少模型對特定訓練樣本的過擬合風險，以降低隱私泄露可能性。7.1.4測試階段在測試階段，生成式人工智能算法的安全要求包括以下內容：a)應測試生成結果的內容安全性，尤其是有害或敏感內容生成的可能性；b)應測試模型對復雜和多階段輸入提示的響應，確保生成內容安全、準確；c)應驗證當模型生成有害或錯誤內容時的應急中斷和處理機制是否有效。7.1.5部署階段在部署階段，生成式人工智能算法的安全要求包括以下內容：a)應對生成的內容實時進行過濾和審查，防止敏感、不當信息的生成與傳播；b)應對用戶與生成模型的交互進行安全管理，避免誤用或濫用。7.1.6運維階段在運維階段，生成式人工智能算法的安全要求包括以下內容：a)應對生成模型的更新進行管理，防止意外生成不良內容；b)應收集用戶對生成內容的反饋，優(yōu)化模型的生成策略；c)應建立機制，追溯生成過程中出現(xiàn)的異?；蛘`導性內容。7.1.7更新階段在更新階段，生成式人工智能算法的安全要求包括以下內容：a)應在更新生成模型之前，對新的版本進行全面測試，確保更新后生成結果符合預期；b)應評估更新可能對生成內容帶來的影響，并制定相應的應急方案。7.2評估方法7.2.1通用條款7.1.1各項要求的評估方法如下：a)應要求數(shù)據提供方提供詳細的數(shù)據來源聲明，包括數(shù)據的原始收集方式、收集主體、收集時間范圍、收集地域等信息；b)審查生成規(guī)則的設置，進行模擬測試驗證生成模型的約束條件是否有效?？赏ㄟ^設計一系列不同輸入場景和邊界條件，測試模型的反應和輸出，確保其能夠嚴格遵守既定的限制條件。對生成結果進行抽樣檢查和人工審查，分析是否存在不合規(guī)內容；c)使用基于事實的測試集和自動化檢測工具驗證生成內容的真實性。對生成輸出進行隨機抽樣并結合人工驗證方式，評估是否存在誤導性、不準確的內容?？梢栽O立對比標準，檢查生成內容是否與真實數(shù)據或特定規(guī)則相一致，并記錄不符合要求的案例；d)模擬用戶反饋流程，通過虛擬用戶測試和實測操作驗證反饋機制的有效性。測試內容包括用戶舉報生成問題、模型對反饋信息的響應能力及修正效果。統(tǒng)計系統(tǒng)響應時間和反饋處理率，確保用戶反饋機制能夠支持持續(xù)改進；e)利用邊界測試、惡意輸入測試等方法評估輸入過濾和驗證機制的安全性。對生成模型的輸入接口進行多種異常輸入測試，如特殊字符、極端值或惡意數(shù)據，觀察其處理能力，確認是否會對生成結果產生負面影響。對輸入數(shù)據格式和類型的限制進行驗證，確保其能有效排除有害輸入；f)審查輸入和輸出數(shù)據的隱私處理流程，確保符合相關法規(guī)要求。進行數(shù)據泄露測試與敏感信息處理合規(guī)性驗證。通過使用隱私掃描工具和人工審查生成結果，確認數(shù)據不會涉及敏感信息泄露，確保數(shù)據流在整個生成過程中的處理安全合規(guī)；g)開展一系列對抗性攻擊測試，包括越獄攻擊、提示詞注入攻擊測試，評估模型對不同類型攻擊的抵御能力。通過模擬攻擊場景，檢查模型是否會在惡意輸入條件下生成不安全或異常內容，并形成詳細的防御效果報告；h)檢查生成模型的日志記錄機制，驗證其是否能夠完整記錄生成過程，包括輸入數(shù)據、模型參數(shù)、生成時間和輸出結果。模擬異常情景并回溯生成流程，確保日志系統(tǒng)支持審計需求和故障分析。通過分析生成的日志條目，確認日志記錄的精確性和追溯能力。7.2.2設計階段7.1.2各項要求的評估方法如下：a)審查算法設計文檔和約束規(guī)則的設置，驗證是否包含防止敏感、違法或不適當內容生成的設計機制。進行模擬測試，以不同輸入場景測試生成模型的反應，確保約束機制有效阻止不符合規(guī)定的內容生成，并對生成結果進行隨機抽樣和人工審查以檢測合規(guī)性；b)對生成算法的輸出進行測試，評估模型在不同條件下是否具有可控性。使用解釋性測試工具和可視化方法，分析生成結果的可解釋性。驗證反饋機制是否有效，確保用戶反饋能觸發(fā)改進和模型修正，并進行一系列模擬測試以驗證控制機制的靈活性；c)通過一系列惡意輸入和誘導測試，檢查模型在設計階段是否考慮并有效抵御特定輸入誘導的風險。使用異常值測試、邊界輸入測試等方法，驗證模型是否能在受到不良輸入影響時維持生成的穩(wěn)定性和合理性，記錄并分析防御效果；d)檢查模型設計文檔，驗證是否包含隱私保護措施和防止泄露潛在隱私信息的設計。模擬輸入含有敏感或個人信息的場景，并測試生成內容，以確保模型不會不當泄露隱私信息。利用隱私掃描工具和數(shù)據保護合規(guī)性評估工具，確認設計階段所設的措施能有效防止隱私泄露。7.2.3開發(fā)階段7.1.3各項要求的評估方法如下：a)使用多維度測試集對模型進行測試，檢測生成內容的質量，確保其不包含誤導性、有害性或偏見內容。可利用自動化檢測工具和人工評估結合的方式來分析生成內容是否符合預期，并對異常生成內容記錄并分析，提出改進建議；b)引入專門的測試輸入集，包括模擬的惡意輸入和可能干擾模型生成的輸入數(shù)據，驗證檢測機制的有效性。進行輸入驗證測試，觀察是否有異常內容生成，評估對抗性輸入檢測的準確性和穩(wěn)定性；c)檢測模型對訓練數(shù)據的過擬合程度，包括檢查生成內容與特定訓練樣本的相似性，并使用隱私測試工具評估是否存在信息泄露風險?？梢胝齽t化策略并通過測試其效果評估減少過擬合的措施是否有效。7.2.4測試階段7.1.4各項要求的評估方法如下：a)使用包含廣泛輸入情境的測試集，檢測模型生成的內容是否存在有害、敏感或不適宜的成分。結合自動化和人工審核工具，對生成內容進行分類和風險評估，識別潛在的安全隱患；b)構建復雜的多階段輸入提示測試集，模擬實際使用場景，驗證模型對復雜提示的響應能力。觀察生成內容的準確性、安全性和一致性。通過對多個連續(xù)提示的測試記錄生成結果，評估模型能否正確理解并安全響應不同階段的輸入，同時分析模型在提示變化下的表現(xiàn)穩(wěn)定性；c)通過模擬生成有害或不安全內容的場景，測試模型的應急中斷和處理機制。驗證應急機制是否及時生效并有效阻止內容生成過程?？山Y合故障和攻擊模擬，確保模型能夠快速響應并采取中斷措施。對中斷和恢復的過程進行記錄，確保符合預期的響應流程和安全性標準。7.2.5部署階段7.1.5各項要求的評估方法如下：a)在部署環(huán)境中對生成內容的過濾和審查機制進行測試，確保系統(tǒng)能夠及時識別并過濾掉敏感或不當信息，以驗證內容審查機制的準確性和有效性。結合自動化過濾工具與人工審核，確保多層次審查機制的完整性；b)對用戶與生成模型的交互過程進行全面監(jiān)控，測試交互過程中可能存在的風險或不當行為。模擬誤用和濫用情景，評估交互安全管理系統(tǒng)的響應能力。通過安全日志和用戶反饋機制，確保系統(tǒng)能夠識別并阻止不當交互行為。7.2.6運維階段7.1.6各項要求的評估方法如下：a)針對生成模型的更新管理過程進行模擬，測試模型更新后的生成行為是否符合預期并不會引入新的安全風險。設計測試方案對更新后模型的生成效果進行驗證，并建立記錄系統(tǒng)跟蹤更新變更過程；b)在運維階段收集用戶的反饋，分析生成內容的實際表現(xiàn)。將反饋納入模型優(yōu)化流程，通過不斷迭代提高生成效果。測試反饋機制的收集和處理效率，確保對用戶的反饋能夠及時響應和應用到模型改進中；c)建立追溯機制，對生成過程進行記錄和日志管理。通過回溯機制模擬異常或誤導性內容的生成情景，確保系統(tǒng)能夠準確定位并分析生成異常的原因。驗證系統(tǒng)在異常情況下的記錄、響應和審查能力。7.2.7更新階段7.1.7各項要求的評估方法如下：a)對更新后的生成模型進行全面測試，確保其生成內容質量符合安全和預期要求。通過設計多種情景和輸入條件進行測試，驗證模型更新的效果與穩(wěn)定性。結合自動化測試與人工驗證流程，確保模型在更新后表現(xiàn)穩(wěn)定且安全；b)對模型更新可能帶來的影響進行全面評估，識別潛在的風險。使用不同用戶場景和輸入數(shù)據集進行測試，觀察模型在更新后的表現(xiàn)，并根據測試結果制定相應的應急方案。模擬各種異常情況，確保系統(tǒng)對更新后問題的反應和解決能力。8人工智能算法安全評估實施8.1流程要求應根據人工智能算法的類型、應用場景及相關安全標準，確保各評估步驟嚴格執(zhí)行。評估流程應包括以下內容：a)評估啟動：明確評估目的，確認評估范圍與要求，設定評估時間表及評估團隊；b)評估流程設計：設定評估的具體步驟，包括評估范圍確定、數(shù)據收集、評估方法選擇、測試實施及結果分析等；c)程監(jiān)控與管理：評估全過程中應實施監(jiān)控，確保評估活動符合安全要求。監(jiān)控內容包括進度、質量控制和風險管理等；d)評估終止條件：設定評估結束的標準，如完成所有測試、達到評估目標等。若評估中途出現(xiàn)重大問題，應及時調整方案或中止評估。8.2評估準備評估準備階段的目標是確保評估所需的資源和條件具備，以便順利開展評估工作。具體準備內容應包括以下內容：a)評估目標確認：明確評估的具體目的和范圍，確認要評估的算法及評估指標；b)評估團隊組建：指定評估負責人，明確團隊成員的職責與分工，確保團隊成員具備相關的安全評估技能與經驗；c)數(shù)據準備與審查：收集并整理評估所需的所有數(shù)據，確保數(shù)據質量符合評估要求。特別注意訓練數(shù)據、測試數(shù)據和驗證數(shù)據的完整性、安全性與隱私合規(guī)性；d)環(huán)境搭建：評估環(huán)境根據硬件性能的不同分為基礎評估環(huán)境與增強評估環(huán)境，評估團隊按照自身具體情況選擇，或直接采用云環(huán)境。確保評估所需的硬件、網絡、軟件環(huán)境已經搭建好，并確保評估過程中環(huán)境的安全性與穩(wěn)定性。8.3評估執(zhí)行評估執(zhí)行是實現(xiàn)評估目標的關鍵環(huán)節(jié)。在執(zhí)行階段應關注以下內容：a)執(zhí)行算法推理任務：加載被測算法和測試數(shù)據集，在測試數(shù)據集上執(zhí)行算法推理任務；b)計算評估指標：記錄算法在推理過程中的輸出結果，計算評估指標分值；c)記錄與監(jiān)控：在執(zhí)行過程中，進行詳細記錄并實時監(jiān)控評估進度，確保評估過程的合規(guī)性。記錄包括輸入輸出數(shù)據、模型配置、參數(shù)設置和測試結果等。8.4評估分析評估分析階段是在評估執(zhí)行結束后對評估結果進行分析，確定各評估指標的安全級別，并計算人工智能算法的安全性分值，評估人工智能算法安全性等級。人工智能算法的安全性分值計算方式見公式（4）。S=Σ1(wi×Ii)×100%（4）式中：S：人工智能算法安全性分值；N：評估指標項數(shù)；Ii：第i個評估指標的得分；wi：第i個評估指標的權重值。8.5評估報告評估報告是對整個評估過程、方法、結果以及結論的正式記錄，通常用于向相關方（如管理層、監(jiān)管機構或客戶）報告評估結果。報告應包括以下內容：a)評估背景與目標：簡要介紹評估的背景、目標及評估的算法/系統(tǒng)，明確評估的范圍和重點；b)評估方法與流程概述：概括評估所采用的方法、步驟和流程，說明評估標準和工具的選擇依據；c)評估結果與發(fā)現(xiàn)：詳細列出評估中發(fā)現(xiàn)的問題、漏洞、隱患，并用數(shù)據和證據支撐這些發(fā)現(xiàn)，分門別類地展示；d)安全風險分析與評估：針對評估過程中暴露的風險點，進行詳細分析，評估其可能的影響，給出風險等級及處理建議；e)改進建議與修復方案：根據評估結論，給出具體的優(yōu)化和修復建議，包括優(yōu)先級、實施建議和應急響應措施；f)附件和附錄：報告附上測試數(shù)據、評估工具的詳細說明、評估過程中的關鍵操作記錄和其他補充材料。（資料性）人工智能算法安全風險A.1設計階段的安全風險在人工智能算法的設計階段可能存在以下安全風險：a)需求定義不清導致的安全漏洞：若未明確算法的安全需求（如魯棒性、抗攻擊能力、隱私保護等）或忽略威脅建模，可能導致算法在面對未知威脅時暴露缺陷，從而出現(xiàn)數(shù)據泄露、性能失效等問題；b)算法架構設計缺陷引入的隱患：算法架構的不合理設計可能導致系統(tǒng)對特定輸入表現(xiàn)異?；蛞妆还粽呃眠壿嬄┒矗瑥亩{系統(tǒng)穩(wěn)定性和安全性；c)開源框架或工具引入的安全漏洞：使用存在已知或未知漏洞的開源框架和工具可能引入攻擊風險，尤其是當這些工具的依賴庫未及時更新或被惡意篡改時，會導致系統(tǒng)受損或數(shù)據泄露；d)開源許可協(xié)議招致的專利或法律風險：在使用開源工具時，未仔細審查其許可協(xié)議可能導致知識產權糾紛或專利侵權，甚至因協(xié)議要求披露源代碼而泄露算法設計的關鍵安全細節(jié)；e)數(shù)據合規(guī)風險：未嚴格遵守數(shù)據相關法律法規(guī)（如GDPR或PIPL）可能導致非法采集或使用數(shù)據，從而引發(fā)隱私侵權、法律責任或數(shù)據不被認可的問題；f)數(shù)據安全風險：采集、存儲或傳輸?shù)臄?shù)據未加密或未經過安全驗證，可能被攻擊者篡改、竊取或注入惡意樣本，進而影響模型的安全性和可靠性。A.2開發(fā)階段的安全風險在人工智能算法的開發(fā)階段可能存在以下安全風險：a)算法可解釋性差風險：以深度學習為代表的人工智能算法內部運行邏輯復雜，推理過程屬黑灰盒模式，可能導致輸出結果難以預測和確切歸因，如有異常難以快速修正和溯源追責；b)大模型記憶風險：大規(guī)模預訓練模型可能記憶訓練數(shù)據中的敏感信息，導致這些信息在推理時被泄露。此外，這些模型還可能繼承訓練數(shù)據中的錯誤或偏見，對結果的可靠性和公平性構成威脅；c)發(fā)環(huán)境的安全風險：開發(fā)環(huán)境中存在的漏洞或配置不當（如工具鏈漏洞、環(huán)境未隔離或權限管理不當）可能被攻擊者利用，導致代碼和數(shù)據被竊取或篡改，進而危及算法的安全性。A.3測試階段的安全風險在人工智能算法的測試階段可能存在以下安全風險：a)測試數(shù)據的完整性和代表性不足：測試數(shù)據未能涵蓋真實環(huán)境中的各種輸入情況，例如極端樣本、邊界樣本或噪聲數(shù)據，可能導致算法在實際應用中暴露問題。測試覆蓋不足會使某些潛在漏洞在開發(fā)階段被忽視，從而影響算法的可靠性和安全性；b)測試數(shù)據和訓練數(shù)據重復度高：測試數(shù)據與訓練數(shù)據重復或相似性過高，會導致測試結果無法真實反映算法在新數(shù)據上的性能，掩蓋過擬合問題，最終降低算法在實際應用中的安全性和泛化能力；c)測試數(shù)據分布不均勻：測試數(shù)據的分布未能反映目標應用場景中的數(shù)據分布，例如類別或特征的不平衡，可能導致算法對某些類別或輸入模式的性能嚴重下降，增加攻擊者利用不均勻數(shù)據分布發(fā)起針對性攻擊的風險；d)算法魯棒性弱的風險：測試階段未充分評估算法對噪聲、異常輸入或對抗樣本的抵抗能力，可能使算法在面對稍微偏離訓練分布的輸入時表現(xiàn)失常，嚴重影響其在惡劣或動態(tài)環(huán)境下的安全性和穩(wěn)定性。A.4部署階段的安全風險在人工智能算法的部署階段可能存在以下安全風險：a)系統(tǒng)入侵風險：部署階段的系統(tǒng)若未做好網絡安全防護，可能被攻擊者通過漏洞入侵，導致算法模型、數(shù)據及基礎設施被篡改、竊取或破壞，嚴重影響系統(tǒng)的安全性和可用性；b)惡意輸入攻擊風險：部署環(huán)境中，攻擊者可能利用對抗樣本或特定設計的輸入誘導算法產生錯誤輸出，甚至導致系統(tǒng)功能失效或錯誤決策，進而威脅用戶或業(yè)務安全；c)隱私泄露風險：部署的人工智能系統(tǒng)可能在推理過程中泄露用戶隱私數(shù)據，或通過模型的輸出反推出訓練數(shù)據中的敏感信息，從而違反隱私保護要求，帶來法律和倫理風險；d)生成內容合規(guī)風險：生成式人工智能系統(tǒng)可能生成違法、有害或不符合當?shù)胤珊蜕鐣?guī)范的內容，導致平臺責任增加或引發(fā)用戶信任危機，進而對社會和商業(yè)環(huán)境造成負面影響；e)事實性錯誤風險：生成型或知識問答類模型可能提供與實際情況不符的回答或信息，誤導用戶決策，尤其在醫(yī)療、金融等高風險領域，可能帶來嚴重后果；f)價值觀和意識形態(tài)風險：部署階段的模型可能因訓練數(shù)據中存在的偏見或設計不足，傳播不當?shù)膬r值觀或意識形態(tài)，從而引發(fā)社會爭議或破壞多元化與包容性的原則；g)大模型濫用風險：部署的大規(guī)模預訓練模型可能