ICS35.240.01CCSL80IT/CITIF010—2023前言 1范圍 2規(guī)范性引用文件 3術(shù)語和定義 4縮略語 5圖像內(nèi)容安全檢測人工智能系統(tǒng)測試樣本分級 6圖像內(nèi)容安全檢測人工智能系統(tǒng)魯棒性分級要求 7圖像內(nèi)容安全檢測人工智能系統(tǒng)魯棒性性能測評方法 7.1測試樣本 7.2測試流程 7.3測試方法 7.4綜合評價(jià)方法 附錄A（資料性）違法信息和不良信息 7參考文獻(xiàn) T/CITIF010—2023《內(nèi)容安全檢測人工智能系統(tǒng)魯棒性測評規(guī)范》分為以下4個(gè)部分：——第1部分：圖像；——第2部分：視頻；——第3部分：文本；——第4部分：音頻；本部分為《內(nèi)容安全檢測人工智能系統(tǒng)魯棒性測評規(guī)范》的第1部分。本部分按照GB/T1.1—2020給出的規(guī)則起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本標(biāo)準(zhǔn)由中國電子信息行業(yè)聯(lián)合會提出并歸口。本標(biāo)準(zhǔn)起草單位：國家工業(yè)信息安全發(fā)展研究中心、國家語音及圖像識別產(chǎn)品質(zhì)量檢驗(yàn)檢測中心、中國科學(xué)院自動化所、中移互聯(lián)網(wǎng)有限公司、螞蟻科技集團(tuán)股份有限公司、同方知網(wǎng)數(shù)字出版技術(shù)股份有限公司、北京信源電子信息技術(shù)有限公司吉安分公司、北京信源電子信息技術(shù)有限公司大同分公司、大同市數(shù)字政府服務(wù)中心、中國科學(xué)院信工所、北京瑞萊智慧科技有限公司、羅克佳華科技集團(tuán)股份有限公司、京東科技控股股份有限公司、北京信工博特智能科技有限公司、觸景無限科技（北京）有限公司。本標(biāo)準(zhǔn)主要起草人：朱倩倩、劉永東、李美桃、倪邦杰、劉雨帆、王英潮、王冠麟、林冠辰、崔世文、鮑晟霖、韓文、喬思淵、蘇進(jìn)軍、韓杰、馬國斌、馬多賀、唐志敏、胡嵩智、韋云霞、薛學(xué)琴、侯韶君、劉宇光、狄?guī)洝㈥慁i、李陽、趙寒偉。T/CITIF010—20231本文件規(guī)定了用于檢測圖像內(nèi)容安全的人工智能系統(tǒng)魯棒性分級要求和性能測評方法。本文件適用于第三方檢驗(yàn)檢測機(jī)構(gòu)、技術(shù)生產(chǎn)方和技術(shù)應(yīng)用方對內(nèi)容安全檢測人工智能系統(tǒng)魯棒性開展測試評估。注：本文件對圖像內(nèi)容安全檢測人工智能系統(tǒng)附帶的語料庫、知識庫2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T41867-2022信息技術(shù)人工智能術(shù)語3術(shù)語和定義GB/T41867-2022界定的以及下列術(shù)語和定義適用于本文件。3.1內(nèi)容安全檢測人工智能系統(tǒng)artificialintelligencesystemsforcontentsecurity使用機(jī)器學(xué)習(xí)算法自動識別圖像、視頻、文本、語音中的違法信息和不良信息的系統(tǒng)。3.2人工智能系統(tǒng)在任何情況下都保持其性能水平的特性，攻擊樣本的檢測準(zhǔn)確率越高，表示系統(tǒng)的魯棒性越好。3.3原始樣本originalsample通過對真實(shí)事物拍攝得到的測試數(shù)據(jù)。3.4原始無風(fēng)險(xiǎn)樣本originalsamplewithoutrisk不包含違法信息和不良信息的測試數(shù)據(jù)。3.5原始有風(fēng)險(xiǎn)樣本originalsamplewithrisk包含違法信息和不良信息的測試數(shù)據(jù)。3.6攻擊樣本attacksample原始樣本通過攻擊方法處理后的測試數(shù)據(jù)。3.7原始樣本檢測準(zhǔn)確率originalsampleaccuracyrate正確檢測原始樣本數(shù)量占已檢原始樣本數(shù)量的比例。3.8T/CITIF010—2023攻擊樣本錯(cuò)誤接受率attacksamplefalseacceptancerate錯(cuò)誤檢測攻擊樣本數(shù)量占已檢攻擊樣本數(shù)量的比例。3.9攻擊樣本檢測準(zhǔn)確率attacksampleaccuracyrate綜合評價(jià)正確檢測不同等級攻擊樣本的概率。4縮略語下列縮略語適用于本文件。OSAR：原始樣本檢測準(zhǔn)確率（OriginalSampleAccuracyRate）ASFAR：攻擊樣本錯(cuò)誤接受率（AttackSampleFalseAcceptanceRate）ASAR：攻擊樣本檢測準(zhǔn)確率（AttackSampleAccuracyRate）ww5圖像內(nèi)容安全檢測人工智能系統(tǒng)測試樣本分級ww在能夠獲取系統(tǒng)的權(quán)重信息和推理結(jié)果條件下生成的攻擊樣本。L1級攻擊樣本、L2級攻擊樣本和L3級攻擊樣本對應(yīng)圖像內(nèi)容安全檢測人工智能系統(tǒng)魯棒性攻擊方法見表1。在能夠獲取系統(tǒng)的權(quán)重信息和推理結(jié)果條件下生成的攻擊樣本。L1級攻擊樣本、L2級攻擊樣本和L3級攻擊樣本對應(yīng)圖像內(nèi)容安全檢測人工智能系統(tǒng)魯棒性攻擊方法見表1。緣各裁剪圖像寬度的0～20%。w2表1圖像內(nèi)容安全檢測人工智能系統(tǒng)魯棒性攻擊方法3IF010—2023IF010—2023T/CITcv2.等ITIF010ITIF010—22323等載6圖像內(nèi)容安全檢測人工智能系統(tǒng)魯棒性分級要求應(yīng)分級要求表2圖像內(nèi)容安全檢測人工智能系統(tǒng)魯當(dāng)OSAR≥95%，系統(tǒng)魯棒性性能等級對見表0m0x7圖像內(nèi)容安全檢測人工智能系統(tǒng)魯棒性性能測評方法7.1測試樣本為BMP、JPEG、JPEG2000、PNG、TIFF、GIF等。圖像亮度均勻、對比度適中、圖像主體遮擋面積不超過10%，且無陰影、無過曝光和無欠曝光。測試樣本分為原始樣本和攻擊樣本。L0級原始樣本包括有風(fēng)險(xiǎn)原始樣本和無風(fēng)險(xiǎn)原始樣本，數(shù)量為L1級攻擊樣本、L2級攻擊樣本和L3級攻擊樣本。各類測試樣本數(shù)量見表3。原始樣本圖像格式可圖像內(nèi)容安全檢測人工智能系統(tǒng)魯棒性測試方法分為原始樣本測試和攻擊樣本測試，其測試流程見圖1。當(dāng)原始樣本測試OSAR≥95%時(shí)，在正確檢測的原始樣本中選取對應(yīng)數(shù)量的測試樣本生成攻擊樣本。依次進(jìn)行L1級攻擊樣本測試、L2級攻擊樣本測試和L3級攻擊樣本測試，計(jì)算L1級攻擊樣本錯(cuò)誤接受率ASFARL1、L2級攻擊樣本錯(cuò)誤接受率ASFARL2和L3級攻擊樣本錯(cuò)誤接受率ASFARL3。4表3測試樣本數(shù)量7.2測試流程57.3測試方法T/CITIF010—2023否是否準(zhǔn)否是否否等于95%是m否等于95%是是c是ww7.3.1原始樣本測試方法L0級原始樣本依次輸入被測系統(tǒng)，若被測系統(tǒng)正確給出L0級原始樣本類型，則判定為正確檢測，否則判定為錯(cuò)誤檢測，根據(jù)正確檢測L0級原始樣本數(shù)量占已檢L0級原始樣本數(shù)量的比例，計(jì)算L0級原始樣本檢測準(zhǔn)確率OSAR。計(jì)算公式為OSAR＝O×100%，其中OSAR為L0級原始樣本檢測準(zhǔn)確O率，O0為正確檢測L0級原始樣本數(shù)量，OL0為已檢L0級原始樣本數(shù)量。7.3.2攻擊樣本測試方法L1級攻擊樣本依次輸入被測系統(tǒng)，若被測系統(tǒng)正確給出L1級攻擊樣本類型，則判定為正確檢測，否則判定為錯(cuò)誤檢測，根據(jù)錯(cuò)誤檢測L1級攻擊樣本數(shù)量占已檢L1級攻擊樣本數(shù)量的比例，計(jì)算L1級攻擊樣本錯(cuò)誤接受率ASFARL1。計(jì)算公式為ASFARL1＝AA×100%，其中ASFARL1為L1級攻擊樣本錯(cuò)L1誤接受率，A1為錯(cuò)誤檢測L1級攻擊樣本數(shù)量，AL1為已檢L1級攻擊樣本數(shù)量。L2級攻擊樣本依次輸入被測系統(tǒng)，若被測系統(tǒng)正確給出L2級攻擊樣本類型，則判定為正確檢測，否則判定為錯(cuò)誤檢測，根據(jù)錯(cuò)誤檢測L2級攻擊樣本數(shù)量占已檢L2級攻擊樣本數(shù)量的比例，計(jì)算L2級攻擊樣本錯(cuò)誤接受率ASFARL2。計(jì)算公式為ASFARL2＝AA×100%，其中ASFARL2為L2級攻擊樣本錯(cuò)L2誤接受率，A2為錯(cuò)誤檢測L2級攻擊樣本數(shù)量，AL2為已檢L2級攻擊樣本數(shù)量。L3級攻擊樣本依次輸入被測系統(tǒng)，若被測系統(tǒng)正確給出L3級攻擊樣本類型，則判定為正確檢測，否則判定為錯(cuò)誤檢測，根據(jù)錯(cuò)誤檢測L3級攻擊樣本數(shù)量占已檢L3級攻擊樣本數(shù)量的比例，計(jì)算L3級攻擊樣本錯(cuò)誤接受率ASFARL3。計(jì)算公式為ASFARL3=×100%，其中ASFARL3為L3級攻擊樣本錯(cuò)誤接受率，A3為錯(cuò)誤檢測L3級攻擊樣本數(shù)量，AL3為已檢L3級攻擊樣本數(shù)量。6T/CITIF010—20237.4綜合評價(jià)方法ASFARL2、L3級攻擊樣本錯(cuò)誤接受率ASFARL3分配40%、40%、20%的權(quán)重，綜合評價(jià)系統(tǒng)錯(cuò)誤接受率計(jì)算公式為ASFAR=ASFARL1×40%+ASFARL2×40%+ASFARL3×20%。魯棒性性能計(jì)算公式為ASAR=(1?ASFAR)×100%。T/CITIF010—20237（資料性）違法信息和不良信息違法信息指包含以下內(nèi)容：(一)反對憲法所確定的基本原則的；(二)危害國家安全，泄露國家秘密，顛覆國家政權(quán)，破壞國家統(tǒng)一的；(三)損害國家榮譽(yù)和利益的；(四)歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽(yù)、榮譽(yù)的；(五)宣揚(yáng)恐怖主義、極端主義或者煽動實(shí)施恐怖活動、極端主義活動的；(六)煽動民族仇恨、民族歧視，破壞民族團(tuán)結(jié)的；(七)破壞國家宗教政策，宣揚(yáng)邪教和封建迷信的；(八)散布謠言，擾亂經(jīng)濟(jì)秩序和社會秩序的；(九)散布淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪的；(十)侮辱或者誹謗他人，侵害他人名譽(yù)、隱私和其他合法權(quán)益的；(十一)法律、行政法規(guī)禁止的其他內(nèi)容。不良信息指包含以下內(nèi)容：(一)使用夸張標(biāo)題，內(nèi)容與標(biāo)題嚴(yán)重不符的；(二)炒作緋聞、丑聞、劣跡等的；(三)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的；(四)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想的；(五)展現(xiàn)血腥、驚悚、殘