23I請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。本文件由中共黑龍江省委網(wǎng)絡(luò)安全和信息化委員會(huì)辦公室提1人工智能數(shù)據(jù)標(biāo)注總體框架規(guī)范用于標(biāo)識(shí)出數(shù)據(jù)特征并建立標(biāo)注數(shù)據(jù)與人工智能可用數(shù)據(jù)之間能夠進(jìn)行數(shù)據(jù)標(biāo)注及在數(shù)據(jù)標(biāo)注過(guò)程中進(jìn)行管理、控制等過(guò)程中4基本要求2a)根據(jù)標(biāo)注任務(wù)說(shuō)明，對(duì)標(biāo)注人員進(jìn)行崗前能力培訓(xùn)。培訓(xùn)合格者，參與標(biāo)注任務(wù)；b)建立標(biāo)注人員能力檔案，記錄標(biāo)注人員承擔(dān)標(biāo)注任務(wù)的相關(guān)內(nèi)容，用于進(jìn)行標(biāo)注人員能力評(píng)估與標(biāo)注質(zhì)量追蹤。4.2明確職責(zé)應(yīng)規(guī)定參與人工智能數(shù)據(jù)標(biāo)注的所有角色的職能，并做到：a)設(shè)立人工智能數(shù)據(jù)管理崗位。該崗位要求對(duì)業(yè)務(wù)、法律法規(guī)比較熟悉，能夠根據(jù)業(yè)務(wù)實(shí)際需要確定承擔(dān)數(shù)據(jù)管理工作的部門或人員；b)明確各環(huán)節(jié)角色的職責(zé)。應(yīng)明確數(shù)據(jù)標(biāo)注人員、數(shù)據(jù)標(biāo)注培訓(xùn)人員、數(shù)據(jù)標(biāo)注質(zhì)量控制人員以及與人工智能數(shù)據(jù)標(biāo)注相關(guān)的其他角色的職責(zé)。4.3合法合規(guī)應(yīng)出臺(tái)規(guī)章制度保障人工智能數(shù)據(jù)標(biāo)注任務(wù)的合法合規(guī)性，并做到：a)學(xué)習(xí)并嚴(yán)格執(zhí)行與數(shù)據(jù)保護(hù)、數(shù)據(jù)安全相關(guān)的法律法規(guī)、制度等；b)正確對(duì)個(gè)人隱私和敏感數(shù)據(jù)進(jìn)行處理，確保標(biāo)注過(guò)程合法合規(guī)；c)建立跨部門、跨組織數(shù)據(jù)標(biāo)注、傳輸?shù)谋Ｗo(hù)制度。4.4保障質(zhì)量應(yīng)確保人工智能數(shù)據(jù)標(biāo)注的質(zhì)量，并做到：a)確保人工智能數(shù)據(jù)標(biāo)注的準(zhǔn)確性、可用性、完整性；b)建立質(zhì)量保障制度，提高數(shù)據(jù)標(biāo)注合格率；c)建立定期抽查，不定期檢測(cè)的質(zhì)量控制制度。4.5標(biāo)注范圍最小化應(yīng)確保數(shù)據(jù)標(biāo)注相關(guān)角色對(duì)數(shù)據(jù)掌握范圍的最小化，并做到：a)數(shù)據(jù)標(biāo)注任務(wù)開始前，明確數(shù)據(jù)接觸范圍及使用范圍；b)提供技術(shù)或建立制度保證數(shù)據(jù)標(biāo)注過(guò)程中，數(shù)據(jù)范圍不擴(kuò)散；c)數(shù)據(jù)標(biāo)注任務(wù)完成后，及時(shí)回收數(shù)據(jù)操作權(quán)限。4.6數(shù)據(jù)安全應(yīng)從以下幾方面做好數(shù)據(jù)保密，確保數(shù)據(jù)安全：a)數(shù)據(jù)分發(fā)，使用必要的安全方式確保人工智能數(shù)據(jù)分發(fā)過(guò)程的安全性要求；b)數(shù)據(jù)存儲(chǔ)，建立訪問(wèn)控制制度和加密機(jī)制確保人工智能數(shù)據(jù)存儲(chǔ)保密性要求；c)加密數(shù)據(jù)的標(biāo)注，使用加密算法對(duì)加密人工智能數(shù)據(jù)進(jìn)行運(yùn)算標(biāo)注，如同態(tài)加密算法等；d)數(shù)據(jù)匯總，使用數(shù)據(jù)隔離等方式確保人工智能數(shù)據(jù)匯總時(shí)滿足保密性要求；e)密碼密鑰的安全，建立人工智能數(shù)據(jù)密碼密鑰管理系統(tǒng)。4.7數(shù)據(jù)完整為確保標(biāo)注過(guò)程數(shù)據(jù)完整性，應(yīng)做到：a)接收人工智能數(shù)據(jù)可驗(yàn)證，保證接收的數(shù)據(jù)已通過(guò)認(rèn)證；b)人工智能數(shù)據(jù)傳輸過(guò)程完整性，保證標(biāo)注活動(dòng)數(shù)據(jù)完整性；c)數(shù)據(jù)標(biāo)注可靠性，確保標(biāo)注過(guò)程只執(zhí)行批準(zhǔn)的范圍；d)數(shù)據(jù)儲(chǔ)存完整性，確保數(shù)據(jù)標(biāo)注存儲(chǔ)及備份完整性。3風(fēng)險(xiǎn)評(píng)估任務(wù)執(zhí)行4a)數(shù)據(jù)核查。檢查待標(biāo)注數(shù)據(jù)是否與標(biāo)注任務(wù)說(shuō)明書中的數(shù)據(jù)定義相符，核查結(jié)果及時(shí)同步給b)數(shù)據(jù)整理。建立完善的數(shù)據(jù)追蹤機(jī)制，實(shí)現(xiàn)數(shù)據(jù)整理，以及最小粒度的數(shù)據(jù)追蹤；c)數(shù)據(jù)處理。根據(jù)標(biāo)注任務(wù)以及標(biāo)注數(shù)據(jù)的特性，通過(guò)數(shù)據(jù)聚類、組合排列、數(shù)據(jù)雜質(zhì)去除等a)確定數(shù)據(jù)試標(biāo)數(shù)量。應(yīng)遵循數(shù)據(jù)標(biāo)注內(nèi)容覆蓋全面性及數(shù)據(jù)標(biāo)注成本最小化要求，抽取數(shù)據(jù)c)細(xì)化數(shù)據(jù)標(biāo)注規(guī)則。應(yīng)遵循易理解、易操作的準(zhǔn)則，保持與數(shù)據(jù)標(biāo)注需求一致的原則，對(duì)數(shù)b)任務(wù)賬戶創(chuàng)建。應(yīng)以標(biāo)注人員數(shù)量為依據(jù)，綜合標(biāo)注數(shù)據(jù)規(guī)模、質(zhì)量分析等需求，根據(jù)標(biāo)注環(huán)境或標(biāo)注工具，創(chuàng)建標(biāo)注過(guò)程中所需要使用的賬戶，c)任務(wù)創(chuàng)建保障。應(yīng)制定標(biāo)注任務(wù)創(chuàng)建和數(shù)據(jù)上傳相關(guān)制度，明確數(shù)據(jù)上傳分類分級(jí)、數(shù)據(jù)安a)標(biāo)注任務(wù)分發(fā)類型。應(yīng)根據(jù)標(biāo)注任務(wù)要求，結(jié)合標(biāo)注質(zhì)量管理及標(biāo)注時(shí)間管理，在保證標(biāo)注5b)標(biāo)注任務(wù)分發(fā)保障。應(yīng)制定標(biāo)注任務(wù)分發(fā)安全管理制度，明確標(biāo)注任務(wù)分發(fā)日志內(nèi)容，監(jiān)控標(biāo)注任務(wù)分發(fā)安全。7.3任務(wù)執(zhí)行數(shù)據(jù)標(biāo)注員或數(shù)據(jù)標(biāo)注團(tuán)隊(duì)?wèi)?yīng)使用數(shù)據(jù)標(biāo)注工具完成指派的數(shù)據(jù)標(biāo)注任務(wù)，標(biāo)注執(zhí)行主要包括以下內(nèi)容：a)標(biāo)注任務(wù)分配。應(yīng)安排數(shù)據(jù)標(biāo)注人員使用分配的標(biāo)注賬戶，對(duì)分配到的任務(wù)進(jìn)行標(biāo)注；b)標(biāo)注過(guò)程反饋。應(yīng)建立標(biāo)注過(guò)程反饋機(jī)制，將與標(biāo)注要求不符、標(biāo)注要求中未涵蓋的數(shù)據(jù)等情況，及時(shí)反饋，確保標(biāo)注規(guī)則與數(shù)據(jù)的匹配；c)標(biāo)注任務(wù)開展保障。應(yīng)明確數(shù)據(jù)脫敏和個(gè)人信息安全影響評(píng)估制度，在標(biāo)注前對(duì)個(gè)人信息進(jìn)行數(shù)據(jù)脫敏處理，保障數(shù)據(jù)標(biāo)注流程合法合規(guī)，并對(duì)數(shù)據(jù)標(biāo)注結(jié)果進(jìn)行分級(jí)，適當(dāng)提高數(shù)據(jù)安全等級(jí)。7.4任務(wù)檢驗(yàn)7.4.1質(zhì)量檢驗(yàn)在任務(wù)進(jìn)行過(guò)程中按照標(biāo)注規(guī)則進(jìn)行質(zhì)量檢驗(yàn)和質(zhì)量糾偏。7.4.2進(jìn)度檢驗(yàn)在任務(wù)進(jìn)行過(guò)程中應(yīng)使用數(shù)據(jù)標(biāo)注工具，對(duì)數(shù)據(jù)標(biāo)注進(jìn)度和數(shù)據(jù)標(biāo)注計(jì)劃偏差情況進(jìn)行檢驗(yàn)，并及時(shí)更新資源和標(biāo)注進(jìn)度要求。7.4.3一致性檢查在標(biāo)注任務(wù)進(jìn)行期間應(yīng)使用統(tǒng)計(jì)規(guī)則或模型驗(yàn)證等方法，得到標(biāo)注任務(wù)一致性水平，一旦發(fā)現(xiàn)明顯的偏離或出現(xiàn)一致性降低的趨勢(shì)，及時(shí)預(yù)警。7.5風(fēng)險(xiǎn)預(yù)估在標(biāo)注任務(wù)進(jìn)行過(guò)程中，應(yīng)對(duì)標(biāo)注任務(wù)是否能夠達(dá)到預(yù)期進(jìn)行檢測(cè)和評(píng)估，并針對(duì)可能存在的風(fēng)險(xiǎn)進(jìn)行提示。風(fēng)險(xiǎn)評(píng)估應(yīng)包括以下幾方面：a)任務(wù)時(shí)間風(fēng)險(xiǎn)。包括標(biāo)注任務(wù)可能在預(yù)期時(shí)間內(nèi)未能完成或者標(biāo)注任務(wù)所需的時(shí)間可能被低估，導(dǎo)致任務(wù)無(wú)法按時(shí)完成的風(fēng)險(xiǎn)；b)任務(wù)進(jìn)度風(fēng)險(xiǎn)。參與標(biāo)注任務(wù)人員不足風(fēng)險(xiǎn)及標(biāo)注人員之間溝通、協(xié)調(diào)與管理的風(fēng)險(xiǎn)，導(dǎo)致進(jìn)度延誤；c)任務(wù)質(zhì)量風(fēng)險(xiǎn)。數(shù)據(jù)標(biāo)注不準(zhǔn)確，或者不同標(biāo)注人員主觀意識(shí)和個(gè)人偏好出現(xiàn)標(biāo)注偏差，導(dǎo)致標(biāo)注數(shù)據(jù)的質(zhì)量下降的風(fēng)險(xiǎn)；d)數(shù)據(jù)隱私風(fēng)險(xiǎn)：在數(shù)據(jù)標(biāo)注過(guò)程中，可能涉及到個(gè)人敏感信息的泄露，如姓名、地址等泄密的風(fēng)險(xiǎn)。7.6風(fēng)險(xiǎn)提醒7.6.1在預(yù)估到標(biāo)注任務(wù)可能存在風(fēng)險(xiǎn)的情況下，應(yīng)對(duì)風(fēng)險(xiǎn)進(jìn)行及時(shí)的暴露和提醒，從而使風(fēng)險(xiǎn)得到處理。風(fēng)險(xiǎn)預(yù)估的消息提醒應(yīng)包含如下信息：a)標(biāo)注任務(wù)的基本概況信息。包含足以識(shí)別面臨風(fēng)險(xiǎn)的標(biāo)注任務(wù)的信息，例如任務(wù)的名稱、需求方、標(biāo)注要求、風(fēng)險(xiǎn)描述、剩余未完成的任務(wù)量等；6b)執(zhí)行任務(wù)的標(biāo)注人員。包含足以識(shí)別面臨風(fēng)險(xiǎn)的標(biāo)注人員或團(tuán)隊(duì)的信息；7.6.2為使消息能夠及時(shí)傳遞到相關(guān)任務(wù)關(guān)系人，標(biāo)注任務(wù)可能有風(fēng)險(xiǎn)的消息內(nèi)容應(yīng)通過(guò)各類方式發(fā)b)專家?guī)斓膶＜覕?shù)量具備一定規(guī)模并且專業(yè)結(jié)構(gòu)合理；d)評(píng)審業(yè)績(jī)良好，并且3年內(nèi)無(wú)違法違紀(jì)行為；a)具有良好的科學(xué)道德、較強(qiáng)的溝通和協(xié)調(diào)能力，能夠獨(dú)立、客觀、公正、實(shí)事求是的提出評(píng)b)從事所屬領(lǐng)域或行業(yè)專業(yè)技術(shù)工作滿5年，并具有副高級(jí)及以上專業(yè)技術(shù)職稱或者具有同等a)網(wǎng)絡(luò)評(píng)審。組織評(píng)審專家通過(guò)網(wǎng)絡(luò)評(píng)審系統(tǒng)，查閱數(shù)據(jù)標(biāo)注材料并對(duì)數(shù)據(jù)標(biāo)注任務(wù)完成情況b)會(huì)議評(píng)審(含視頻答辯)。組織評(píng)審專家采用現(xiàn)場(chǎng)會(huì)議(網(wǎng)絡(luò)視頻)等形式，通過(guò)聽取數(shù)據(jù)標(biāo)注7b)說(shuō)明文檔。數(shù)據(jù)標(biāo)注情況說(shuō)明，包括標(biāo)簽或類別等；a)數(shù)據(jù)標(biāo)注任務(wù)基本信息。