人工智能倫理治理

研究報(bào)告

(2023年)

中國(guó)信息通信研究院知識(shí)產(chǎn)權(quán)與創(chuàng)新發(fā)展中心

中國(guó)信息通信研究院科技倫理研究中心

2023年12月

前言

伴隨人工智能的迅速發(fā)展和廣泛應(yīng)用，人類正在進(jìn)入一個(gè)“人機(jī)

物”相融合的萬(wàn)物智能互聯(lián)時(shí)代，人工智能技術(shù)的應(yīng)用在給人們帶來(lái)

生活和工作便利的同時(shí)，也帶來(lái)了系列倫理挑戰(zhàn)。2022年3月，中共

中央辦公廳國(guó)務(wù)院辦公廳印發(fā)《關(guān)于加強(qiáng)科技倫理治理的意見》，對(duì)

科技倫理治理工作進(jìn)行了系統(tǒng)部署，將人工智能列入科技倫理治理的

重點(diǎn)領(lǐng)域。

人工智能倫理是開展人工智能研究、設(shè)計(jì)、開發(fā)、服務(wù)和使用等

活動(dòng)需要遵循的價(jià)值理念和行為規(guī)范。人工智能技術(shù)的突破發(fā)展，引

發(fā)了技術(shù)應(yīng)用的倫理爭(zhēng)議，特別是生成式人工智能技術(shù)的發(fā)展應(yīng)用引

發(fā)了偏見歧視、隱私侵犯、責(zé)任不明、虛假內(nèi)容傳播等倫理挑戰(zhàn)。

為應(yīng)對(duì)人工智能技術(shù)應(yīng)用帶來(lái)的風(fēng)險(xiǎn)，世界各國(guó)積極推動(dòng)人工智

能倫理國(guó)際治理合作。各國(guó)政府通過出臺(tái)人工智能倫理原則、發(fā)布人

工智能倫理治理指引、提供技術(shù)治理工具等加強(qiáng)本國(guó)本地區(qū)的人工智

能倫理治理監(jiān)管。我國(guó)通過積極完善人工智能倫理制度規(guī)范，探索人

工智能倫理治理技術(shù)化、工程化、標(biāo)準(zhǔn)化落地措施，加強(qiáng)人工智能治

理國(guó)際合作等舉措推動(dòng)人工智能向善發(fā)展。

人工智能倫理治理是多主體協(xié)作的全流程治理，是以敏捷機(jī)制協(xié)

調(diào)人工智能發(fā)展與安全的重要治理模式。未來(lái)一段時(shí)期，人工智能倫

理治理將與產(chǎn)業(yè)創(chuàng)新活動(dòng)增強(qiáng)協(xié)調(diào)；多學(xué)科多主體參與、分類分級(jí)治

理、技術(shù)工具開發(fā)等措施將有效推動(dòng)人工智能倫理治理機(jī)制完善；全

民科技倫理素養(yǎng)的提升將有效防范人工智能倫理風(fēng)險(xiǎn)；全球人工智能

倫理治理合作也將推動(dòng)人工智能技術(shù)造福人類。

中國(guó)信息通信研究院首次發(fā)布《人工智能倫理治理研究報(bào)告》藍(lán)

皮書。本報(bào)告在總結(jié)分析人工智能倫理治理相關(guān)特點(diǎn)的基礎(chǔ)上，對(duì)人

工智能生成內(nèi)容、自動(dòng)駕駛、智慧醫(yī)療三個(gè)典型應(yīng)用場(chǎng)景的倫理風(fēng)險(xiǎn)

進(jìn)行分析，并結(jié)合國(guó)內(nèi)外人工智能倫理治理實(shí)踐，提出人工智能倫理

治理的四點(diǎn)展望，以期為更加廣泛深入的討論提供參考。

人工智能倫理治理研究報(bào)告（2023年）

一、人工智能倫理治理概述

（一）人工智能倫理的概念與特點(diǎn)

“倫理”是人的行為準(zhǔn)則，是人與人之間和人與社會(huì)的義務(wù)，也

是每個(gè)人源于道德的社會(huì)責(zé)任1。倫理作為價(jià)值規(guī)范，為不同場(chǎng)景的行

為提供引導(dǎo)。在科技活動(dòng)中，倫理從價(jià)值引導(dǎo)和實(shí)踐規(guī)范層面指導(dǎo)技

術(shù)研發(fā)應(yīng)用。

人工智能倫理是開展人工智能研究、設(shè)計(jì)、開發(fā)、服務(wù)和使用等

科技活動(dòng)需要遵循的價(jià)值理念和行為規(guī)范。人工智能倫理關(guān)注技術(shù)的

“真”與“善”，并為人工智能發(fā)展提供更廣闊的討論空間。人工智

能倫理包含價(jià)值目標(biāo)與行為要求兩個(gè)方面。在價(jià)值目標(biāo)上，人工智能

倫理要求人工智能各階段活動(dòng)以增進(jìn)人類福祉、尊重生命權(quán)利、堅(jiān)持

公平公正、尊重隱私等為目標(biāo)。在行為要求上，人工智能倫理要求人

工智能技術(shù)做到安全可控、透明可解釋，在人工智能研發(fā)應(yīng)用各環(huán)節(jié)

強(qiáng)化人類責(zé)任擔(dān)當(dāng)，提倡鼓勵(lì)多方參與和合作。

人工智能倫理呈現(xiàn)出哲學(xué)性、技術(shù)性、全球性三大特點(diǎn)。一是人

工智能倫理拓展了人類道德哲學(xué)反思的邊界。人工智能倫理蘊(yùn)含了人

與機(jī)器相互關(guān)系的倫理思考，拓展人類關(guān)于善、理性、情感等問題的

探索。人工智能倫理的討論既包含了對(duì)人工智能主體、人格、情感方

面的本體倫理問題研究，也關(guān)注人工智能應(yīng)用是否符合社會(huì)道德要求。

關(guān)于人工智能倫理的討論體現(xiàn)著當(dāng)代人對(duì)社會(huì)生活的價(jià)值理想，將人

與人交往的倫理規(guī)范擴(kuò)展至人與技術(shù)交互的反思。二是人工智能倫理

1辭海編輯委員會(huì).辭海[M].上海：上海辭書出版社，1979:221.

1

人工智能倫理治理研究報(bào)告（2023年）

與人工智能技術(shù)的發(fā)展應(yīng)用密切相關(guān)。從1940年人工智能第一次浪

潮中阿西莫夫提出“機(jī)器人三原則”，到2004年人工智能第三次浪

潮中機(jī)器人倫理學(xué)研討會(huì)正式提出“機(jī)器人倫理學(xué)”2，再到目前，人

工智能倫理已成為政府、產(chǎn)業(yè)界、學(xué)界等共同關(guān)注的議題。伴隨深度

學(xué)習(xí)算法的演進(jìn)以及人工智能技術(shù)應(yīng)用領(lǐng)域的拓展，人工智能倫理關(guān)

注算法技術(shù)風(fēng)險(xiǎn)和技術(shù)應(yīng)用危機(jī)的防范。在“強(qiáng)人工智能”時(shí)代到來(lái)

前，人工智能倫理主要關(guān)注歧視偏見、算法“黑箱”、技術(shù)濫用、數(shù)

據(jù)不當(dāng)收集等問題。但隨著大模型技術(shù)的發(fā)展，人工智能倫理討論的

議題也不斷深化。三是增進(jìn)人類福祉是人工智能倫理的全球共識(shí)。不

同于傳統(tǒng)倫理觀念受地區(qū)歷史傳統(tǒng)文化的影響產(chǎn)生的差異，人工智能

技術(shù)的發(fā)展和應(yīng)用帶來(lái)了全球性倫理挑戰(zhàn)。目前，社會(huì)偏見、技術(shù)鴻

溝、多樣性危機(jī)等成為國(guó)際社會(huì)面臨的共同挑戰(zhàn)。以人為本、智能向

善、促進(jìn)可持續(xù)發(fā)展等已成為全球人工智能倫理共識(shí)。

（二）人工智能倫理治理的必要性

面對(duì)人工智能帶來(lái)的風(fēng)險(xiǎn)，通過人工智能治理的多種機(jī)制促進(jìn)人

工智能健康發(fā)展已成為普遍共識(shí)。人工智能倫理治理是人工智能治理

的重要組成部分，主要包括以人為本、公平非歧視、透明可解釋、人

類可控制、責(zé)任可追溯、可持續(xù)發(fā)展等內(nèi)容。人工智能倫理治理能根

據(jù)人工智能技術(shù)發(fā)展和應(yīng)用情況，及時(shí)提出調(diào)整人與人工智能關(guān)系和

應(yīng)對(duì)人工智能風(fēng)險(xiǎn)的方法。人工智能倫理治理重點(diǎn)不在于關(guān)注對(duì)創(chuàng)新

主體的最低義務(wù)要求，而在于推動(dòng)“智能向善”的價(jià)值目標(biāo)的實(shí)現(xiàn)。

2杜嚴(yán)勇.人工智能倫理風(fēng)險(xiǎn)防范研究中的若干基礎(chǔ)性問題探析[J].云南社會(huì)科學(xué),2022(03):12-19.

2

人工智能倫理治理研究報(bào)告（2023年）

1.通過倫理治理，加深關(guān)于“人工智能體”的哲學(xué)探討

人工智能技術(shù)的發(fā)展和應(yīng)用帶來(lái)了新的主體“人工智能體”，即

能在一定條件下模擬人類進(jìn)行自主決策，與人和環(huán)境開展交互的技術(shù)

體。大語(yǔ)言模型的發(fā)展，使得關(guān)注和應(yīng)對(duì)“人工智能體”帶來(lái)的倫理

問題變得更加迫切。一是人類自主性受到挑戰(zhàn)。工業(yè)時(shí)代，機(jī)械化的

發(fā)展降低了人類體力型、重復(fù)型勞動(dòng)的比例；智能時(shí)代，機(jī)器開始替

代人類進(jìn)行決策分析，從自動(dòng)化向自主決策發(fā)展。人工智能從人類操

控為主的“人在決策圈內(nèi)”轉(zhuǎn)向“人在決策圈外”3的智能體自主決策。

二是人類自我認(rèn)知受到?jīng)_擊。人類因所具有的學(xué)習(xí)能力、創(chuàng)造力、個(gè)

體的多樣性、飽含情感等與機(jī)器存在不同。當(dāng)前，大模型技術(shù)已具有

自然語(yǔ)言交互和開展專業(yè)任務(wù)的能力，并能根據(jù)反饋進(jìn)一步學(xué)習(xí)提升，

與人的差異進(jìn)一步縮小，對(duì)人類自身價(jià)值的認(rèn)知面臨沖擊。三是人機(jī)

關(guān)系進(jìn)一步復(fù)雜化。與工業(yè)時(shí)代可視、可理解、可控制的工具不同，

人工智能體具有自主學(xué)習(xí)能力，但可解釋性不足，也可能產(chǎn)生不可控

的人機(jī)倫理風(fēng)險(xiǎn)。同時(shí)，具身智能機(jī)器人、自動(dòng)駕駛等的發(fā)展，推動(dòng)

人機(jī)交互實(shí)體化。隨著人工智能技術(shù)向通用人工智能發(fā)展，有關(guān)人工

智能體意識(shí)、人工智能體是否成為社會(huì)主體、人工智能體的法律地位

等問題受到更多關(guān)注。有關(guān)人工智能與人類關(guān)系的問題引起包括技術(shù)

專家、哲學(xué)家、科技企業(yè)家、科幻小說(shuō)作者等的關(guān)注。如科幻小說(shuō)作

家艾薩克·阿西莫夫提出“機(jī)器人三定律”，提出人與機(jī)器交互的基本

底線；人機(jī)協(xié)同工作模式的探索等。

3段偉文.人工智能時(shí)代的價(jià)值審度與倫理調(diào)適[J].中國(guó)人民大學(xué)學(xué)報(bào),2017,31(06):98-108.

3

人工智能倫理治理研究報(bào)告（2023年）

2.通過倫理治理，應(yīng)對(duì)人工智能應(yīng)用風(fēng)險(xiǎn)

人工智能被視作促進(jìn)經(jīng)濟(jì)發(fā)展、產(chǎn)業(yè)升級(jí)的重要推動(dòng)力。然而，

人工智能技術(shù)本身是否無(wú)害、人工智能技術(shù)應(yīng)用的潛在危害仍然需要

廣泛探討，倫理治理的包容性、跨學(xué)科性為風(fēng)險(xiǎn)的評(píng)估和應(yīng)對(duì)提供空

間。一是關(guān)于技術(shù)本身是否承載觀念意志仍存在爭(zhēng)議。同意技術(shù)中性

（neutrality）的觀點(diǎn)認(rèn)為，技術(shù)是純粹的科學(xué)應(yīng)用，是自然規(guī)律與科

學(xué)原理的反映。反對(duì)技術(shù)中性的觀點(diǎn)認(rèn)為，技術(shù)由人創(chuàng)造，具有社會(huì)

屬性和價(jià)值觀念4。二是技術(shù)應(yīng)用的“不中立”“非中性”不存在爭(zhēng)議，

技術(shù)的應(yīng)用根據(jù)場(chǎng)景不同，其爭(zhēng)議度有明顯區(qū)別。一方面，人工智能

技術(shù)應(yīng)用被視作推動(dòng)經(jīng)濟(jì)發(fā)展的重要力量，為工業(yè)、農(nóng)業(yè)、服務(wù)業(yè)等

升級(jí)轉(zhuǎn)型提供了技術(shù)支撐。另一方面，人工智能倫理風(fēng)險(xiǎn)與其他技術(shù)

風(fēng)險(xiǎn)疊加，且不同場(chǎng)景下的人工智能技術(shù)應(yīng)用的倫理風(fēng)險(xiǎn)有明顯差異。

如在農(nóng)業(yè)智慧化的場(chǎng)景下，人工智能技術(shù)與物聯(lián)網(wǎng)等技術(shù)相結(jié)合，可

對(duì)土壤、光照、病蟲害等進(jìn)行監(jiān)測(cè)分析，實(shí)現(xiàn)對(duì)農(nóng)業(yè)作業(yè)的指導(dǎo)、管

理、優(yōu)化等，對(duì)提高農(nóng)作物產(chǎn)量和質(zhì)量起到重要作用，總體風(fēng)險(xiǎn)較小。

在互聯(lián)網(wǎng)信息推送場(chǎng)景下，企業(yè)主體將數(shù)據(jù)與算法相結(jié)合，對(duì)用戶偏

好進(jìn)行分析，進(jìn)行個(gè)性化推薦，實(shí)現(xiàn)用戶體驗(yàn)的提升與廣告分發(fā)效率

的提高；然而，個(gè)性化推薦可能造成的隱私、監(jiān)控、信息繭房等倫理

問題受到關(guān)注。

3.通過倫理治理，實(shí)現(xiàn)敏捷有效的風(fēng)險(xiǎn)規(guī)制

人工智能倫理治理具有靈活敏捷、包容開放的特點(diǎn)，與人工智能

4參見吳致遠(yuǎn).有關(guān)技術(shù)中性論的三個(gè)問題[J].自然辯證法通訊,2013,35(06):116-121+128.

4

人工智能倫理治理研究報(bào)告（2023年）

全流程治理理念契合，成為人工智能治理的關(guān)鍵模式。從機(jī)制的靈活

性上看，人工智能倫理治理是一種高適應(yīng)性規(guī)范，與科技發(fā)展和倫理

事件動(dòng)態(tài)互動(dòng)，能夠進(jìn)行快速調(diào)整。從參與主體上看，人工智能倫理

治理是政府、產(chǎn)業(yè)、學(xué)界等多主體合作應(yīng)對(duì)風(fēng)險(xiǎn)的機(jī)制，是以多主體

參與為基本實(shí)踐的治理模式。從治理工具上看，人工智能倫理治理包

括了原則指導(dǎo)、規(guī)范指南、技術(shù)工具等豐富機(jī)制，能與人工智能研發(fā)

和應(yīng)用不同階段的需要相配合。從治理介入階段看，人工智能倫理治

理融入研發(fā)到應(yīng)用的全生命周期中，既能有效發(fā)揮向善價(jià)值的前置引

導(dǎo)作用，也可借助風(fēng)險(xiǎn)評(píng)估和風(fēng)險(xiǎn)反饋機(jī)制及時(shí)調(diào)整技術(shù)發(fā)展與應(yīng)用，

為新技術(shù)匹配適宜的治理方式。

二、人工智能倫理治理關(guān)切

（一）人工智能倫理挑戰(zhàn)

目前，人工智能引發(fā)的倫理挑戰(zhàn)已從理論研討變?yōu)楝F(xiàn)實(shí)風(fēng)險(xiǎn)。根

據(jù)OECDAIIncidentsMonitor的統(tǒng)計(jì)，僅2023年11月1個(gè)月，人工

智能事件超過280件5。對(duì)人工智能倫理問題的關(guān)切覆蓋人工智能全

生命周期的各個(gè)階段，需要從技術(shù)研發(fā)和應(yīng)用部署6層面分析評(píng)估人

工智能倫理風(fēng)險(xiǎn)。

在技術(shù)研發(fā)階段，由于人工智能技術(shù)開發(fā)主體在數(shù)據(jù)獲取和使用、

算法設(shè)計(jì)、模型調(diào)優(yōu)等方面還存在技術(shù)能力和管理方式的不足，可能

產(chǎn)生偏見歧視、隱私泄露、錯(cuò)誤信息、不可解釋等倫理風(fēng)險(xiǎn)。偏見歧

5數(shù)據(jù)來(lái)源：OECDAIIncidentsMonitor，最后訪問日期：2023年12月11日.

6國(guó)際標(biāo)準(zhǔn)化組織《人工智能系統(tǒng)生命周期過程》（ISO/IECWD5338）將人工智能系統(tǒng)全生命周期概括

為初始、設(shè)計(jì)研發(fā)、檢驗(yàn)驗(yàn)證、部署、運(yùn)行監(jiān)控、持續(xù)驗(yàn)證、重新評(píng)估、廢棄八個(gè)階段，本部分將上述環(huán)

節(jié)概括為工程技術(shù)研發(fā)和應(yīng)用開發(fā)部署兩大環(huán)節(jié).

5

人工智能倫理治理研究報(bào)告（2023年）

視風(fēng)險(xiǎn)是由于訓(xùn)練人工智能的數(shù)據(jù)集存在偏見內(nèi)容、缺乏多樣性等數(shù)

據(jù)集質(zhì)量問題，以及算法對(duì)不同群體進(jìn)行了非公平性設(shè)計(jì)等，產(chǎn)生歧

視性算法決策或內(nèi)容輸出。隱私泄露風(fēng)險(xiǎn)是指使用包含未經(jīng)同意的個(gè)

人數(shù)據(jù)進(jìn)行模型訓(xùn)練，繼而引發(fā)模型輸出內(nèi)容可能產(chǎn)生侵犯隱私的風(fēng)

險(xiǎn)。錯(cuò)誤信息風(fēng)險(xiǎn)主要發(fā)生在人工智能基礎(chǔ)模型中，由于大模型是根

據(jù)前序文本對(duì)下一個(gè)詞進(jìn)行自回歸預(yù)測(cè)生成，預(yù)測(cè)內(nèi)容受前序文本影

響較大，大模型可能產(chǎn)生“幻覺”（Hallucination），繼而生成錯(cuò)誤不

可靠的內(nèi)容。不可解釋風(fēng)險(xiǎn)是指由于人工智能算法的復(fù)雜性和“黑箱

性”，導(dǎo)致人工智能決策原因和過程的無(wú)法解釋。在產(chǎn)品研發(fā)與應(yīng)用

階段，人工智能產(chǎn)品所面向的具體領(lǐng)域、人工智能系統(tǒng)的部署應(yīng)用范

圍等將影響人工智能倫理風(fēng)險(xiǎn)程度，并可能產(chǎn)生誤用濫用、過度依賴、

沖擊教育與就業(yè)等倫理風(fēng)險(xiǎn)。誤用濫用風(fēng)險(xiǎn)是指由于人工智能技術(shù)使

用便利度提高、任務(wù)完成能力增強(qiáng)，人工智能容易被用于不當(dāng)任務(wù)的

風(fēng)險(xiǎn)，具體包括快速生成大量虛假內(nèi)容、生成惡意代碼、被誘導(dǎo)輸出

不良信息等。過度依賴風(fēng)險(xiǎn)是指由于人工智能技術(shù)能力的提升，使用

者對(duì)人工智能產(chǎn)生過度的依賴和信任，包括在未進(jìn)行事實(shí)核查情況下

對(duì)大模型生成內(nèi)容的采信，甚至因長(zhǎng)時(shí)間交互產(chǎn)生情感依賴等。沖擊

教育與就業(yè)風(fēng)險(xiǎn)是指人工智能便捷性的提升，使得學(xué)生可以借助機(jī)器

完成作業(yè)論文，影響教育學(xué)習(xí)的基本方法與，而青少年與人工智能廣

泛的直接互動(dòng)也可能帶來(lái)心理健康風(fēng)險(xiǎn)。同時(shí)，人工智能的就業(yè)沖擊

已不止于數(shù)字化替代，還可能沖擊從事藝術(shù)、咨詢、教育等領(lǐng)域的專

6

人工智能倫理治理研究報(bào)告（2023年）

業(yè)人員，加速教育投入的折舊7，引發(fā)進(jìn)一步的就業(yè)替代沖擊。

需要注意，包括隱私泄露、偏見歧視、產(chǎn)生虛假錯(cuò)誤信息、歸責(zé)

不明等倫理風(fēng)險(xiǎn)的發(fā)生原因既可能產(chǎn)生在研發(fā)階段，也可能產(chǎn)生于應(yīng)

用階段，甚至是兩者疊加產(chǎn)生的負(fù)面后果。識(shí)別人工智能倫理風(fēng)險(xiǎn)需

要進(jìn)行全生命周期的評(píng)估。

（二）典型應(yīng)用場(chǎng)景的人工智能倫理風(fēng)險(xiǎn)

根據(jù)人工智能具體應(yīng)用場(chǎng)景的不同，主要倫理風(fēng)險(xiǎn)、風(fēng)險(xiǎn)影響對(duì)

象與范圍、倫理治理的客體存在較大差異。目前，包括圖文生成、自

動(dòng)駕駛、智慧醫(yī)療等應(yīng)用領(lǐng)域面臨的典型倫理風(fēng)險(xiǎn)有一定差異，需要

分場(chǎng)景分析與討論。

1.人工智能生成內(nèi)容

伴隨大模型的發(fā)展，文本生成、圖片生成、代碼生成等生成式人

工智能技術(shù)應(yīng)用快速發(fā)展，包括ChatGPT、Claude、StableDiffusion、

Midjourney等生成式人工智能應(yīng)用成為2023年人工智能應(yīng)用熱點(diǎn)。

但使用大模型生成內(nèi)容具有三大突出倫理風(fēng)險(xiǎn)。一是誤用濫用風(fēng)險(xiǎn)。

生成式人工智能技術(shù)應(yīng)用普及快、使用門檻低，可能成為制作深度偽

造內(nèi)容、惡意代碼等的技術(shù)工具，引發(fā)虛假信息大量傳播以及網(wǎng)絡(luò)安

全問題。二是數(shù)據(jù)泄露與隱私侵犯風(fēng)險(xiǎn)。生成式人工智能使用的訓(xùn)練

數(shù)據(jù)集可能包含個(gè)人信息，繼而被誘導(dǎo)輸出有關(guān)信息。同時(shí)，在用戶

在使用過程中上傳的個(gè)人信息、企業(yè)商業(yè)秘密、重要代碼等都有可能

成為生成式人工智能訓(xùn)練的素材，進(jìn)而產(chǎn)生被泄露的風(fēng)險(xiǎn)。三是對(duì)知

7段偉文.準(zhǔn)確研判生成式人工智能的社會(huì)倫理風(fēng)險(xiǎn)[J].中國(guó)黨政干部論壇,2023,(04):76-77.

7

人工智能倫理治理研究報(bào)告（2023年）

識(shí)產(chǎn)權(quán)制度帶來(lái)挑戰(zhàn)。生成式人工智能技術(shù)對(duì)知識(shí)產(chǎn)權(quán)體系造成了沖

擊。在訓(xùn)練數(shù)據(jù)的使用上，哪些數(shù)據(jù)能用于模型訓(xùn)練還存在爭(zhēng)議，關(guān)

于“合理使用”是否能適用于大模型數(shù)據(jù)訓(xùn)練還在討論，且已有藝術(shù)

家開始使用技術(shù)工具8阻止未經(jīng)允許的模型訓(xùn)練。在生成內(nèi)容的權(quán)利

歸屬上，人工智能技術(shù)是否僅能發(fā)揮工具作用還有探討空間。

誤用濫用案例：生成假視頻、圖片、聲音以實(shí)施詐騙

2023年2月28日至3月2日的三天內(nèi)，加拿大至少有8名

老人因?yàn)槔蒙疃葌卧靸?nèi)容實(shí)施的詐騙損失大量資金。犯罪分子

利用人工智能技術(shù)，快速克隆聲音、圖片等，并結(jié)合詳細(xì)的個(gè)人

信息，使得受害者產(chǎn)生錯(cuò)誤判斷，按犯罪分子要求支付費(fèi)用。

隱私侵犯案例：泄露用戶信息

2023年11月28日，來(lái)自谷歌、華盛頓大學(xué)等研究團(tuán)隊(duì)發(fā)現(xiàn)

ChatGPT數(shù)據(jù)泄露漏洞。文章指出，讓ChatGPT多次重復(fù)一個(gè)詞

后，模型可能會(huì)輸出個(gè)人信息。2023年3月25日，OpenAI發(fā)文

證實(shí)部分ChatGPTPlus服務(wù)訂閱用戶的姓名、電子郵件地址、

支付地址、信用卡的后四位和信用卡到期時(shí)間等被泄露。

知識(shí)產(chǎn)權(quán)爭(zhēng)議案例：是否屬于“合理使用”的爭(zhēng)議

2023年9月，美國(guó)作家協(xié)會(huì)對(duì)OpenAI發(fā)起集體訴訟，起訴

OpenAI在未經(jīng)許可的情況將受版權(quán)保護(hù)的作品用于大語(yǔ)言模型

訓(xùn)練。2023年7月，數(shù)千名作家簽署公開信，要求OpenAI等人

工智能公司停止在未經(jīng)許可的情況下使用其作品訓(xùn)練大模型。

8如Nightshade、Glaze等通過改變?nèi)搜蹮o(wú)法識(shí)別的像素影響機(jī)器學(xué)習(xí)模型的工具.

8

人工智能倫理治理研究報(bào)告（2023年）

2.自動(dòng)駕駛

自動(dòng)駕駛是人工智能、物聯(lián)網(wǎng)、高性能計(jì)算等新一代信息技術(shù)深

度融合的產(chǎn)物，是人機(jī)交互領(lǐng)域的重要實(shí)踐。自動(dòng)駕駛在載人、載貨

等方面的技術(shù)持續(xù)發(fā)展，并從封閉場(chǎng)景、封閉道路運(yùn)行向復(fù)雜社會(huì)化

場(chǎng)景進(jìn)行拓展。自動(dòng)駕駛倫理與風(fēng)險(xiǎn)控制、生命價(jià)值衡量、責(zé)任分配

等問題關(guān)系密切。一是自動(dòng)駕駛技術(shù)復(fù)雜性使得風(fēng)險(xiǎn)控制更具挑戰(zhàn)。

自動(dòng)駕駛汽車的風(fēng)險(xiǎn)來(lái)自以自動(dòng)駕駛汽車為載體的各類軟硬件技術(shù)，

包括自動(dòng)駕駛算法偏差、軟件安全漏洞、硬件架構(gòu)不可靠等，并具有

風(fēng)險(xiǎn)疊加的危機(jī)。二是“電車難題”9“隧道難題”10成為現(xiàn)實(shí)的倫理

風(fēng)險(xiǎn)。目前，有條件自動(dòng)駕駛已上路測(cè)試，與軟件信息服務(wù)、封閉場(chǎng)

景下的運(yùn)行的機(jī)器人等風(fēng)險(xiǎn)不同，自動(dòng)駕駛技術(shù)作為面向不確定開放

環(huán)境，且能夠造成巨大物理?yè)p害的技術(shù)應(yīng)用，其風(fēng)險(xiǎn)影響范圍不斷增

大、在緊急情況下，自動(dòng)駕駛算法將可能直接對(duì)人的生命利益作出選

擇。三是責(zé)任分配在自動(dòng)駕駛場(chǎng)景下更具復(fù)雜性。在傳統(tǒng)情況下，損

害責(zé)任可根據(jù)因果關(guān)系、過錯(cuò)程度并結(jié)合具體場(chǎng)景進(jìn)行認(rèn)定。但在自

動(dòng)駕駛場(chǎng)景下，自動(dòng)駕駛算法具有一定的自主性，同時(shí)，涵蓋自動(dòng)駕

駛汽車的關(guān)鍵責(zé)任方包括制造商、汽車設(shè)計(jì)主體，軟件服務(wù)主體、使

用者等，承擔(dān)責(zé)任的主體繁多且難以確認(rèn)，因果鏈條更加復(fù)雜，社會(huì)

風(fēng)險(xiǎn)責(zé)任的分配具有顯著的復(fù)雜性。

9電車難題（TrolleyProblem）由PhilippaRuthFoot提出，討論是否能因?yàn)樽非蠖鄶?shù)人的利益而犧牲少數(shù)

人的利益。參見PhilippaFoot,TheProblemofAbortionandtheDoctrineoftheDoubleEffect,1967.Oxford

Review,No.5.

10隧道難題（TunnelProblem）由JasonMillar提出，討論犧牲汽車乘客還是犧牲行人的兩種判斷。參見

JasonMillar(2016)AnEthicsEvaluationToolforAutomatingEthicalDecision-MakinginRobotsandSelf-

DrivingCars,AppliedArtificialIntelligence,30:8,787-809.

9

人工智能倫理治理研究報(bào)告（2023年）

責(zé)任歸屬案例：駕駛員和汽車廠商的責(zé)任劃分

2018年3月美國(guó)亞利桑那州，一輛正在測(cè)試中的Uber自動(dòng)駕駛

汽車以69公里時(shí)速撞死了一位橫穿馬路的行人。2020年9月15日，

亞利桑那州陪審團(tuán)以過失殺人罪起訴當(dāng)時(shí)Uber自動(dòng)駕駛汽車前安全

駕駛員RafaelaVasquez，建議判處該安全員2.5年有期徒刑。檢察

官認(rèn)為：“當(dāng)駕駛員操作汽車方向盤時(shí)，他們有責(zé)任以遵守法律的方

式安全地控制和操作汽車”。

2019年，一特斯拉Model3撞樹起火，并造成駕駛司機(jī)死亡和

乘客受傷。事后，兩名受傷乘客認(rèn)為特斯拉在出售汽車時(shí)知道其自

動(dòng)駕駛系統(tǒng)Autopilot有缺陷并提起訴訟。2023年9月，美國(guó)加州

地方法院陪審團(tuán)認(rèn)為車輛沒有制造缺

陷，特斯拉方面稱該案件是由駕駛員人為因素導(dǎo)致。

自動(dòng)駕駛汽車算法設(shè)計(jì)問題：緊急情況下的處置不當(dāng)

2023年10月，一行人被人類駕駛的轎車撞倒并滾落至車道上。

此時(shí)，由Cruise運(yùn)營(yíng)的自動(dòng)駕駛出租車Robotaxi迎面駛來(lái)，該行

人再次遭到撞擊并被卷入車下。該Robotaxi在緊急制動(dòng)后又啟動(dòng)了

靠邊停車操作，以20英里每小時(shí)的速度將這名行人拖行了7英尺，

導(dǎo)致其全身多出嚴(yán)重?fù)p傷。

3.智慧醫(yī)療

人工智能在醫(yī)療衛(wèi)生領(lǐng)域的應(yīng)用帶來(lái)顯著的機(jī)遇，為病灶診斷、

藥物研發(fā)、疾病風(fēng)險(xiǎn)預(yù)測(cè)等提供了重要的工具。根據(jù)斯坦福大學(xué)最新

10

人工智能倫理治理研究報(bào)告（2023年）

發(fā)布的《人工智能指數(shù)報(bào)告》，2022年與醫(yī)療健康領(lǐng)域相關(guān)的人工智

能投資超過60億美元，是吸引最多投資的人工智能應(yīng)用領(lǐng)域。然而，

由于在醫(yī)療衛(wèi)生領(lǐng)域應(yīng)用人工智能技術(shù)直接影響生命健康，需要謹(jǐn)慎

評(píng)估人工智能在該領(lǐng)域應(yīng)用的倫理風(fēng)險(xiǎn)，特別要關(guān)注人類監(jiān)督、隱私

保護(hù)和醫(yī)患知情權(quán)。一是缺乏人類監(jiān)督引發(fā)安全控制風(fēng)險(xiǎn)。由于人工

智能可用于醫(yī)學(xué)圖像、診斷特征匹配等醫(yī)學(xué)場(chǎng)景，能夠影響醫(yī)療決策。

在直接面向患者的智慧醫(yī)療領(lǐng)域，缺乏專業(yè)人員介入和監(jiān)督的醫(yī)療診

斷風(fēng)險(xiǎn)極大。二是隱私泄露與數(shù)據(jù)保護(hù)風(fēng)險(xiǎn)。醫(yī)療活動(dòng)產(chǎn)生和收集大

量個(gè)人信息，醫(yī)生也需要依靠患者既往病史等做出判斷。隨著電子病

歷、基因檢測(cè)等應(yīng)用，以及生成式人工智能在醫(yī)療領(lǐng)域應(yīng)用開發(fā)，敏

感個(gè)人信息11被大量收集和處理，一旦發(fā)生泄露、非法使用、篡改等，

將可能對(duì)患者隱私、患者診療等產(chǎn)生嚴(yán)重危害。三是缺乏透明風(fēng)險(xiǎn)。

目前谷歌、亞馬遜、微軟等公司已與醫(yī)療保健組織開展合作，開發(fā)應(yīng)

用于醫(yī)療保健領(lǐng)域的大模型，但若急于將缺乏完整理解和透明性的大

模型用于醫(yī)療，將可能會(huì)影響專業(yè)人員的診斷，對(duì)患者造成損害。

確保人類監(jiān)督和決策案例：禁止人工智能替代醫(yī)師和生成處方

2023年8月，北京市衛(wèi)生健康委發(fā)布《北京市互聯(lián)網(wǎng)診療監(jiān)管實(shí)

施辦法(試行)》（征求意見稿），明確人工智能軟件不得代替醫(yī)師提

供診療，禁止使用人工智能等自動(dòng)生成處方。

11根據(jù)《中華人民共和國(guó)個(gè)人信息保護(hù)法》，醫(yī)療健康數(shù)據(jù)屬于敏感個(gè)人信息.

11

人工智能倫理治理研究報(bào)告（2023年）

三、人工智能倫理治理實(shí)踐

人工智能成為各國(guó)科技發(fā)展的重要戰(zhàn)略，各國(guó)通過倫理規(guī)范明確

人工智能技術(shù)研發(fā)和應(yīng)用的基本倫理要求，加強(qiáng)全球人工智能倫理治

理合作，構(gòu)建人工智能有序發(fā)展的治理機(jī)制。全球科技倫理治理主要

包括全球合作下的共識(shí)性人工智能倫理原則，各國(guó)因地制宜的人工智

能倫理規(guī)范、指南、工具等，并關(guān)注增進(jìn)人類福祉、可持續(xù)發(fā)展、保

護(hù)隱私、防止和減少偏見等。

（一）國(guó)際組織人工智能倫理治理方案

人工智能技術(shù)應(yīng)用可能對(duì)人類社會(huì)產(chǎn)生廣泛負(fù)面影響，成為全球

面臨的共同風(fēng)險(xiǎn)。國(guó)際社會(huì)正加緊推進(jìn)人工智能倫理治理領(lǐng)域的合作。

在人工智能倫理共識(shí)性原則層面，聯(lián)合國(guó)教科文組織193個(gè)成員

國(guó)于2021年11月達(dá)成《人工智能倫理問題建議書》，提出“將倫理

視為對(duì)人工智能技術(shù)進(jìn)行規(guī)范性評(píng)估和指導(dǎo)的動(dòng)態(tài)基礎(chǔ)，以人的尊嚴(yán)、

福祉和防止損害為導(dǎo)向，并立足科技倫理”的要求；明確尊重、保護(hù)

和促進(jìn)人的權(quán)利、基本自由、人的尊嚴(yán)，環(huán)境和生態(tài)系統(tǒng)發(fā)展，確保

多樣性和包容性，生活在和平、公正的互聯(lián)網(wǎng)社會(huì)中，4項(xiàng)人工智能

價(jià)值觀；確立10項(xiàng)人工智能原則；并提出人工智能倫理治理的11項(xiàng)

政策建議。同時(shí)，ISO、IEC、IEEE、ITU等國(guó)際標(biāo)準(zhǔn)化組織積極推動(dòng)

以人工智能技術(shù)為代表的科技倫理標(biāo)準(zhǔn)研制，如2022年8月ISO/IEC

發(fā)布人工智能倫理和社會(huì)問題概述標(biāo)準(zhǔn)（ISO/IECTR24368）。在人

工智能具體應(yīng)用領(lǐng)域的倫理規(guī)范層面，世界衛(wèi)生組織于2021年6月

發(fā)布《衛(wèi)生健康領(lǐng)域人工智能倫理與治理》指南，分析在衛(wèi)生健康領(lǐng)

12

人工智能倫理治理研究報(bào)告（2023年）

域使用人工智能的機(jī)遇和挑戰(zhàn)，并提出在醫(yī)療領(lǐng)域使用人工智能的倫

理政策和確保人工智能為所有國(guó)家的公共利益服務(wù)的6項(xiàng)原則。

目前，人工智能倫理已成為全球人工智能治理討論的重要議題，

以人為本、公平公正等人工智能倫理原則在國(guó)際合作機(jī)制中不斷深化。

在聯(lián)合國(guó)層面，2023年5月25日，聯(lián)合國(guó)發(fā)布《我們的共同議程》

政策簡(jiǎn)報(bào)5“全球數(shù)字契約—為所有人創(chuàng)造開放、自由、安全的數(shù)字

未來(lái)”。2023年10月26日，聯(lián)合國(guó)高級(jí)別人工智能咨詢機(jī)構(gòu)成立，

就人工智能可能產(chǎn)生的偏見歧視等關(guān)鍵問題開展討論。12月，該咨詢

機(jī)構(gòu)發(fā)布臨時(shí)報(bào)告《以人為本的人工智能治理》，將包容性、公共利

益等倫理原則作為設(shè)立人工智能國(guó)際治理機(jī)構(gòu)的指導(dǎo)原則。在區(qū)域合

作層面，2023年8月，金磚國(guó)家領(lǐng)導(dǎo)人第十五次會(huì)晤上同意盡快啟

動(dòng)人工智能研究組工作，推動(dòng)有廣泛共識(shí)的治理框架和標(biāo)準(zhǔn)規(guī)范，不

斷提升人工智能技術(shù)的安全性、可靠性、可控性、公平性。2023年9

月，二十國(guó)集團(tuán)（G20）發(fā)布《G20新德里領(lǐng)導(dǎo)人宣言》，提出“負(fù)

責(zé)任地使用人工智能以造福全人類”。

（二）域外國(guó)家和地區(qū)人工智能倫理治理機(jī)制

為協(xié)調(diào)人工智能技術(shù)發(fā)展與風(fēng)險(xiǎn)防范，各國(guó)政府制定符合其人工

智能治理理念、與技術(shù)發(fā)展情況相適應(yīng)的宏觀規(guī)劃，并通過頒布人工

智能倫理原則、指南、工具包等指導(dǎo)行業(yè)實(shí)踐。其中，既有以美國(guó)為

代表的以面向市場(chǎng)和創(chuàng)新為導(dǎo)向的監(jiān)管模式，也有以歐盟為代表的積

極介入模式。本部分主要介紹美國(guó)、歐盟、德國(guó)、新加坡在人工智能

倫理治理領(lǐng)域的實(shí)踐。

13

人工智能倫理治理研究報(bào)告（2023年）

1.美國(guó)發(fā)展以鼓勵(lì)創(chuàng)新為基礎(chǔ)的可信賴人工智能

美國(guó)長(zhǎng)期將人工智能視作其保持全球競(jìng)爭(zhēng)優(yōu)勢(shì)的重要技術(shù)，并在

近年來(lái)關(guān)注可信賴人工智能建設(shè)，在聯(lián)邦政府層面規(guī)劃和具體事務(wù)層

面制定相應(yīng)政策，但目前仍然缺乏以人工智能為規(guī)制對(duì)象的具有約束

力的法律規(guī)范。在行政規(guī)劃層面，2023年10月，美國(guó)總統(tǒng)拜登發(fā)布

《關(guān)于安全、可靠、可信賴地開發(fā)和使用人工智能》行政令，明確進(jìn)

行負(fù)責(zé)任人工智能技術(shù)開發(fā)，提出安全可靠、保障權(quán)利、隱私保護(hù)等

倫理要求，并對(duì)各行政部門如何促進(jìn)負(fù)責(zé)任人工智能技術(shù)開發(fā)和應(yīng)用

作出安排。此前，2022年5月，拜登政府成立國(guó)家人工智能咨詢委員

會(huì)，圍繞人工智能安全、防止和減少偏見等開展工作，推動(dòng)負(fù)責(zé)任且

具有包容性的人工智能技術(shù)發(fā)展。白宮科技政策辦公室于2020年提

出《人工智能應(yīng)用的監(jiān)管原則》，對(duì)政府機(jī)構(gòu)是否監(jiān)管以及如何監(jiān)管

人工智能提出10項(xiàng)原則，并強(qiáng)調(diào)公眾參與及機(jī)構(gòu)間的協(xié)調(diào)；2022年

10月發(fā)布《人工智能權(quán)利法案藍(lán)圖》，確定人工智能的5項(xiàng)原則以指

導(dǎo)自動(dòng)化系統(tǒng)的設(shè)計(jì)部署。同時(shí)，美國(guó)政府積極鼓勵(lì)行業(yè)自律，2023

年7月和9月兩次推動(dòng)包括OpenAI、谷歌、微軟、英偉達(dá)等15家企

業(yè)就開發(fā)避免偏見歧視、保護(hù)隱私的人工智能作出承諾。在具體領(lǐng)域，

美國(guó)聯(lián)邦政府不同部門也依據(jù)主責(zé)主業(yè)發(fā)布相應(yīng)的倫理原則和治理

框架。2020年，美國(guó)情報(bào)體系發(fā)布《美國(guó)情報(bào)體系人工智能倫理原

則》，要求運(yùn)用人工智能要遵守法律、確保安全、客觀公正、透明負(fù)

責(zé)等。2023年1月，美國(guó)商務(wù)部下屬美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）

發(fā)布《人工智能風(fēng)險(xiǎn)管理框架》，細(xì)化開發(fā)部署負(fù)責(zé)任人工智能技術(shù)

14

人工智能倫理治理研究報(bào)告（2023年）

的指南。2023年12月，美國(guó)審計(jì)署發(fā)布報(bào)告，公布對(duì)聯(lián)邦23個(gè)機(jī)

構(gòu)負(fù)責(zé)任使用人工智能的情況評(píng)估。

2.歐盟通過健全監(jiān)管規(guī)制落地人工智能倫理要求

歐盟在數(shù)字時(shí)代積極探索對(duì)新技術(shù)、新業(yè)態(tài)的規(guī)制方式，著力推

動(dòng)以人工智能為對(duì)象的立法，將人工智能倫理原則轉(zhuǎn)化為規(guī)范要求，

努力在人工智能治理方面保持全球影響力。在倫理框架方面，2019年

4月，歐盟高級(jí)專家組發(fā)布《可信人工智能倫理指南》，提出可信人

工智能的概念和7項(xiàng)關(guān)鍵要求，包括保證人類監(jiān)督、魯棒性和安全性、

隱私和數(shù)據(jù)治理、透明度、多樣性、社會(huì)和環(huán)境福利、問責(zé)。在治理

落地方面，2023年12月，歐盟委員會(huì)、歐洲理事會(huì)、歐洲議會(huì)達(dá)成

共識(shí)，就《人工智能法案》達(dá)成臨時(shí)協(xié)議，提出基于風(fēng)險(xiǎn)的監(jiān)管方式，

將人工智能系統(tǒng)帶來(lái)的挑戰(zhàn)分為不可接受的風(fēng)險(xiǎn)、高風(fēng)險(xiǎn)、有限風(fēng)險(xiǎn)、

基本無(wú)風(fēng)險(xiǎn)四個(gè)級(jí)別，并形成對(duì)應(yīng)的責(zé)任和監(jiān)管機(jī)制。同時(shí)，針對(duì)通

用人工智能提出具體義務(wù)要求，并強(qiáng)調(diào)以人為本、保證透明度等倫理

價(jià)值要求。

3.德國(guó)關(guān)注人工智能具體應(yīng)用領(lǐng)域倫理風(fēng)險(xiǎn)規(guī)制

德國(guó)聯(lián)邦政府制定國(guó)家人工智能戰(zhàn)略，發(fā)展德國(guó)在智能制造領(lǐng)域

的優(yōu)勢(shì)，并積極推進(jìn)人工智能算法、數(shù)據(jù)以及自動(dòng)駕駛等領(lǐng)域倫理規(guī)

制，強(qiáng)調(diào)以人為本，發(fā)展負(fù)責(zé)任、以公共利益為導(dǎo)向的人工智能。在

倫理治理機(jī)制方面，2018年9月，德國(guó)聯(lián)邦政府成立數(shù)據(jù)道德委員

會(huì)，從政府層面制定數(shù)字社會(huì)的倫理道德標(biāo)準(zhǔn)和建議。2023年11月

7日，德國(guó)聯(lián)邦教育和研究部更新人工智能行動(dòng)計(jì)劃，提出采用適當(dāng)、

15

人工智能倫理治理研究報(bào)告（2023年）

靈活的人工智能治理，推動(dòng)值得信賴的人工智能發(fā)揮作用。在治理落

地方面，從數(shù)據(jù)、算法、自動(dòng)駕駛應(yīng)用領(lǐng)域進(jìn)行分類規(guī)范。在數(shù)據(jù)領(lǐng)

域，德國(guó)數(shù)據(jù)倫理委員會(huì)強(qiáng)調(diào)以人為本的價(jià)值導(dǎo)向，提出數(shù)據(jù)權(quán)利和

數(shù)據(jù)義務(wù)的認(rèn)定需要考量不同數(shù)據(jù)主體的權(quán)利、對(duì)數(shù)據(jù)的貢獻(xiàn)、公共

利益等。在算法領(lǐng)域，德國(guó)數(shù)據(jù)倫理委員會(huì)將與人類決策相關(guān)的人工

智能系統(tǒng)劃分為基于算法的決策、算法驅(qū)動(dòng)的決策和算法決定的決策

三種類型，并提出人工智能算法風(fēng)險(xiǎn)導(dǎo)向型“監(jiān)管金字塔”，將人工

智能算法風(fēng)險(xiǎn)進(jìn)行1-5級(jí)評(píng)級(jí)，對(duì)于評(píng)級(jí)為無(wú)潛在風(fēng)險(xiǎn)的人工智能算

法不采取特殊監(jiān)管措施，并逐級(jí)增加規(guī)范要求，包括監(jiān)管審查、附加

批準(zhǔn)條件、動(dòng)態(tài)監(jiān)管以及完全禁止等措施。在自動(dòng)駕駛領(lǐng)域，德國(guó)聯(lián)

邦交通與數(shù)字基礎(chǔ)設(shè)施部推出全球首套《自動(dòng)駕駛倫理準(zhǔn)則》，提出

了自動(dòng)駕駛汽車的20項(xiàng)道德倫理準(zhǔn)則，規(guī)定當(dāng)自動(dòng)駕駛車輛對(duì)于事

故無(wú)可避免時(shí)，不得存在任何基于年齡、性別、種族、身體屬性或任

何其他區(qū)別因素的歧視判斷，認(rèn)為兩難決策不能被標(biāo)準(zhǔn)化和編程化。

4.新加坡積極探索人工智能倫理治理技術(shù)工具

新加坡政府通過發(fā)布“智慧國(guó)家”“數(shù)字政府藍(lán)圖”等國(guó)家政策

從多維度提升人工智能發(fā)展與應(yīng)用，著力推動(dòng)社會(huì)數(shù)字轉(zhuǎn)型有利于人

的發(fā)展。在政府規(guī)劃方面，自發(fā)布“智慧國(guó)家”政策以來(lái)，新加坡已

有超過20個(gè)行政機(jī)構(gòu)提交人工智能應(yīng)用規(guī)劃。2023年12月，新加

坡發(fā)布國(guó)家人工智能戰(zhàn)略2.0，提出人工智能服務(wù)公共利益的愿景，

再次強(qiáng)調(diào)建立一個(gè)可信賴和負(fù)責(zé)任的人工智能生態(tài)。在工具方面，

2022年5月，新加坡通信媒體發(fā)展局和個(gè)人數(shù)據(jù)保護(hù)委員會(huì)發(fā)布《人

16

人工智能倫理治理研究報(bào)告（2023年）

工智能治理評(píng)估框架和工具包》，成為全球首個(gè)官方的人工智能檢測(cè)

工具。該工具結(jié)合技術(shù)測(cè)試和流程檢查對(duì)人工智能技術(shù)進(jìn)行驗(yàn)證，并

為開發(fā)者、管理層和業(yè)務(wù)伙伴生成驗(yàn)證報(bào)告，涵蓋人工智能系統(tǒng)的透

明度、安全性及可歸責(zé)性等人工智能倫理要求，并積極吸收不同機(jī)構(gòu)

的測(cè)試建議，完善評(píng)估工具。2023年6月，新加坡成立由政府、企業(yè)

等組成的AIVerify基金會(huì)，以打造人工智能治理開源社區(qū)，為人工

智能測(cè)試框架、代碼庫(kù)、標(biāo)準(zhǔn)和最佳實(shí)踐的使用和發(fā)展提供支持。

（三）我國(guó)人工智能倫理治理實(shí)踐

1.確立科技倫理治理體制機(jī)制

科技倫理是開展科學(xué)研究、技術(shù)開發(fā)等科技活動(dòng)需要遵循的價(jià)

值理念和行為規(guī)范，是促進(jìn)科技事業(yè)健康發(fā)展的重要保障。我國(guó)將

科技倫理規(guī)范作為促進(jìn)技術(shù)創(chuàng)新、推動(dòng)社會(huì)經(jīng)濟(jì)高質(zhì)量發(fā)展的重要

保障措施，并逐步完善科技倫理治理頂層設(shè)計(jì)。2022年1月1日起

施行的《中華人民共和國(guó)科學(xué)技術(shù)進(jìn)步法》第一百零三條從法律層

面確認(rèn)“國(guó)家建立科技倫理委員會(huì)，完善科技倫理制度規(guī)范”并明

確禁止違背科技倫理的科學(xué)技術(shù)研究開發(fā)和應(yīng)用活動(dòng)，在第一百一

十二條明確對(duì)違背倫理的活動(dòng)需要承擔(dān)的法律責(zé)任。2022年3月，

中共中央辦公廳國(guó)務(wù)院辦公廳印發(fā)《關(guān)于加強(qiáng)科技倫理治理的意

見》，提出強(qiáng)化底線思維和風(fēng)險(xiǎn)意識(shí)，明確科技倫理原則和科技倫

理治理要求，提出加強(qiáng)科技倫理治理五項(xiàng)措施。2023年10月8

日，科技部、教育部、工業(yè)和信息化部等十部門聯(lián)合發(fā)布《科技倫

理審查辦法（試行）》，對(duì)科技倫理審查的基本程序、標(biāo)準(zhǔn)、條件

17

人工智能倫理治理研究報(bào)告（2023年）

等提出要求，規(guī)范科學(xué)研究、技術(shù)開發(fā)等科技活動(dòng)的科技倫理審查

工作，要求從事人工智能等科技活動(dòng)的單位設(shè)立科技倫理（審查）

委員會(huì)?！犊萍紓惱韺彶檗k法（試行）》將對(duì)人類主觀行為、心理

情緒和生命健康等具有較強(qiáng)影響的人機(jī)融合系統(tǒng)的研發(fā)，具有輿論

社會(huì)動(dòng)員能力和社會(huì)意識(shí)引導(dǎo)能力的算法模型、應(yīng)用程序及系統(tǒng)的

研發(fā)，面向存在安全、人身健康風(fēng)險(xiǎn)等場(chǎng)景的具有高度自主能力的

自動(dòng)化決策系統(tǒng)的研發(fā)等7項(xiàng)科技活動(dòng)列入需要開展倫理審查復(fù)核

的清單。

2.細(xì)化人工智能倫理要求

我國(guó)人工智能倫理治理歷經(jīng)發(fā)展規(guī)劃的認(rèn)可、倫理原則的確立和

倫理規(guī)范的細(xì)化。2017年國(guó)務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》，

指出人工智能發(fā)展的不確定性帶來(lái)挑戰(zhàn)，影響涵蓋就業(yè)、法律與倫理、

個(gè)人隱私、國(guó)際關(guān)系等，必須高度重視人工智能可能帶來(lái)的挑戰(zhàn)，提

出到2025年初步建立人工智能倫理規(guī)范，并結(jié)合法律法規(guī)和政策體

系，共同促進(jìn)人工智能安全評(píng)估和管控能力，提出建立倫理道德多層

次判斷結(jié)構(gòu)、人機(jī)協(xié)作的倫理框架、人工智能產(chǎn)品研發(fā)人員道德規(guī)范

和行為守則、人工智能潛在危害與收益的評(píng)估、復(fù)雜場(chǎng)景下突發(fā)事件

解決方案等，并重視國(guó)際合作的重要性。2019年2月，國(guó)家新一代人

工智能治理專業(yè)委員會(huì)成立，成員涵蓋高校、研究院所和企業(yè)專家，

著力推動(dòng)產(chǎn)學(xué)研在人工智能治理方面的合作。2019年6月，國(guó)家新

一代人工智能治理專業(yè)委員會(huì)發(fā)布《新一代人工智能治理原則—發(fā)展

負(fù)責(zé)任的人工智能》，提出了人工智能治理的框架和行動(dòng)指南，提出

18

人工智能倫理治理研究報(bào)告（2023年）

人工智能發(fā)展相關(guān)各方需要遵循和諧友好、公平公正、包容共享、尊

重隱私、安全可控、共擔(dān)責(zé)任、開放協(xié)作、敏捷協(xié)作的原則。2021年

9月，國(guó)家新一代人工智能治理專業(yè)委員會(huì)發(fā)布《新一代人工智能倫

理規(guī)范》，提出人工智能活動(dòng)的倫理規(guī)范包含管理規(guī)范、研發(fā)規(guī)范、

供應(yīng)規(guī)范、使用規(guī)范，細(xì)化18項(xiàng)具體倫理要求。

同時(shí)，行業(yè)主管部門推動(dòng)人工智能應(yīng)用領(lǐng)域的倫理規(guī)范指引建設(shè)，

發(fā)布實(shí)施意見、牽頭制定行業(yè)標(biāo)準(zhǔn)等，明確具體領(lǐng)域倫理標(biāo)準(zhǔn)和細(xì)化

措施，促進(jìn)行業(yè)人工智能治理體系的完善。2022年10月，中國(guó)人民

銀行發(fā)布《金融領(lǐng)域科技倫理指引》行業(yè)標(biāo)準(zhǔn)，提出在金融領(lǐng)域開展

科技活動(dòng)需要遵循守正創(chuàng)新、數(shù)據(jù)安全、包容普惠、公開透明、公平

競(jìng)爭(zhēng)、風(fēng)險(xiǎn)防控、綠色低碳等7個(gè)方面的價(jià)值理念和行為規(guī)范。2023

年4月，工業(yè)和信息化部成立工業(yè)和信息化部科技倫理委員會(huì)、工業(yè)

和信息化領(lǐng)域科技倫理專家委員會(huì)，關(guān)注人工智能等重點(diǎn)領(lǐng)域的科技

倫理治理，提出從加強(qiáng)科技倫理審查和監(jiān)管，組織制定重點(diǎn)領(lǐng)域科技

倫理審查規(guī)范和標(biāo)準(zhǔn)，開展重點(diǎn)領(lǐng)域科技倫理敏捷治理，強(qiáng)化科技倫

理管理培訓(xùn)和宣傳教育，加強(qiáng)人才隊(duì)伍建設(shè)等方面提升倫理治理能力。

3.行業(yè)積極探索人工智能倫理治理落地措施

人工智能產(chǎn)業(yè)主體作為人工智能倫理管理責(zé)任主體，承擔(dān)著人工

智能向善發(fā)展的重要責(zé)任。在行業(yè)層面，行業(yè)組織積極推動(dòng)人工智能

倫理原則落地，包括中國(guó)人工智能產(chǎn)業(yè)聯(lián)盟等開展人工智能倫理技術(shù)

和管理標(biāo)準(zhǔn)制定、監(jiān)測(cè)認(rèn)證、典型案例分析匯編等，關(guān)注實(shí)現(xiàn)人工智

能系統(tǒng)可解釋性、隱私保護(hù)、公平等技術(shù)實(shí)施路徑，促進(jìn)人工智能應(yīng)

19

人工智能倫理治理研究報(bào)告（2023年）

用相關(guān)行業(yè)倫理規(guī)范的提升。在企業(yè)層面，多家企業(yè)積極落實(shí)人工智

能倫理管理要求，包括建立科技倫理委員會(huì)、人工智能倫理委員會(huì)等

內(nèi)部機(jī)構(gòu)；加強(qiáng)企業(yè)人工智能科技倫理管理機(jī)制的完善；加強(qiáng)外部多

學(xué)科合作，通過引入法學(xué)、哲學(xué)、管理學(xué)、人工智能技術(shù)等多個(gè)方面

的外部專家，提升人工智能倫理治理的外部監(jiān)督；定期發(fā)布企業(yè)人工

智能倫理治理情況與研究，增強(qiáng)公眾溝通；積極探索人工智能倫理問

題技術(shù)解決方案，通過技術(shù)創(chuàng)新和技術(shù)能力升級(jí)提升個(gè)人隱私的保護(hù)

力度、算法可解釋性、模型可靠性等。

4.積極參與人工智能倫理治理國(guó)際合作

近年來(lái)，我國(guó)不僅在人工智能技術(shù)研發(fā)應(yīng)用領(lǐng)域加強(qiáng)技術(shù)創(chuàng)新合

作，也積極參與全球人工智能倫理治理。2023年8月，在金磚國(guó)家領(lǐng)

導(dǎo)人第十五次會(huì)晤上，金磚國(guó)家已同意盡快啟動(dòng)人工智能研究組工作，

拓展人工智能合作，形成具有廣泛共識(shí)的人工智能治理框架和標(biāo)準(zhǔn)規(guī)

范，提升人工智能技術(shù)的安全性、可靠性、可控性、公平性。2023年

10月，我國(guó)發(fā)布《全球人工智能治理倡議》，圍繞人工智能發(fā)展、安

全、治理三方面系統(tǒng)闡述了人工智能治理中國(guó)方案，提出堅(jiān)持倫理先

行的原則，提出建立并完善人工智能倫理準(zhǔn)則、規(guī)范及問責(zé)機(jī)制。同

時(shí)，我國(guó)專家也積極參與聯(lián)合國(guó)、世界衛(wèi)生組織等國(guó)際機(jī)構(gòu)的人工智

能倫理規(guī)則構(gòu)建。2023年10月，我國(guó)兩位專家入選聯(lián)合國(guó)高級(jí)別人

工智能治理機(jī)構(gòu)，積極參與聯(lián)合國(guó)層面的人工智能治理討論，提出全

球人工智能治理建議。

20

人工智能倫理治理研究報(bào)告（2023年）

四、人工智能倫理治理展望

（一）協(xié)調(diào)人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展與倫理治理

人工智能倫理治理需要關(guān)注產(chǎn)業(yè)科技創(chuàng)新活動(dòng)與倫理風(fēng)險(xiǎn)防范

協(xié)調(diào)發(fā)展，通過倫理治理對(duì)人工智能可能存在的風(fēng)險(xiǎn)進(jìn)行全生命周期

的指導(dǎo)，促進(jìn)人工智能朝著有利于人類發(fā)展、尊重和保障各群體權(quán)益

的方向發(fā)展。重視人工智能技術(shù)創(chuàng)新。堅(jiān)持促進(jìn)創(chuàng)新與防范風(fēng)險(xiǎn)相統(tǒng)

一，鼓勵(lì)人工智能基礎(chǔ)技術(shù)創(chuàng)新和突破，發(fā)展人工智能芯片、數(shù)據(jù)、

算法等基礎(chǔ)核心技術(shù)，加強(qiáng)人工智能治理產(chǎn)品開發(fā)，以人工智能技術(shù)

防范人工智能風(fēng)險(xiǎn)。探索建立敏捷的人工智能倫理治理機(jī)制。建設(shè)快

速響應(yīng)、創(chuàng)新主體與相關(guān)政府部門有效溝通的治理合作，增強(qiáng)科技倫

理治理的有效性和科學(xué)性，推動(dòng)產(chǎn)業(yè)創(chuàng)新與倫理風(fēng)險(xiǎn)防范相協(xié)調(diào)。

（二）完善人工智能倫理治理舉措

1.健全多學(xué)科多主體合作的治理體系

形成多學(xué)科共建的人工智能治理合力。人工智能倫理治理是多學(xué)

科合作的治理實(shí)踐，要推動(dòng)技術(shù)發(fā)展、政策引導(dǎo)、管理規(guī)范、倫理研

究、法律規(guī)制等一系列專業(yè)知識(shí)的交流配合，實(shí)現(xiàn)人工智能倫理治理

落地。建立多主體參與的人工智能治理生態(tài)。人工智能倫理治理是監(jiān)

管主體、創(chuàng)新主體、公眾和其他利益相關(guān)協(xié)同合作的多元治理。人工

智能倫理治理需要監(jiān)管主體完善審查監(jiān)管規(guī)范，制定可預(yù)期的人工智

能倫理研發(fā)、應(yīng)用倫理規(guī)范。人工智能創(chuàng)新主體需要履行科技倫理管

理主體責(zé)任，建立科技倫理日常管理機(jī)制，及時(shí)化解新技術(shù)帶來(lái)的風(fēng)

險(xiǎn)，將人工智能倫理風(fēng)險(xiǎn)在源頭予以防范。公眾可以提升倫理素養(yǎng)，

21

人工智能倫理治理研究報(bào)告（2023年）

對(duì)可能影響個(gè)人思維、生活的人工智能技術(shù)應(yīng)用進(jìn)行了解，并反饋發(fā)

現(xiàn)的人工智能倫理問題。

2.建立分類分級(jí)倫理治理機(jī)制

根據(jù)人工智能倫理治理原則和目標(biāo)識(shí)別人工智能應(yīng)用的倫理風(fēng)

險(xiǎn)。以增進(jìn)人類福祉、尊重生命權(quán)利、公平公正、公開透明、控制風(fēng)

險(xiǎn)等人工智能倫理原則要求為基礎(chǔ)，對(duì)人工智能從技術(shù)研發(fā)到部署應(yīng)

用進(jìn)行全生命的風(fēng)險(xiǎn)識(shí)別，并根據(jù)技術(shù)和產(chǎn)品發(fā)展及時(shí)進(jìn)行更新調(diào)整。

根據(jù)人工智能倫理風(fēng)險(xiǎn)大小和影響范圍確定責(zé)任義務(wù)和監(jiān)管規(guī)則。對(duì)

于基本不具有倫理影響的人工智能技術(shù)應(yīng)用，簡(jiǎn)化監(jiān)管程序，鼓勵(lì)技

術(shù)創(chuàng)新和發(fā)展；對(duì)于具有一定倫理影響的人工智能技術(shù)，設(shè)定倫理要

求，建立風(fēng)險(xiǎn)評(píng)估機(jī)制，明確責(zé)任；對(duì)于具有長(zhǎng)期且廣泛影響的人工

智能高風(fēng)險(xiǎn)應(yīng)用領(lǐng)域，加大監(jiān)管力度，通過多種監(jiān)管手段防范倫理風(fēng)

險(xiǎn)；對(duì)于具有不可接受倫理影響的人工智能應(yīng)用，考慮禁止部署。

3.推動(dòng)人工智能倫理治理技術(shù)化、工程化、標(biāo)準(zhǔn)化

支持人工智能倫理治理工程化和技術(shù)化。將人工智能倫理原則轉(zhuǎn)

化為工程問題，用技術(shù)工具推動(dòng)倫理原則落地，以人工智能技術(shù)應(yīng)對(duì)

人工智能風(fēng)險(xiǎn)。積極發(fā)展人工智能產(chǎn)品倫理風(fēng)險(xiǎn)評(píng)估監(jiān)測(cè)工具，推動(dòng)

應(yīng)對(duì)人工智能偏見歧視、隱私泄露、不可解釋等倫理風(fēng)險(xiǎn)的技術(shù)工具

研發(fā)。研制人工智能倫理治理有關(guān)標(biāo)準(zhǔn)。研制關(guān)于人工智能公平性、

透明性、可解釋性等技術(shù)指標(biāo)的國(guó)際標(biāo)準(zhǔn)、團(tuán)體標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)，發(fā)

揮標(biāo)準(zhǔn)引領(lǐng)性作用，形成人工智能倫理治理經(jīng)驗(yàn)示范。

22

人工智能倫理治理研究報(bào)告（2023年）

（三）提升各主體人工智能倫理風(fēng)險(xiǎn)應(yīng)對(duì)能力

符合人工智能倫理的開發(fā)和應(yīng)用實(shí)踐有賴于研發(fā)、設(shè)計(jì)、應(yīng)用人

員承擔(dān)起個(gè)人責(zé)任，也需要公眾加強(qiáng)對(duì)人工智能倫理風(fēng)險(xiǎn)的認(rèn)知及負(fù)

責(zé)任使用。支持高校開設(shè)科技倫理課程引導(dǎo)學(xué)生和科技工作者提升人

工智能倫理素養(yǎng)。通過必修課、選修課等課程設(shè)置提升學(xué)生科技倫理

素養(yǎng)，特別是加強(qiáng)人工智能相關(guān)專業(yè)人員倫理知識(shí)，并為倫理學(xué)、法

學(xué)等專業(yè)學(xué)生提供人工智能通識(shí)課程，形成人工智能倫理學(xué)習(xí)研討氛

圍。要求企業(yè)持續(xù)推進(jìn)員工人工智能倫理培訓(xùn)。將開展面向員工的科

技倫理培訓(xùn)作為企業(yè)落實(shí)科技倫理管理主體責(zé)任的必要環(huán)節(jié)，特別關(guān)

注技術(shù)研發(fā)、產(chǎn)品開發(fā)等員工培訓(xùn)，加強(qiáng)入職培訓(xùn)和日常的倫理宣傳。

引導(dǎo)行業(yè)加強(qiáng)科技倫理自律與合作。推動(dòng)聯(lián)盟等行業(yè)平臺(tái)促進(jìn)人工智

能倫理治理合作，引導(dǎo)制定行業(yè)自律舉措，形成人工智能行業(yè)、典型

應(yīng)用領(lǐng)域等的倫理實(shí)踐指南。鼓勵(lì)企業(yè)將科技倫理經(jīng)驗(yàn)和工具向產(chǎn)業(yè)

鏈上下游企業(yè)、中小企業(yè)進(jìn)行分享，提升行業(yè)倫理管理能力。支持科

技類社團(tuán)和行業(yè)平臺(tái)開展政策解讀、座談交流等，加強(qiáng)人工智能等重

點(diǎn)領(lǐng)域科技倫理教育宣傳培訓(xùn)。加強(qiáng)面向社會(huì)公眾的科技倫理教育。

引導(dǎo)社會(huì)公眾認(rèn)識(shí)科技風(fēng)險(xiǎn)，倡導(dǎo)合理正確使用生成式人工智能等技

術(shù)工具。通過小說(shuō)、影視劇、短視頻等多種形式普及科技倫理知識(shí)，

推動(dòng)科技倫理問題討論，形成全社會(huì)尊重科技倫理的氛圍。

（四）加強(qiáng)人工智能倫理治理國(guó)際交流合作

人工智能技術(shù)具有全球性、時(shí)代性，人工智能倫理治理是全球科

技治理的重要組成部分，也已成為復(fù)雜國(guó)際競(jìng)爭(zhēng)環(huán)境中各國(guó)合作的重

23

人工智能倫理治理研究報(bào)告（2023年）

要切入點(diǎn)。積極參與全球科技倫理治理雙多邊合作。積極參與聯(lián)合國(guó)

等多邊機(jī)構(gòu)的人工智能倫理治理交流合作，推動(dòng)科技倫理治理國(guó)際共

識(shí)、國(guó)際標(biāo)準(zhǔn)的研討制定。加強(qiáng)區(qū)域性科技倫理治理合作，加強(qiáng)與有

關(guān)國(guó)家的科技倫理治理交流，深化科技倫理治理經(jīng)驗(yàn)分享與合作。鼓

勵(lì)國(guó)內(nèi)企業(yè)和專家學(xué)者參與國(guó)際人工智能倫理治理交流合作。鼓勵(lì)產(chǎn)

業(yè)界積極分享國(guó)內(nèi)人工智能倫理治理實(shí)踐，推動(dòng)學(xué)術(shù)界與研究機(jī)構(gòu)加

強(qiáng)與域外機(jī)構(gòu)對(duì)人工智能倫理治理議題的深入研討，形成全球人工智

能倫理治理合作生態(tài)。

24

中國(guó)信息通信研究院知識(shí)產(chǎn)權(quán)與創(chuàng)新發(fā)展中心

地址：北京市海淀區(qū)花園北路52號(hào)

郵編：100191

電話/p>

傳真/p>

網(wǎng)址：

目錄

一、人工智能倫理治理概述............................................1

（一）人工智能倫理的概念與特點(diǎn)....................................1

（二）人工智能倫理治理的必要性....................................2

二、人工智能倫理治理關(guān)切............................................5

（一）人工智能倫理挑戰(zhàn)............................................5

（二）典型應(yīng)用場(chǎng)景的人工智能倫理風(fēng)險(xiǎn)..............................7

三、人工智能倫理治理實(shí)踐...........................................12

（一）國(guó)際組織人工智能倫理治理方案...............................12

（二）域外國(guó)家和地區(qū)人工智能倫理治理機(jī)制.........................13

（三）我國(guó)人工智能倫理治理實(shí)踐...................................17

四、人工智能倫理治理展望...........................................21

（一）協(xié)調(diào)人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展與倫理治理.........................21

（二）完善人工智能倫理治理舉措...................................21

（三）提升各主體人工智能倫理風(fēng)險(xiǎn)應(yīng)對(duì)能力.........................23

（四）加強(qiáng)人工智能倫理治理國(guó)際交流合作...........................23