啟明星辰啟明星辰|大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書啟明星辰信息技術(shù)集團(tuán)股份有限公司2025年2月版權(quán)申明版權(quán)申明北京啟明星辰信息安全技術(shù)有限公司版權(quán)所有，并保留對(duì)本文檔及本聲明的最終解釋權(quán)和修改權(quán)。本文檔中出現(xiàn)的任何文字?jǐn)⑹?、文檔格式、插圖、照片、方法、過程等內(nèi)容，除另有特別注明外，其著作權(quán)或其他相關(guān)權(quán)利均屬于北京啟明星辰信息安全技術(shù)有限公司。未經(jīng)北京啟明星辰信息安全技術(shù)有限公司書面同意，任何人不得以任何方式或形式對(duì)本手冊(cè)內(nèi)的任何部分進(jìn)行復(fù)制、摘錄、備份、修改、傳播、翻譯成其它語言、將其全部或部分用于商業(yè)用途。免責(zé)申明免責(zé)申明本文檔依據(jù)現(xiàn)有信息制作，其內(nèi)容如有更改，恕不另行通知。北京啟明星辰信息安全技術(shù)有限公司在編寫該文檔的時(shí)候已盡最大努力保證其內(nèi)容準(zhǔn)確可靠，但北京啟明星辰信息安全技術(shù)有限公司不對(duì)本文檔中的遺漏、不準(zhǔn)確、或錯(cuò)誤導(dǎo)致的損失和損害承擔(dān)責(zé)任。 如有任何寶貴意見，請(qǐng)反饋：信箱：北京市海淀區(qū)東北旺西路8號(hào)中關(guān)村軟件園21號(hào)樓啟明星辰大廈郵編：100193電話真可以訪問啟明星辰網(wǎng)站：獲得最新技術(shù)和產(chǎn)品信息。大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0目錄1公司簡(jiǎn)介 42大模型的發(fā)展與風(fēng)險(xiǎn) 62.1新質(zhì)生產(chǎn)力“大模型” 62.2大模型應(yīng)用中安全挑戰(zhàn) 72.2.1身份與訪問控制的安全挑戰(zhàn) 72.2.2數(shù)據(jù)安全挑戰(zhàn) 93身份與訪問管理系統(tǒng)(IAM) 4AI就緒的大模型身份與訪問管理 4.1可信身份治理 4.2可信權(quán)限管理 4.3可信數(shù)據(jù)管理 4.4可信行為審計(jì) 5應(yīng)用場(chǎng)景 5.1大模型應(yīng)用場(chǎng)景數(shù)據(jù)流 215.2場(chǎng)景一：用戶訪問大模型應(yīng)用場(chǎng)景 21 26 286發(fā)展趨勢(shì)展望 大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0啟明星辰公司成立于1996年，由留美博士嚴(yán)望佳女士創(chuàng)建，是國(guó)內(nèi)最具實(shí)力的、擁有2010年6月23日，啟明星辰在深交所中小板正式掛牌上市。啟明星辰擁有完善的專業(yè)安全產(chǎn)品線，橫跨防火墻/UTM、入侵檢測(cè)管理、網(wǎng)絡(luò)審計(jì)、長(zhǎng)期以來，啟明星辰公司得到了黨和國(guó)家領(lǐng)導(dǎo)人的關(guān)懷與鼓勵(lì)。2000年1月，江澤民、李嵐清、曾慶紅等黨和國(guó)家領(lǐng)導(dǎo)人親切視察啟明星辰公司；2003年1月，胡錦濤總書記親切接見了啟明星辰公司CEO嚴(yán)望佳博士。件產(chǎn)業(yè)優(yōu)秀企業(yè)，中國(guó)電子政務(wù)IT100強(qiáng)等榮譽(yù)，及擁有最高級(jí)別的涉及國(guó)家秘密的計(jì)算示范工程，國(guó)家科技部863計(jì)劃、國(guó)家科技支撐計(jì)劃等國(guó)家級(jí)科研項(xiàng)目近百項(xiàng)。創(chuàng)造了百大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0余項(xiàng)專利和軟件著作權(quán)，參與制訂國(guó)家及行業(yè)網(wǎng)絡(luò)安全標(biāo)準(zhǔn)，填補(bǔ)了我國(guó)信息安全科研領(lǐng)域的多項(xiàng)空白。作為信息安全行業(yè)的領(lǐng)軍企業(yè)，啟明星辰以用戶需求為根本動(dòng)力，研究開發(fā)了完善的專業(yè)安全產(chǎn)品線。通過不斷耕耘，已經(jīng)成為在政府、電信、金融、能源、交通、軍隊(duì)、軍工、制造等國(guó)內(nèi)高端企業(yè)級(jí)客戶的首選品牌：?jiǎn)⒚餍浅皆谡蛙婈?duì)擁有95%的市場(chǎng)占有率，為世界五百?gòu)?qiáng)中80%的中國(guó)企業(yè)客戶提供安全產(chǎn)品及服務(wù)；在金融領(lǐng)域，啟明星辰對(duì)政策性銀行、國(guó)有控股商業(yè)銀行、全國(guó)性股份制商業(yè)銀行實(shí)現(xiàn)90%的覆蓋率。在電信領(lǐng)域，啟明星辰為中國(guó)移動(dòng)、中國(guó)電信、中國(guó)聯(lián)通三大運(yùn)營(yíng)商提供安全產(chǎn)品、安全服務(wù)和解決方案。作為北京奧組委獨(dú)家中標(biāo)的核心信息安全產(chǎn)品、服務(wù)及解決方案提供商，奧組委唯一信息安全供應(yīng)商，啟明星辰受到獨(dú)家官方授權(quán)，全面負(fù)責(zé)奧運(yùn)會(huì)主體網(wǎng)絡(luò)系統(tǒng)的安全保障，得到了國(guó)家主管部門的大力嘉獎(jiǎng)。此外，啟明星辰還為上海世博會(huì)、廣州亞運(yùn)會(huì)等多項(xiàng)世界級(jí)大型活動(dòng)提供全方位信息安全保障。在公司快速穩(wěn)定發(fā)展的同時(shí)，啟明星辰公司堅(jiān)持以愛心回饋社會(huì)，截止目前，已累計(jì)資助貧困學(xué)子、受災(zāi)、貧困群眾上億元人民幣，并在江西、青海、新疆等地援建了5所希望小學(xué)。啟明星辰公司將秉承誠(chéng)信和創(chuàng)新精神，繼續(xù)致力于提供具有國(guó)際競(jìng)爭(zhēng)力的自主創(chuàng)新的安全產(chǎn)品和最佳實(shí)踐服務(wù)，幫助客戶全面提升其IT基礎(chǔ)設(shè)施的安全性和生產(chǎn)效能，為打造和提升國(guó)際化的民族信息安全產(chǎn)業(yè)第一品牌而不懈努力。大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.02.1新質(zhì)生產(chǎn)力“大模型”再到百度文心一言、阿里通義千問、九天大模型、●準(zhǔn)備期(2022年11月)2022年11月，OpenAI發(fā)布ChatGPT,其強(qiáng)大的自然語言處理能力震撼全球，開啟●成長(zhǎng)期(2023年)(1)國(guó)外：OpenAl持續(xù)優(yōu)化ChatGPT,并拓展其應(yīng)用領(lǐng)域。谷歌、微軟等科技巨頭(2)國(guó)內(nèi)：百度推出文心一言，整合自身技術(shù)優(yōu)勢(shì)；阿里發(fā)布通義千問，立●爆發(fā)期(2024年)(1)國(guó)外：OpenAl、谷歌等公司不斷升級(jí)大模型，性能顯著提升。開源大模型社區(qū)(2)國(guó)內(nèi)：2024年5月24日，在中國(guó)移動(dòng)人工智能生態(tài)大會(huì)上，中國(guó)移動(dòng)正式發(fā)布大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0●大規(guī)模應(yīng)用期(2025年1月-)(1)國(guó)外：大模型深入醫(yī)療、金融、教育等多行業(yè)，助力疾病診斷、風(fēng)2.2大模型應(yīng)用中安全挑戰(zhàn)根據(jù)埃森哲的《2025年技術(shù)愿景》調(diào)查，78%的高管同意在未來必須為AlAgent構(gòu)建與人類同等重要的數(shù)字生態(tài)系統(tǒng)。這意味著傳統(tǒng)身份概念不斷延伸至Al領(lǐng)域，在大模型應(yīng)用中產(chǎn)生了三類身份劃分，即人類身份、AlIdentity以及非人類身份(Non-Human大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.01、人類身份安全問題：人類身份代表自然人身份實(shí)體，在大模型應(yīng)用交互2、AlIdentity安全問題：越來越多的AlAgent在大模型場(chǎng)景下應(yīng)用，AlAgent具備了從數(shù)據(jù)處理到?jīng)Q策執(zhí)行的功能。2024年12月，IT咨詢機(jī)構(gòu)kuppingerCole在發(fā)表的AlAgent應(yīng)視為具有身份的不同員工的新興范式，應(yīng)重新思考AlAgent作為員工，在大模型應(yīng)用場(chǎng)景下建立身份層，即AlIdentity,它既有管理者又有訪問者，自身具備身份屬(1)訪問繞過：攻擊者可能針對(duì)AIAgent所使用的模型進(jìn)行攻擊，如通過對(duì)抗樣本(2)訪問權(quán)限放大：與人類身份不同，Al(3)自身安全：AIAgent身份系統(tǒng)通常存儲(chǔ)大量用戶的個(gè)人信息、行為數(shù)據(jù)等。如果3、非人類身份(NHI)安全問題：非人類身份定義為企業(yè)技術(shù)內(nèi)的應(yīng)用程序、服務(wù)或機(jī)器等實(shí)體綁定的數(shù)字身份。這些包括機(jī)器人、API密鑰、服務(wù)帳號(hào)、OAuth令牌、云服務(wù)和其他允許機(jī)器或軟件進(jìn)行身份驗(yàn)證、訪問資源和在系統(tǒng)內(nèi)通信的憑據(jù)。OWASP組織2025年2月發(fā)布《十大NHI風(fēng)險(xiǎn)2025》,如下圖所示。大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0OWASPOWASP十大NHI風(fēng)險(xiǎn)2025三方NHINHI在大模型應(yīng)用中，大多數(shù)存在于大模型基礎(chǔ)設(shè)施交互過程中，NHI的身份生命周期管理薄弱，存在諸多安全風(fēng)險(xiǎn)與問題：(1)純文本/未加密憑證：大模型開發(fā)應(yīng)用時(shí)，很多NHI硬編碼在代碼庫(kù)等位置，容易被內(nèi)外部威脅者發(fā)現(xiàn)。(2)影子賬號(hào)：大模型應(yīng)用迭代快，加之生命周期流程弱、賬號(hào)使用信息不可見，許多NHI賬號(hào)不活躍，增加攻擊面。(3)缺乏賬號(hào)所有權(quán)：多數(shù)參與大模型應(yīng)用的組織中，NHI無明確所有權(quán)信息，而明確管理者對(duì)安全維護(hù)和問題補(bǔ)救很關(guān)鍵。(4)缺乏環(huán)境隔離：在許多情況下，相同NHI會(huì)在生產(chǎn)和非生產(chǎn)環(huán)境中使用，或者相同的邏輯NHI在每個(gè)環(huán)境中都有相同的密碼，從而增加了橫向移動(dòng)的風(fēng)險(xiǎn)。(5)憑證共享：大模型應(yīng)用的多程序間共享NHI,違反原則，使密碼循環(huán)等安全操作復(fù)雜，難以掌握所有依賴關(guān)系。大模型應(yīng)用在數(shù)據(jù)安全方面呈現(xiàn)如下挑戰(zhàn)：(1)用戶提示詞輸入輸出風(fēng)險(xiǎn)：用戶提示詞可能包含敏感信息，若大模型系統(tǒng)對(duì)輸入提(2)大模型API調(diào)用風(fēng)險(xiǎn)：API調(diào)用過程中，若身份認(rèn)證和授權(quán)機(jī)制存在漏洞，不法分子可能冒用合法身份調(diào)用API,獲取敏感數(shù)據(jù)或進(jìn)行惡意操作。同時(shí)，API接口若缺乏有效安全防護(hù)，易遭受攻擊，導(dǎo)致數(shù)據(jù)泄露或篡改。比如攻擊者通過漏洞獲取API調(diào)用權(quán)限，(4)數(shù)據(jù)投毒風(fēng)險(xiǎn)：在大模型訓(xùn)練階段，攻擊者故意向訓(xùn)練數(shù)據(jù)中注入惡意數(shù)據(jù)，這些(5)合規(guī)風(fēng)險(xiǎn)：隨著數(shù)據(jù)安全相關(guān)法律法規(guī)的不斷完善，大模型應(yīng)用需要滿足嚴(yán)格的合大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0身份與訪問管理(IdentityandAccessManagement,IAM)作為一種綜合性的身份安全管理框架，旨在確保數(shù)字環(huán)境中用戶身份的真實(shí)性、可靠性以及訪問權(quán)限的精確控制。它涵蓋了身份認(rèn)證、授權(quán)管理、身份生命周期管理等多個(gè)關(guān)鍵環(huán)節(jié)，通過一系列技術(shù)手段和管理策略，為企業(yè)和組織提供了安全、高效的身份管理解決方案。啟明星辰基于IAM的技術(shù)實(shí)踐，針對(duì)企業(yè)數(shù)字化要求提出通過IAM構(gòu)建“一體化全程可信數(shù)字身份底座”理念。該理念旨在邏輯上建立一張基于身份的可信網(wǎng)絡(luò)，賦予人員、設(shè)備、應(yīng)用、接口、數(shù)據(jù)等實(shí)體唯一身份標(biāo)識(shí)，實(shí)現(xiàn)實(shí)名制可信身份鑒權(quán)，基于可信身份對(duì)訪問主體進(jìn)行動(dòng)態(tài)訪問控制，推動(dòng)業(yè)務(wù)與數(shù)據(jù)安全從“單點(diǎn)可控”邁向身份、環(huán)境、訪問、數(shù)據(jù)等維度的“一體化全程可信”?；贗AM構(gòu)建的“一體化全程可信數(shù)字身份底座”總體架構(gòu)如下圖所示：創(chuàng)建身份》業(yè)務(wù)資產(chǎn)運(yùn)營(yíng)育實(shí)名號(hào)卡實(shí)名號(hào)卡短信驗(yàn)證用戶口令郵件驗(yàn)證數(shù)宇證書生物識(shí)別數(shù)宇政府企業(yè)數(shù)宇化算力網(wǎng)絡(luò)認(rèn)證策略IAM作為體系構(gòu)建的核心能力，向上支撐各類應(yīng)用場(chǎng)景提供實(shí)名可信身份，向下賦能安全訪問設(shè)備，驅(qū)動(dòng)安全控制執(zhí)行，同時(shí)聯(lián)動(dòng)可信環(huán)境能力，及時(shí)調(diào)整訪問策略?？尚怒h(huán)境基于大數(shù)據(jù)安全能力，實(shí)現(xiàn)網(wǎng)絡(luò)風(fēng)險(xiǎn)、行為風(fēng)險(xiǎn)、數(shù)據(jù)風(fēng)險(xiǎn)、業(yè)務(wù)風(fēng)險(xiǎn)、設(shè)備風(fēng)險(xiǎn)的全鏈路安全風(fēng)險(xiǎn)審計(jì)。訪問可信與數(shù)據(jù)可信作為一體兩面，將防控范圍擴(kuò)展到安全設(shè)備、系統(tǒng)資源、應(yīng)用資源、API資源等，通過“IP+身份”的綁定形成可信身份層賦能全網(wǎng)設(shè)備，用于提高互操作、可組合性和可擴(kuò)展性，使企業(yè)能夠以更少的資源實(shí)現(xiàn)更好的安全性，搭配一體化安全機(jī)制的融合協(xié)同，實(shí)現(xiàn)全程全網(wǎng)、端到端的安全保護(hù)。隨著大模型作為新質(zhì)生產(chǎn)力，在政府、企業(yè)、個(gè)人中應(yīng)用越來越深入，需要針對(duì)其身份、訪問管理、數(shù)據(jù)安全等方面的需求，建立一套基于大模型技術(shù)特點(diǎn)和業(yè)務(wù)場(chǎng)景的一體化全程可信的數(shù)字身份基座，即AI就緒的大模型身份與訪問管理。大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.04Al就緒的大模型身份與訪問管理AI就緒的大模型身份與訪問管理(以下簡(jiǎn)稱：Al-R-IAM)是為大規(guī)模人工智能模型(如DS、GPT、BERT等)的深度應(yīng)用提供身份安全、訪問控制、數(shù)據(jù)安全、模型安全的基礎(chǔ)支撐系統(tǒng)，從身份、訪問、行為、數(shù)據(jù)等維度為大模型在訓(xùn)練、部署和使用過程等多個(gè)場(chǎng)景中構(gòu)建一體化全程可信能力，構(gòu)建大模型安全從“單點(diǎn)可控”邁向“一體化全程可信”保護(hù)體系，同時(shí)為其它安全能力提供身份管理屬性支撐。外部大模型外部大模型私域大模型多域大模型智能體和工具集身份安全數(shù)據(jù)安全模型安全一體化保護(hù)用戶訪問場(chǎng)景靜動(dòng)態(tài)權(quán)限管理實(shí)名認(rèn)證AI身份治理能力躡Al就緒的大模型身份與訪問管理數(shù)據(jù)安全合規(guī)內(nèi)容上下行審計(jì)知識(shí)庫(kù)訪問控制大模型資產(chǎn)管理大模型業(yè)務(wù)風(fēng)控可信行為管理管理Al-R-IAM是為大模型的深度應(yīng)用提供身份安全、模型安全、數(shù)據(jù)安全的安全保障。Al-R-IAM通過從身份可信、認(rèn)證可信、權(quán)限可信、行為可信、數(shù)據(jù)可信多個(gè)維度，構(gòu)建大模型訪問、模型調(diào)用、RAG查詢、模型訓(xùn)練、模型推理等多維度的一體化的全程可信能力，提升大模型在各個(gè)深度應(yīng)用場(chǎng)景中的安全保護(hù)能力?！隹尚派矸莨芾鞟l-R-IAM實(shí)現(xiàn)對(duì)基于大模型特性的多維度身份和屬性的治理和管理，針對(duì)用戶、大模型、API建立集中一體的身份標(biāo)識(shí)，對(duì)身份和屬性進(jìn)行全生命周期管理。Al-R-IAM采用了大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0集中的身份管理能力和統(tǒng)一的身份標(biāo)識(shí)也為其它能力和系統(tǒng)提Al-R-IAM針對(duì)多個(gè)大模型訪問、AI接口訪問、RAG訪問提供了集中的精細(xì)化的權(quán)限Al-R-IAM對(duì)大模型訪問、使用、調(diào)用、訓(xùn)練、推理等場(chǎng)景建立Al-R-IAM對(duì)大模型使用過程和大模型內(nèi)部組件業(yè)務(wù)調(diào)用過程進(jìn)行安全審計(jì)和實(shí)時(shí)監(jiān)控，記錄用戶的所有操作行為，包括用戶登錄時(shí)間、IP地址、訪問的大模型資源、執(zhí)行的大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.000合作伙伴管理員應(yīng)用大模型安全向量數(shù)據(jù)庫(kù)大模型基礎(chǔ)設(shè)施層OO口AI智能層AI應(yīng)用層呵針對(duì)用戶、智能體、API應(yīng)用程序建立集中一體的身份標(biāo)識(shí)，對(duì)身份和屬性進(jìn)行全生命周期的管理，是數(shù)字世界秩序的底層支撐。Al-R-IAM采用了先進(jìn)的身份認(rèn)證機(jī)制，同時(shí)引入中國(guó)移動(dòng)基于號(hào)卡特性的實(shí)名認(rèn)證能力，有效防止未經(jīng)授權(quán)的訪問和潛在的安全威脅。Al-R-IAM不僅涵蓋傳統(tǒng)人類身份從入職到離職的全生命周期管理，還創(chuàng)新性地將NHI和AlIdentity納入統(tǒng)一治理范疇，助力企業(yè)實(shí)現(xiàn)數(shù)智化轉(zhuǎn)型，有效降低安全風(fēng)險(xiǎn)，提升合規(guī)性。在具體流程如下：(1)用戶身份在入職、轉(zhuǎn)崗、離職時(shí)，進(jìn)行信息收集驗(yàn)證、權(quán)限調(diào)整及賬號(hào)注銷等操作；(2)智能體身份在創(chuàng)建時(shí)生成唯一ID并設(shè)定權(quán)限，修改時(shí)變更信息、動(dòng)態(tài)調(diào)整權(quán)限，銷毀時(shí)注銷身份、回收資源并處理數(shù)據(jù)；(3)應(yīng)用程序身份在創(chuàng)建時(shí)注冊(cè)認(rèn)證、授予權(quán)限，修改時(shí)更新信息、變更權(quán)限，銷毀時(shí)刪除身份、銷毀憑證并清理資源。Al-R-IAM針對(duì)多個(gè)大模型的訪問、Al接口訪問、RAG訪問、模型調(diào)用、數(shù)據(jù)訓(xùn)練提智能體對(duì)RAG的訪問、用戶對(duì)RAG的訪問關(guān)聯(lián)關(guān)系，建立大模型訪問控制列表。角色級(jí)權(quán)限管理依托RBAC(基于角色的訪問控制)技術(shù)，根據(jù)大模型不同的工作崗位√√×××××××√√業(yè)務(wù)用戶受限調(diào)用××××●AI接口權(quán)限管理大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0●RAG(檢索增強(qiáng)生成)權(quán)限隔離實(shí)時(shí)內(nèi)容過濾：結(jié)合語義分析引擎，自動(dòng)屏蔽無權(quán)限的檢索結(jié)果(如涉及競(jìng)對(duì)信息的段Token動(dòng)態(tài)調(diào)配管理通過對(duì)訪問主體可使用的Token數(shù)量進(jìn)行有效控制，實(shí)現(xiàn)對(duì)大模及大模型的實(shí)時(shí)狀態(tài)，動(dòng)態(tài)靈活地調(diào)整Token分配策略。Al-R-IAM通過深度整合先進(jìn)的技術(shù)能力和安全機(jī)制，從數(shù)據(jù)輸和RAG機(jī)制對(duì)數(shù)據(jù)進(jìn)行深度處理和生成，最終輸出多種形式數(shù)據(jù)的整個(gè)流程，提供端到端大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0數(shù)據(jù)輸入數(shù)據(jù)輸入模型訓(xùn)練&RAG數(shù)據(jù)輸出在大模型數(shù)據(jù)輸入階段，利用先進(jìn)的NLP模型實(shí)時(shí)掃描文本內(nèi)容，識(shí)別并攔截敏感信息(如個(gè)人隱私、商業(yè)機(jī)密、違規(guī)內(nèi)容等);通過計(jì)算機(jī)視覺算法分析圖片內(nèi)容，檢測(cè)其中是否包含敏感信息(如人臉、身份證件、地理位置等),對(duì)敏感字段(如姓名、電話號(hào)碼、郵箱地址等)進(jìn)行自動(dòng)替換或隱藏處理；同時(shí)集成反病毒引擎，對(duì)上傳文件進(jìn)行全面掃描，在大模型數(shù)據(jù)輸出階段，實(shí)時(shí)掃描模型輸出內(nèi)容，識(shí)別并過濾敏感信息(如個(gè)人身份信息、企業(yè)機(jī)密、違法不良信息等),在輸出結(jié)果中自動(dòng)替換或隱藏敏感字段(如姓名、電話號(hào)碼、郵箱地址等),確保信息不被直接暴露。對(duì)于涉及高敏感信息的輸出內(nèi)容，實(shí)施人工大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.04.4可信行為審計(jì)Al-R-IAM通過多維數(shù)據(jù)采集、安全元數(shù)據(jù)管理、可信行為基線、數(shù)據(jù)畫像分析、數(shù)據(jù)知識(shí)圖譜、數(shù)據(jù)深度分析、智能追蹤溯源等功能為大模型用戶訪問場(chǎng)景下的可信行為審計(jì)。大模型內(nèi)部數(shù)據(jù)泄漏場(chǎng)景大模型內(nèi)部數(shù)據(jù)泄漏場(chǎng)景大模型算力盜用場(chǎng)景大模型越獄攻擊檢測(cè)場(chǎng)景……可信行為基線數(shù)據(jù)畫像分析數(shù)據(jù)知識(shí)圖譜智能追蹤溯源風(fēng)險(xiǎn)知識(shí)庫(kù)數(shù)據(jù)碰撞分析個(gè)人基線分析模型分析群體基線分析數(shù)據(jù)處理數(shù)據(jù)采集模型應(yīng)用用戶屬性數(shù)據(jù)輸入輸出數(shù)據(jù)設(shè)備指紋數(shù)據(jù)服務(wù)進(jìn)程數(shù)據(jù)網(wǎng)絡(luò)行為數(shù)據(jù)登陸訪問數(shù)據(jù)用戶操作數(shù)據(jù)資源消耗數(shù)據(jù)用戶環(huán)境數(shù)據(jù)用戶模型交互威脅情報(bào)數(shù)據(jù)賬號(hào)畫像分析應(yīng)用畫像分析知識(shí)圖譜分析異常行為分析數(shù)據(jù)標(biāo)準(zhǔn)化模型建設(shè)數(shù)據(jù)分析數(shù)據(jù)源●多維數(shù)據(jù)采集通過采集大模型用戶行為、實(shí)體行為、上下文、身份與權(quán)限、特定模型等多維數(shù)據(jù)，為構(gòu)建全面的用戶行為基線分析提供支撐。●安全元數(shù)據(jù)管理對(duì)大模型用戶操作行為數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，包括數(shù)據(jù)提取、清洗、關(guān)聯(lián)、對(duì)比、標(biāo)識(shí)、分發(fā)，提升數(shù)據(jù)價(jià)值密度?！窨尚判袨榛€通過機(jī)器學(xué)習(xí)和統(tǒng)計(jì)分析技術(shù)，對(duì)歷史數(shù)據(jù)進(jìn)行分析，建立大模型用戶可信行為基線，并通過自適應(yīng)用戶和實(shí)體行為的動(dòng)態(tài)變化，確保基線時(shí)效性和準(zhǔn)確性。●數(shù)據(jù)畫像分析大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0可疑IP->訪問數(shù)據(jù)分布->可疑路徑->可疑日志鏈路分析，層層遞進(jìn)分析，實(shí)現(xiàn)風(fēng)險(xiǎn)智能追5應(yīng)用場(chǎng)景Al-R-IAMAI就緒的大模型身份與訪問管理，為大模型的訪問、使用、調(diào)用、訓(xùn)練等多種場(chǎng)景提供可信身份、可信認(rèn)證、可信權(quán)限、可信審計(jì)、可信數(shù)據(jù)能力。相關(guān)場(chǎng)景包括：用戶訪問私有大模型、公域大模型場(chǎng)景；業(yè)務(wù)系統(tǒng)調(diào)用智能體、RAG知識(shí)庫(kù)、私域大模型場(chǎng)景；大模型數(shù)據(jù)訓(xùn)練場(chǎng)景、大模型數(shù)據(jù)運(yùn)維場(chǎng)景等。露具公域大模型API身份潤(rùn)空可信市計(jì)私域大模型Al就緒的大模型身份與訪問管理可信認(rèn)證身份5閆權(quán)限可信數(shù)據(jù)5問權(quán)限Al-R-IAMAI就緒的大模型身份與訪問管理能夠?yàn)橛脩粼L問大模型應(yīng)用場(chǎng)景提供可信身份、可信認(rèn)證、可信權(quán)限、可信審計(jì)、可信數(shù)據(jù)等關(guān)鍵能力的全面覆蓋。主要場(chǎng)景包括用戶訪問公域大模型、用戶訪問私域大模型、運(yùn)營(yíng)維護(hù)人員訪問私域大模型等。大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0公域大模型私域大模型Al-R-IAMAl就緒的大模型身份與訪問管理可信訪同權(quán)限簋可信審計(jì)坊問權(quán)限可信審計(jì)1.普通用戶訪問公域大模型普通用戶，無論是企業(yè)員工還是個(gè)人用戶，都可以借助自己的終端設(shè)備，像PC、手機(jī)或者平板等，去訪問那些部署在公有云上的大模型應(yīng)用。這些大模型應(yīng)用涵蓋多種類型的服務(wù)，例如文本生成服務(wù)能夠根據(jù)用戶輸入的關(guān)鍵詞或者主題自動(dòng)生成連貫且富有創(chuàng)意的文章內(nèi)容；圖像識(shí)別服務(wù)可以精準(zhǔn)地分析圖片中的物體、場(chǎng)景或人物特征等信息；語音轉(zhuǎn)文字服務(wù)則可以把用戶錄制的語音文件準(zhǔn)確無誤地轉(zhuǎn)換成相應(yīng)的文字記錄。這些大模型應(yīng)用通常以Web界面的形式來為用戶提供服務(wù)。對(duì)于用戶而言，操作起來非常簡(jiǎn)便。比如，當(dāng)一個(gè)企業(yè)員工想要利用文本生成服務(wù)撰寫一份產(chǎn)品推廣文案時(shí)，只需打開瀏覽器，進(jìn)入該服務(wù)的Web界面，然后輸入產(chǎn)品的相關(guān)信息如名稱、特點(diǎn)等，再點(diǎn)擊生成按鈕，很快就能得到一份高質(zhì)量的文案初稿。又如個(gè)人用戶使用圖像識(shí)別服務(wù)辨別一張植物照片的種類時(shí)，也是通過簡(jiǎn)單的上傳圖片操作，就能從Web界面上獲取到詳細(xì)的植物分然而，在這種便捷的服務(wù)背后，保障用戶數(shù)據(jù)安全和系統(tǒng)穩(wěn)定是至關(guān)重要的。Al-R-IAM在普通用戶訪問公域大模型場(chǎng)景中，主要提供可信身份認(rèn)證及安全審計(jì)的能力。大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0系統(tǒng)會(huì)要求用戶提供身份憑證，這可能包括用戶名和密碼組合、生物特征(如指紋或面部識(shí)別)或者是基于可驗(yàn)證憑據(jù)(VerifiableCredential,VC)的身份認(rèn)證等方式。只有經(jīng)過嚴(yán)格驗(yàn)證確認(rèn)為合法用戶后，才能允許其進(jìn)入應(yīng)用系統(tǒng)，從而防止非法用戶對(duì)系統(tǒng)的惡意入侵，保護(hù)用戶的數(shù)據(jù)不被未授權(quán)訪問。有效地維護(hù)系統(tǒng)的穩(wěn)定性和安全性。普通用戶通過終端設(shè)備訪問部署在企業(yè)內(nèi)部的私域大模型應(yīng)用(例如知識(shí)問答、文檔生成等服務(wù))。與公域大模型訪問場(chǎng)景相比，私域場(chǎng)景在數(shù)據(jù)隱私和合規(guī)性方面有著更為嚴(yán)苛的要性和準(zhǔn)確性，以滿足不同角色的需求同時(shí)保障數(shù)據(jù)安全。3.運(yùn)營(yíng)維護(hù)人員訪問私域大模型運(yùn)營(yíng)維護(hù)人員訪問私域大模型應(yīng)用服務(wù)器，負(fù)責(zé)日常維護(hù)和故障排查。由于運(yùn)維人員權(quán)限較高，且可以直接接觸底層數(shù)據(jù)，因此需要嚴(yán)格控制其訪問權(quán)限，并確保所有操作均可追溯。針對(duì)運(yùn)營(yíng)維護(hù)、開發(fā)測(cè)試等后臺(tái)管理人員，在普通用戶私域訪問大模型的安全能力基礎(chǔ)上，還需要重點(diǎn)加強(qiáng)精細(xì)化權(quán)限管理、高危操作、金庫(kù)管理等方面能力。首先，針對(duì)運(yùn)維人員要實(shí)施基于角色的精細(xì)權(quán)限劃分。在私域大模型應(yīng)用服務(wù)器中，不同運(yùn)維人員可能承擔(dān)著不同的職責(zé)，例如有的負(fù)責(zé)硬件設(shè)備的維護(hù)，如服務(wù)器的物理狀態(tài)檢查、網(wǎng)絡(luò)連接狀況監(jiān)測(cè)等；有的則專注于軟件層面的維護(hù)，像操作系統(tǒng)補(bǔ)丁更新、數(shù)據(jù)庫(kù)性能優(yōu)化等工作。因此，需要根據(jù)這些不同的職責(zé)范圍來劃分權(quán)限。對(duì)于硬件維護(hù)人員，他們應(yīng)該只能訪問與硬件相關(guān)的監(jiān)控信息和配置界面，而不能觸及到存儲(chǔ)在服務(wù)器上的敏感業(yè)務(wù)數(shù)據(jù)或模型參數(shù)等。同樣，軟件維護(hù)人員也不能越權(quán)去修改硬件相關(guān)的設(shè)置。這種基于角色的權(quán)限劃分還需要考慮到運(yùn)維團(tuán)隊(duì)內(nèi)部的層級(jí)關(guān)系。例如，初級(jí)運(yùn)維工程師可能只能執(zhí)行一些常規(guī)的、風(fēng)險(xiǎn)較低的操作，如查看日志文件、重啟某些非關(guān)鍵服務(wù)等；而高級(jí)運(yùn)維工程師則擁有更高的權(quán)限，可以進(jìn)行更復(fù)雜的操作，如調(diào)整系統(tǒng)核心參數(shù)、執(zhí)行大規(guī)模的數(shù)據(jù)遷移任務(wù)等。通過這種多層次的角色權(quán)限體系，能夠有效避免因權(quán)限過度集中而導(dǎo)致的安全隱患。除了基于角色的權(quán)限劃分外，還應(yīng)對(duì)運(yùn)維人員的訪問權(quán)限加上時(shí)間與地點(diǎn)的限制。例如，在正常的工作時(shí)間內(nèi)，運(yùn)維人員可以在企業(yè)內(nèi)部的特定辦公區(qū)域通過專用的工作站訪問私域大模型應(yīng)用服務(wù)器。然而，如果是在非工作時(shí)間或者從企業(yè)外部網(wǎng)絡(luò)嘗試訪問時(shí)，就需要觸發(fā)更加嚴(yán)格的驗(yàn)證機(jī)制。在私域大模型環(huán)境中，高危操作可能包括刪除大量數(shù)據(jù)、修改核心模型參數(shù)、更改系統(tǒng)權(quán)限配置等。一旦識(shí)別出高危操作，就需要立即啟動(dòng)阻斷機(jī)制。這種阻斷機(jī)制可以分為多個(gè)層次。在第一層次是警告提示，當(dāng)運(yùn)維人員嘗試執(zhí)行高危操作時(shí)，系統(tǒng)會(huì)彈出明顯的警告信大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0讓運(yùn)維人員重新審視自己的操作意圖，避免因誤操作而導(dǎo)致問題。第二層次是權(quán)限二次驗(yàn)證，各自的認(rèn)證信息(如指紋、虹膜掃描等生物特征認(rèn)證)才能打開金庫(kù)。同時(shí)，所有對(duì)金庫(kù)的發(fā)生。此外，還可以設(shè)置實(shí)時(shí)監(jiān)控機(jī)制，一旦發(fā)現(xiàn)有人試圖違規(guī)訪問金庫(kù)，立即觸發(fā)警報(bào)并采取相應(yīng)的應(yīng)對(duì)措施，如鎖定賬戶、通知安全團(tuán)隊(duì)等。5.3場(chǎng)景二：應(yīng)用訪問大模型應(yīng)用場(chǎng)景公域大模型私域大模型Al-R-IAMAl就緒的大模型身份與訪問管理可信數(shù)據(jù)訪問權(quán)限醇訪問權(quán)限應(yīng)用訪問大模型場(chǎng)景主要包括業(yè)務(wù)應(yīng)用訪問公域大模型、業(yè)務(wù)應(yīng)用訪問私域大模型兩種應(yīng)用場(chǎng)景，業(yè)務(wù)系統(tǒng)能夠通過安全智能體訪問公域、私域大模型、RAG知識(shí)庫(kù)。Al-R-IAM1.業(yè)務(wù)身份管控如密鑰可能被硬編碼在代碼中，或者存儲(chǔ)在不夠安全的地方，攻擊者可能通過偽造身份來訪Al-R-IAM從業(yè)務(wù)身份創(chuàng)建、修改和銷毀的全流程管控，實(shí)現(xiàn)業(yè)務(wù)身份可信。身份創(chuàng)建：對(duì)業(yè)務(wù)系統(tǒng)身份注冊(cè)與認(rèn)證，通過數(shù)字證書或API密鑰進(jìn)行認(rèn)證，并授予身份修改：需根據(jù)功能和任務(wù)變更情況，更新業(yè)務(wù)系統(tǒng)身份信息和權(quán)限，確保合規(guī)并遵大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0Al-R-IAM在業(yè)務(wù)系統(tǒng)訪問公域、私域大模型時(shí)，通過精細(xì)化的角色級(jí)授權(quán)：采用RBAC技術(shù)，依據(jù)崗位和功能，為業(yè)務(wù)系統(tǒng)分配相應(yīng)權(quán)限，確保高數(shù)據(jù)級(jí)授權(quán)：結(jié)合RBAC和ABAC技術(shù)，系統(tǒng)依據(jù)業(yè)務(wù)系統(tǒng)的角色、屬性及數(shù)據(jù)敏感Token動(dòng)態(tài)授權(quán)：通過RBAC.ABAC和PBAC技術(shù).動(dòng)態(tài)調(diào)整業(yè)務(wù)系統(tǒng)的Token分權(quán)與權(quán)限校驗(yàn)、輸入數(shù)據(jù)預(yù)處理、構(gòu)造API請(qǐng)求參數(shù)、調(diào)用公域/私域大模型API、模型服大模型應(yīng)用安全|深度應(yīng)用安全基座系列白皮書AI就緒的大模型身份與訪問管理AI-R-IAMv1.0全鏈路日志采集：采集私域大模型、RAG知識(shí)庫(kù)的用戶行為、實(shí)體行為、上下文、身份與權(quán)限、特定模型等多維數(shù)據(jù)，以構(gòu)建全面的用戶行為基線并檢測(cè)異常。智能化分析：通過機(jī)器學(xué)習(xí)和統(tǒng)計(jì)分析技術(shù)，對(duì)歷史數(shù)據(jù)進(jìn)行分析，建立私域大模型、RAG知識(shí)庫(kù)的用戶可信行為基線，并通過自適應(yīng)用戶和實(shí)體行為的動(dòng)態(tài)變化，確?；€時(shí)效性和準(zhǔn)確性。同時(shí)采用畫像分析、知識(shí)圖譜等技術(shù)對(duì)私域大模型、RAG知識(shí)庫(kù)安全風(fēng)險(xiǎn)進(jìn)行評(píng)估，識(shí)別已知風(fēng)險(xiǎn)和未知風(fēng)險(xiǎn)。智能追蹤溯源：對(duì)私域大模型、RAG知識(shí)庫(kù)的數(shù)據(jù)輸入到模型輸出提供全鏈路智能追蹤溯源，采用路徑計(jì)算、路徑探尋算法，提供可疑IP->訪問數(shù)據(jù)分布->可疑路徑->可疑日志鏈路分析，層層遞進(jìn)分析，實(shí)現(xiàn)風(fēng)險(xiǎn)智能追蹤。5.4場(chǎng)景三：用戶-AI智能體的安全應(yīng)用管理場(chǎng)景公域大模型Al-R-IAMAl就緒的大模型身份與訪問管理可信審計(jì)麗私域大模型百權(quán)可信審計(jì)場(chǎng)景概述：