1近年來，以ChatGPT、GPT-4、ClaModels,LLMs)技術(shù)取得突破性進(jìn)展，在全球范圍內(nèi)掀起AI發(fā)展熱潮。大模型憑借其強(qiáng)大的學(xué)其影響力已滲透到社會(huì)經(jīng)濟(jì)的方方面面，預(yù)示著一個(gè)智能驅(qū)動(dòng)的新時(shí)代的紅利的同時(shí)，能夠有針對(duì)性地部署安全措施，從而推動(dòng)負(fù)責(zé)任的AI發(fā)展，確保大模型技術(shù)的2威脅和挑戰(zhàn)，我們必須全方位審視大模型系統(tǒng)的各個(gè)關(guān)鍵組成部3整性；甚至通過惡意負(fù)載加劇硬件退化，導(dǎo)致洞也為權(quán)限提升和遠(yuǎn)程代碼執(zhí)行提供了可乘之機(jī)，4本一致，主要包括內(nèi)核權(quán)限提升、系統(tǒng)組件漏攻擊者可對(duì)大模型供應(yīng)鏈發(fā)起隱蔽性攻擊，通過污染其依賴的第三方組件（如庫致模型運(yùn)行異常、數(shù)據(jù)泄露或系統(tǒng)崩潰，威脅模型穩(wěn)定管理接口或API端點(diǎn)，或者這些暴露面缺乏足夠的身份認(rèn)證、授權(quán)和安全加固措施，從而形成了薄弱的攻擊面，容易被攻擊者掃描發(fā)現(xiàn)并利用來進(jìn)行未授權(quán)過身份認(rèn)證直接訪問服務(wù)接口，訪問獲取業(yè)務(wù)數(shù)據(jù)、模型參5安全掛載、鏡像安全、云服務(wù)配置管理安全等。除此之外，大模的漏洞在模型推送到生產(chǎn)環(huán)境的過程中實(shí)施攻擊;在大模型部署過洞執(zhí)行惡意代碼、竊取數(shù)據(jù)、干擾服務(wù)運(yùn)行等，造成隱配置常以易用性優(yōu)先，忽略安全加固(如未啟用身份驗(yàn)證、開放無認(rèn)證的API端口等)。攻擊而在用戶使用這些產(chǎn)品時(shí)實(shí)施攻擊。該方式利用了供應(yīng)鏈中的上下游6信息等違規(guī)內(nèi)容，訓(xùn)練后的大模型則可能在運(yùn)行過批量下載或惡意篡改，內(nèi)部人員的惡意行為同樣是7大語言模型作為AI系統(tǒng)的核心架構(gòu)基礎(chǔ)，無論是通用型亦或是垂直領(lǐng)域?qū)Ｓ媚Ｐ?，均?錄，最終訓(xùn)練出具備功能等效性的克隆模型，威AI應(yīng)用系統(tǒng)作為承載和展現(xiàn)AI能力的軟件實(shí)體，除了面臨AI模型特有的風(fēng)險(xiǎn)外，其自的Web應(yīng)用漏洞(如注入、XSS)、因不安全地處理AI模型輸出而引入的新型漏洞(如AI生成大模型應(yīng)用作為一種人工智能應(yīng)用系統(tǒng)，同樣面臨著傳統(tǒng)Web應(yīng)用所面臨的各種已知安9問控制、安全配置錯(cuò)誤、使用含有已知漏洞的組件、不安全的API接口和拒絕服務(wù)攻擊，這大模型應(yīng)用在調(diào)用外部API(包括模型推理API、數(shù)據(jù)服務(wù)API、第三方工具API等)時(shí)，由于API接口本身的設(shè)計(jì)缺陷、認(rèn)證授權(quán)機(jī)制薄弱、輸入?yún)?shù)校驗(yàn)不足、返回?cái)?shù)據(jù)處理不當(dāng)或主要威脅來自于API接口的未授權(quán)使用和API接口服務(wù)濫用。API接口未授權(quán)使用風(fēng)險(xiǎn)。主要表現(xiàn)為大模型接口組件因缺少API安全配置不當(dāng)或使用默認(rèn)配置導(dǎo)致API風(fēng)險(xiǎn)點(diǎn)位暴露而被濫用，造成大模型服務(wù)過載引發(fā)拒絕服務(wù)或數(shù)據(jù)泄露。比如DeepSeek因Clickhouse數(shù)據(jù)庫的配置錯(cuò)誤暴露百萬條聊天記錄和限制的API接口執(zhí)行高負(fù)載任務(wù)(如長文本生成、惡意爬蟲高頻調(diào)用等)，以每秒數(shù)百次的頻率向模型API接口發(fā)送簡(jiǎn)單但高消耗的請(qǐng)求，模型被迫反復(fù)生成無意義長文本，占用大量GPU篡改API請(qǐng)求與響應(yīng)，導(dǎo)致敏感信息被竊取或篡改。攻擊者還可通過頻繁調(diào)用API或系統(tǒng)資源導(dǎo)致關(guān)鍵API不可用或系統(tǒng)資源耗盡，實(shí)現(xiàn)拒絕服務(wù)攻擊，使大模型應(yīng)用系統(tǒng)陷入癱瘓狀態(tài)。星辰發(fā)布的《AI就緒的大模型身份與訪問管理白皮書（AI-R-IAM）》發(fā)現(xiàn)，大模型廣泛應(yīng)用），問機(jī)構(gòu)的RAG數(shù)據(jù)庫、調(diào)用第三方API、連接云服務(wù)或其他外部系統(tǒng)時(shí)，所使用的API密鑰、模式）與機(jī)構(gòu)現(xiàn)有的身份與訪問管理(IAM)系統(tǒng)進(jìn)行集成時(shí)，由于集成陷、信任關(guān)系管理不當(dāng)或企業(yè)IAM系統(tǒng)本身的安全策略變更未能及時(shí)限管理，可能導(dǎo)致身份認(rèn)證繞過、會(huì)話劫持、權(quán)限繼承不當(dāng)或智能體作為一種典型的大模型應(yīng)用形態(tài)，在自身），算資源，最終致使服務(wù)無法正常運(yùn)行，嚴(yán)重破壞智攻擊（MITM）截獲、篡改API請(qǐng)求與響應(yīng)，導(dǎo)致敏感信息被竊取或篡改，智能體行為被惡意操性在于利用了橫向暴露信任機(jī)制脆弱性的系統(tǒng)拓?fù)淙毕?，縱），本文對(duì)大模型應(yīng)用場(chǎng)景下的威脅框架進(jìn)行了初步的探索與分析應(yīng)對(duì)這些復(fù)雜威脅的基礎(chǔ)，更是保障大模型健康4、OWASPTop10:LLM&GenerativeAISecurityRiskshttps://genai.owa的崛起，全球范圍內(nèi)對(duì)AI安全和潛在風(fēng)險(xiǎn)的關(guān)注已從學(xué)術(shù)前沿走向產(chǎn)業(yè)實(shí)踐，并上升至國家架與標(biāo)準(zhǔn)，適用于AI系統(tǒng)的全生命周期，并覆蓋多種風(fēng)險(xiǎn)類型。一般具有宏觀性、政策導(dǎo)向性和強(qiáng)制性，旨在從國家戰(zhàn)略高度保障AI安全。述了與AI相關(guān)的風(fēng)險(xiǎn)及可信AI系統(tǒng)的特征，提出了治理、映射、測(cè)量和管理四大核心功能。需要與具體的技術(shù)威脅框架相結(jié)合，才能更好險(xiǎn)水平的AI系統(tǒng)提出不同程度的要求，包括高風(fēng)險(xiǎn)AI系統(tǒng)的嚴(yán)格合規(guī)性要求。國際標(biāo)準(zhǔn)化組織（ISO）和國際電工委員會(huì)（IEC）發(fā)布的第一個(gè)AI管理系統(tǒng)國際標(biāo)準(zhǔn)?；蚴褂肁I產(chǎn)品或服務(wù)的任何規(guī)模組織，以規(guī)范企業(yè)負(fù)責(zé)任地開發(fā)或使用AI系統(tǒng)。IEEE全球自主和智能系統(tǒng)倫理倡議的一部分，提供了一系列倫理原則和指南，以促進(jìn)AI保護(hù)等?！渡墒饺斯ぶ悄芊?wù)管理暫行辦法》于2023年8月起施行，旨在促進(jìn)生成式人工智能入地關(guān)注AI系統(tǒng)的具體技術(shù)性風(fēng)險(xiǎn)，包括攻擊手段、漏洞利用和防御策略。該框架側(cè)重于技術(shù)性風(fēng)險(xiǎn)與細(xì)節(jié)，參照MITREATT&CK，對(duì)AI系統(tǒng)面臨的對(duì)抗性攻擊技術(shù)進(jìn)行這是一個(gè)由麻省理工學(xué)院（MIT）維護(hù)的AI風(fēng)險(xiǎn)數(shù)據(jù)庫，收集了大量來自現(xiàn)有框架和分類l微軟的AI安全框架微軟作為AI技術(shù)的重要開發(fā)者和使用者，其內(nèi)部框架著重于其在AI研發(fā)、部署和運(yùn)營過程中遇到的實(shí)際技術(shù)風(fēng)險(xiǎn)。發(fā)布責(zé)任AI準(zhǔn)則，逐步形成負(fù)責(zé)任AI標(biāo)準(zhǔn)和與治理框架，指導(dǎo)開及AI模型的安全可信部署。同時(shí)構(gòu)建了AI安全風(fēng)險(xiǎn)評(píng)估框架，明確AI系統(tǒng)的關(guān)鍵資產(chǎn)，并并定期評(píng)估AI系統(tǒng)的漏洞。整合安全和隱私措施。該框架關(guān)注整個(gè)AI生態(tài)系統(tǒng)的安全性，包門為其最前沿的、高能力生成式AI模型量身定制的深度安全協(xié)議和評(píng)估方法。與SAIF的通模型與人類價(jià)值觀不對(duì)齊、以及可能導(dǎo)致事故或深遠(yuǎn)社解決其最先進(jìn)AI模型的潛在災(zāi)難性安全風(fēng)險(xiǎn)，包括評(píng)估、監(jiān)測(cè)和緩解風(fēng)險(xiǎn)。該框架通過明確估和紅隊(duì)測(cè)試。此外，他們還提出了“模型規(guī)范（ModelSpec）”等擬議框架，旨在規(guī)