2024報告WWW.LAKERA.AIWWW.LAKERA.AI22024報告WWW.LAKERA.AI04執(zhí)行摘要被調(diào)查人背景與組織背景遭遇和管理漏洞挑戰(zhàn)與未來方向2024報告2024報告2024報告前言WWW.LAKERA.AI3。然而，這種熱情伴隨著解決人工智能安全這一關(guān)鍵需們致力於引領(lǐng)安全人工智能創(chuàng)新的浪潮。我命的潮頭，專注於確保人工智能的益處能夠勢。它匯集了參與人工智能安全的不同利益相關(guān)者的觀點(diǎn)，包括一些全球頂尖人工智能優(yōu)先公司的CISO（首席信息安大衛(wèi)·哈伯首席執(zhí)行官兼聯(lián)合創(chuàng)始人，La人工智能的采用爆發(fā)正在從根本上重塑安全領(lǐng)導(dǎo)者帶來了獨(dú)特的挑戰(zhàn)和新的機(jī)喬·沙利文烏克蘭之友首席執(zhí)行官兼喬·薩利文保安公WWW.LAKERA.AIWWW.LAKERA.AI42024報告2024報告執(zhí)行摘要執(zhí)行摘要足生成式人工智能（GenAI）和大型語言模型（LLM）的快速采用正在改變行業(yè)，近90%的組織正在積極實(shí)施或探索LLM用例。然而，這種采用浪潮與當(dāng)前安全措施的置信度極低形成鮮明對比——只有大約5%的組織對其生成式人工智能安全框架表示高度置信。這份報告基于對1000多名安全專業(yè)人士的調(diào)查，以及來自LakeraAI黑客游戲Gandalf的實(shí)地發(fā)現(xiàn)，揭示安全風(fēng)險可能被低估。Gandalf是世界上最大的AI紅隊(duì)演練，已吸引了超過一百萬用戶參與，包括網(wǎng)絡(luò)安全專家，以發(fā)現(xiàn)漏洞。值得注意的是，超過20萬名玩家成功完成了Gandalf七級防御，展示了AI系統(tǒng)多么容易被利用。這些發(fā)現(xiàn)與調(diào)查見解相互印證，突顯了制定強(qiáng)大的、針對AI的安全策略以應(yīng)對GenAI帶來的獨(dú)特挑戰(zhàn)的緊迫性。2024報告2024報告執(zhí)行摘要WWW.LAKERA.AIWWW.LAKERA.AI5“我對開始實(shí)施人工智能安全措施的組織建議，應(yīng)在開發(fā)生命周期早期就整合人工智能紅隊(duì)演練實(shí)踐。等到部署之后才行動，可能會讓關(guān)鍵漏洞得不到處理。主動進(jìn)行紅隊(duì)演練有助于在風(fēng)險被利用之前識別和減輕風(fēng)險，從而確保更安全的人scale“我最擔(dān)心的是那些相信人工智能相關(guān)漏洞可以通過傳統(tǒng)方法發(fā)現(xiàn)和修復(fù)的安全專業(yè)人士的過度自信。德比·泰勒·摩爾2024報告執(zhí)行摘要WWW.LAKERA.AI6多樣化的角色和豐富的安全經(jīng)驗(yàn)網(wǎng)絡(luò)安全體驗(yàn)超過5年該調(diào)查包括超過1,000名來自廣泛職位的受訪者，例如開發(fā)者、安全分析師以及CISO等高管級別安全職位。這種多樣性確保了從組織內(nèi)不同角度全面理解超過5年值得注意的是，超過60%的受訪者擁有豐富的網(wǎng)絡(luò)安全經(jīng)驗(yàn)，這使其見解具有可信度，并突顯了驅(qū)動本報告結(jié)論的專業(yè)知識深度。經(jīng)驗(yàn)較少少數(shù)人對安全措施有信心效性存在不確定性，有86%的人對其當(dāng)前措施持有中2024報告執(zhí)行摘要WWW.LAKERA.AI7當(dāng)前安全測量中的置信水平當(dāng)前安全測量中的置信水平僅存在適度風(fēng)險顧慮受訪者并不太擔(dān)心，這是令人驚訝的，因?yàn)橹挥?%的人對自己的控制措施有很高的信 ,但用例卻表明并非如此。224客戶服務(wù)（聊天機(jī)器人）1編程輔助355內(nèi)容創(chuàng)作（寫作、翻譯等）2024報告2024報告執(zhí)行摘要)的游戲揭示了GenAI系統(tǒng)是多么容易被利用——20萬玩家成功通過了游戲的第七關(guān)。第七關(guān)模擬了最受歡迎的GenAI模人們快速進(jìn)化黑客技術(shù)創(chuàng)造力可以超越通用人工WWW.LAKERA.AIWWW.LAKERA.AI2024報告2024報告執(zhí)行摘要對于剛開始實(shí)施人工智能安全措施的這是我們的專家回答的：nist人工智能風(fēng)險管理及針對大型語言模型的owasp十大風(fēng)險已證明是一個不錯的起點(diǎn)，但每一種生成式人工智能都是不同的，其風(fēng)險是由提示驅(qū)動的。兩點(diǎn)要注意：2.“這個工具的有效性只取決于使用它的人的頭腦”一個好的AI網(wǎng)絡(luò)安全策略始于雇傭正確的技能。阿維納什·辛哈GE醫(yī)療保健公司資深員工網(wǎng)絡(luò)安全如果你在人工智能安全如何或在哪里開始方面遇到困難，可以利用我們共同開發(fā)的公共資源和行業(yè)、政府及學(xué)術(shù)人工智能安全領(lǐng)導(dǎo)者社區(qū)。在ATLAS社區(qū)中，有超過100家不同的組織參與進(jìn)來 ,我們正共同努力分享情報、描述并緩解這些針對人工智能系統(tǒng)而快速演變的威脅?？死锼沟倌取だ飦喖拥俨┦柯槭±砉W(xué)院MITREATLAS首席和值得信賴及安全人工智能部門先停一停，想一想，再計(jì)劃一下，再jumpedin。隨著AI變得無處不在，信息安全專業(yè)人員可能會面臨大量內(nèi)容和資源需要處理，我們需要找到一個務(wù)實(shí)的出發(fā)點(diǎn)。專注于一個主題，制定計(jì)劃，并按照計(jì)劃執(zhí)行，而不是試圖一次性做所有的事情。索菲亞基因高級首席安全工程師WWW.LAKERA.AIWWW.LAKERA.AI9WWW.LAKERA.AI102024報告2024報告2024報告2024報告第一部分-申辯人背景理解調(diào)查受訪者的背景對于將本報告中提供的見解置于具體情境中至關(guān)重要。受訪者角色的多樣性、經(jīng)驗(yàn)和組織背景為全面了解各行業(yè)當(dāng)前GenAI安全準(zhǔn)備狀況提供了視角。DiverseExpertiseandRoles商業(yè)用戶Ciso其他人關(guān)于人工智能/大語言模型安全分析師開發(fā)者準(zhǔn)備度調(diào)查”代表了GenAI和網(wǎng)絡(luò)安全領(lǐng)廣泛的角色和經(jīng)驗(yàn)水平。這種多樣性確保了調(diào)查結(jié)果能夠反映各種觀點(diǎn)和專業(yè)知識。這項(xiàng)調(diào)查包括相當(dāng)數(shù)量的開發(fā)者（20%）、安全分析師（17%）以及使用AI/LLM的商業(yè)用戶（15%）。值得注意的是，9%的受訪者擔(dān)任高管級安全職位，例如CISO，這突顯了GenAI安全在最高組織層級中的戰(zhàn)略重要性。2024報告第一部分-申辯人背景WWW.LAKERA.AI11大多數(shù)受訪者具備豐富的網(wǎng)絡(luò)安全經(jīng)驗(yàn)，超過60%的受訪者擁有五年以上的經(jīng)驗(yàn)。大多數(shù)受訪者具備豐富的網(wǎng)絡(luò)安全經(jīng)驗(yàn)，超過60%的受訪者擁有五年以上的經(jīng)驗(yàn)。這種經(jīng)驗(yàn)的深度凸顯了他們見解的可信度以及報告中所呈現(xiàn)數(shù)據(jù)的有效性。網(wǎng)絡(luò)安全經(jīng)驗(yàn)?zāi)陻?shù)超過5年不到5年盡管許多受訪者擁有豐富的網(wǎng)絡(luò)安全經(jīng)驗(yàn)，但數(shù)據(jù)顯示，相當(dāng)一部分人仍在開發(fā)和安全保障基于AI的軟件方面建立專業(yè)這是一個自然的進(jìn)程，因?yàn)槿斯ぶ悄茉谶^去的1.5年中才成為主流，并迅速地改變著各個行業(yè)。盡管這項(xiàng)技術(shù)相對較新 ,才開始被廣泛采用，但它已經(jīng)研發(fā)了相當(dāng)長的一段時間。正持續(xù)彌合傳統(tǒng)網(wǎng)絡(luò)安全與新興人工智能安全需求之間差距的努力，反映了人們?nèi)找嬲J(rèn)識到人工智能帶來的獨(dú)特挑戰(zhàn)，以及隨著人工智能的不斷發(fā)展，致力于制定強(qiáng)大的安全措施。多年的基于人工智能軟件的開發(fā)經(jīng)驗(yàn)0-2歲3-5年超過5年多年的基于人工智能軟件的開發(fā)經(jīng)驗(yàn)0-2歲3-5年超過5年多年基于人工智能軟件的保障經(jīng)驗(yàn)0-2歲3-5年超過多年基于人工智能軟件的保障經(jīng)驗(yàn)0-2歲3-5年超過2024報告第一部分-申辯人背景WWW.LAKERA.AIWWW.LAKERA.AI12確保人工智能系統(tǒng)面臨的最大障礙是明顯的可見性差距，尤其是在使用第三方供應(yīng)商時。理解機(jī)器學(xué)習(xí)流程的復(fù)雜性以及對抗性機(jī)器學(xué)習(xí)的細(xì)微差別增加了這一挑戰(zhàn)。組建一個強(qiáng)大的跨職能機(jī)器學(xué)習(xí)安全團(tuán)隊(duì)很困難 ,需要來自不同背景的專業(yè)人士來創(chuàng)建全面的安全場景。此外，模型故障的反應(yīng)時間和影響范圍，特別是誤導(dǎo)性聊天機(jī)器人，可能導(dǎo)致昂貴的后果。埃馬紐埃爾·吉勒姆OWASP人工智能/大語言模型安全研究員組織規(guī)模該調(diào)查從中小企業(yè)到大公司捕獲了來自不同規(guī)模組織的回復(fù)。具體而言，46%的受訪者來自員工人數(shù)少于50人的組織，而27%來自員工人數(shù)超過5000人的大型組織。這種多樣性突出了基于組織規(guī)模的不同挑戰(zhàn)和GenAI安全方法。2024報告2024報告第一部分-申辯人背景 )和醫(yī)療保健（4%）。這種跨行業(yè)的代表性確保了洞察適用于廣技術(shù)教育金融醫(yī)療保健WWW.WWW.LAKERA.AI132024報告第一部分-申辯人背景WWW.LAKERA.AI14最令人矚目的發(fā)現(xiàn)之一是，在組織之間專門的AI安全功能的配備上存在顯著差異。雖然58%的組織缺乏專門的AI安全職能，但只有12%擁有專門的AI安全團(tuán)隊(duì)。這個差距凸顯了一個關(guān)鍵的待發(fā)展領(lǐng)域，尤其是隨著GenAI技術(shù)越來越成為業(yè)務(wù)運(yùn)營的組成部分。內(nèi)部專業(yè)知識的稀缺是一個突出的挑戰(zhàn)，特別是對于較小的組內(nèi)部專業(yè)知識的稀缺是一個突出的挑戰(zhàn)，特別是對于較小的組織。較大的組織更有可能擁有專業(yè)的AI安全團(tuán)隊(duì)，28%的大型組織擁有專門的團(tuán)隊(duì)，而只有6%的小型組織擁有。這種差異突顯了需要易于獲取的安全工具和服務(wù)，以幫助彌合各種規(guī)模組織的專業(yè)知識差距。是否配備AI安全團(tuán)隊(duì)組織缺少專門的AI安全功能專業(yè)AI安全團(tuán)隊(duì)各行業(yè)在安全準(zhǔn)備程度和安全措施的采用程度上存在顯著差異。例如，高準(zhǔn)備狀態(tài)高準(zhǔn)備狀態(tài)金融教育區(qū)域配備專屬人工智能安全團(tuán)隊(duì)金融教育區(qū)域2024報告第一部分-申辯人背景來自不同角色、行業(yè)和組織規(guī)模的觀點(diǎn)，調(diào)查結(jié)果為當(dāng)前生成式人工智能安全準(zhǔn)備狀態(tài)提供了全面的視角。這種目前確保人工智能系統(tǒng)最大的障礙之一是工程師和安全團(tuán)隊(duì)知識匱乏。大量人員在不了解這些組件實(shí)際工作原理或LLM非確定性對授權(quán)等概念的影響的情況下，正在構(gòu)建使用LLM的系統(tǒng)。這使得確保系統(tǒng)的安全性與傳統(tǒng)組件相比，是一個根本不同的挑戰(zhàn)。李耐云安全.ai的ciso我們目前最大的障礙是知識和經(jīng)驗(yàn)。人工智能/大語言模型安全是一個如此新的領(lǐng)域，以至于我我們的集體人工智能知識是分散的。這就像我們試圖拼圖，但我們丟失了盒子，并且把碎片分給了具有不同技能和不同優(yōu)先級的不同團(tuán)隊(duì)。杰羅德·布倫南vCISO在SideChannelWWW.LAKERA.AIWWW.LAKERA.AI15WWW.LAKERA.AI162024報告2024報告2024報告2024報告生成式人工智能和大型語言模型技術(shù)的部署和應(yīng)用正在迅速發(fā)展，但與第二節(jié)-使用與認(rèn)知42%的機(jī)構(gòu)正在積極使用和實(shí)現(xiàn)在各種職能中的LLMs42%的機(jī)構(gòu)正在積極使用和實(shí)現(xiàn)在各種職能中的LLMs。這表明了在利用人工智能能力以提升業(yè)務(wù)運(yùn)營和創(chuàng)新方面有著重要的承諾。另外45%的受訪者處于探索階段，正在調(diào)查潛在的應(yīng)用場景和集成可能性。這種高水平的興趣表明，人們越來越認(rèn)識到GenAI所能帶來的價值，即使其全面實(shí)施尚未實(shí)現(xiàn)。只有9%的受訪者報告目前沒有計(jì)劃采用LLM。這一小百分比凸顯了整個行業(yè)向GenAI采納的強(qiáng)勁勢頭，表明那些尚未加入者可能面臨在競爭中落后的風(fēng)險。探索用例主動使用和實(shí)施LLMs目前沒有計(jì)劃采用LLMs為未來LLM采用制定計(jì)劃2024報告第二節(jié)-使用與認(rèn)知,突出了這些技術(shù)的多功能性和廣泛適用性。70%70%70%的受訪者提到使用或計(jì)劃使用GenAI進(jìn)行代碼輔助。這表明了一種明顯的趨勢，即利用人工智能來改進(jìn)軟件開發(fā)56%56%56%的受訪者關(guān)注數(shù)據(jù)分析。這反映了AI在提升數(shù)據(jù)驅(qū)動決策和洞察方面的重要作用。53%53%的人正在使用GenAI來構(gòu)建內(nèi)部知識庫和搜索功能，展示了其在提高信息檢索和組織知識管理方面的效用。53%53%56%的受訪者關(guān)注數(shù)據(jù)分析。這反映了AI在提升數(shù)據(jù)驅(qū)動決策和洞察方面的重要作用。50%50%的人正在使用生成式人工智能進(jìn)行內(nèi)容創(chuàng)作，突出了這項(xiàng)技術(shù)在簡化并增強(qiáng)創(chuàng)意流程方面的潛力。WWW.WWW.LAKERA.AIWWW.LAKERA.AI17作為人工智能安全組織的領(lǐng)導(dǎo)者，我們對于對抗性機(jī)器學(xué)習(xí)攻擊在非大語言模型（如計(jì)算機(jī)視覺和信號分類系統(tǒng)）上的泛濫感到擔(dān)憂。雖然基于大語言模型的攻擊（如提示工程和越獄）正在提升人工智能事件的社會關(guān)注度，但它很重要的一點(diǎn)是讓公眾意識到這些并非唯一受害的技哈里特·法羅米萊瓦安全實(shí)驗(yàn)室首席執(zhí)行官絕大多數(shù)受訪者（44%）將其當(dāng)前安全措施的信心程度評為中等水平（5分中的3分）。這表明雖然組織認(rèn)識到安全的重要性，但它們對所采取的措施是否足以跟上不斷變化的威脅存在著潛在的不確定性。當(dāng)前安全措施信心有趣的是，相當(dāng)一部分受訪者表達(dá)了較低的信心水平（28%的人評分為2分中的1分），這表明他們對安全持謹(jǐn)慎態(tài)度。這種缺乏強(qiáng)烈信心的原因可能是威脅環(huán)境的快速變化以及GenAI技術(shù)的創(chuàng)新性。置信水平五分之一置信水平置信水平置信水平置信水平5分滿分大語言模型可靠性與準(zhǔn)確性35%的受訪者提到，頂級挑戰(zhàn)之一是LLM輸出的可靠性和準(zhǔn)確性。這項(xiàng)關(guān)切突出了建立強(qiáng)大的驗(yàn)證和監(jiān)控系統(tǒng)以確保人工智能輸出結(jié)果可信且無偏見的關(guān)鍵需求。數(shù)據(jù)隱私和安全.大語言模型可靠性與準(zhǔn)確性35%的受訪者提到，頂級挑戰(zhàn)之一是LLM輸出的可靠性和準(zhǔn)確性。這項(xiàng)關(guān)切突出了建立強(qiáng)大的驗(yàn)證和監(jiān)控系統(tǒng)以確保人工智能輸出結(jié)果可信且無偏見的關(guān)鍵需求。數(shù)據(jù)隱私和安全.數(shù)據(jù)隱私和安全緊隨其后，34%的受訪者認(rèn)為數(shù)據(jù)隱私和安全是主要障礙。這種擔(dān)憂在處理敏感信息的行業(yè)（例如金融和醫(yī)療保健）中尤為突出，在這些行業(yè)，數(shù)據(jù)泄露會帶來嚴(yán)重后果。缺乏專業(yè)人員缺乏技能人才（28%）是另一個重大挑戰(zhàn)。隨著對生成式人工智能專業(yè)知識的需要不斷增長，組織正在努力尋找和留住能夠開發(fā)和安全維護(hù)這些先進(jìn)系統(tǒng)的專業(yè)人才。WWW.LAKERA.AIWWW.LAKERA.AI182024報告第二節(jié)-使用與認(rèn)知WWW.LAKERA.AI19風(fēng)險關(guān)注風(fēng)險關(guān)注相當(dāng)大的38%的受訪者將他們對GenAI相當(dāng)大的38%的受訪者將他們對GenAI/LLM漏洞的擔(dān)憂評為這突顯了對日益加劇的風(fēng)險的普遍認(rèn)識以及對全面安全框架這么多受訪者高度關(guān)注這一事實(shí)，凸顯了為防范新興威脅而持續(xù)保持警惕和采取主動措施的必要性。高度關(guān)注5分中的4分或5分五分之一低擔(dān)憂無關(guān)切調(diào)查顯示，大多數(shù)組織都在采用LLM技術(shù)。盡管采用率高，但在安全準(zhǔn)備方面存在巨大差距。只有5%的受訪者對其當(dāng)前的安全措施表達(dá)高度自信。這種低自信程度是一個令人擔(dān)憂的指標(biāo)，表明隨著組織越來越多地將LLM集成到其運(yùn)營中，可能存在潛在漏洞。有趣的是，雖然對安全措施的信心很低，但數(shù)據(jù)隱私和安全并未被視為普遍的重大障礙。只有34%的受訪者認(rèn)為這些問題是主要挑戰(zhàn)。這可能表明對與LLM部署相關(guān)的風(fēng)險存在低估，這表明需要提高意識并實(shí)施更嚴(yán)格的安全協(xié)議。網(wǎng)絡(luò)安全經(jīng)驗(yàn)似乎與對風(fēng)險的擔(dān)憂程度相關(guān)。在經(jīng)驗(yàn)最豐富的人群（7.5年以上）中，42.1%的人高度關(guān)注與LLM相關(guān)的風(fēng)險。這表明對安全挑戰(zhàn)的更深入的知識和理解會導(dǎo)致更高的意識和擔(dān)憂，強(qiáng)調(diào)了在管理LLM安全方面需要經(jīng)驗(yàn)豐富的人員。中適度自信的限制。通過加強(qiáng)安全實(shí)踐、在技能發(fā)展方面進(jìn)行戰(zhàn)略投資以及持續(xù)監(jiān)控來解決這些挑戰(zhàn)2024報告2024報告第二節(jié)-使用與認(rèn)知WWW.LAKERA.AIWWW.LAKERA.AI20“對于剛開始實(shí)施人工智能安全措施的組織，你會給出什么首先，讓相關(guān)的跨團(tuán)隊(duì)利益相關(guān)者抽象出最簡單的程度，以精確了解新實(shí)您可以開始定義您的生態(tài)系統(tǒng)范圍內(nèi)的和范圍外的內(nèi)容，以及定義內(nèi)部分類法，為新引入的系統(tǒng)和工這一重要步驟對于后續(xù)處理未來風(fēng)險至關(guān)重要，要融入安全設(shè)計(jì)，并實(shí)施強(qiáng)大的數(shù)據(jù)保護(hù)，監(jiān)控統(tǒng)的行為特征，以采用堅(jiān)固的多層防御方法。為了在這樣快速發(fā)展的行業(yè)中保持更新，“如今由人工智能進(jìn)行決策，從增強(qiáng)人類決策到取代人類決策，如何確保這種人工智WWW.LAKERA.AI212024報告2024報告2024報告2024報告第三節(jié)-遇到和管理漏洞隨著通用人工智能和大型語言模型技術(shù)在組織運(yùn)營中絕大多數(shù)（91%）受訪者表示，他們的組織在過去一年中并未經(jīng)歷過任何絕大多數(shù)（91%）受訪者表示，他們的組織在過去一年中并未經(jīng)歷過任何GenAI/LLM漏洞。這可能表明安全措施有效，或者更令人擔(dān)憂的是，缺乏檢測能力。相反，9%的受訪者報告稱遇到了漏洞。這個數(shù)據(jù)子集對于理解與生成式人工智能（GenAI）技術(shù)相關(guān)的現(xiàn)實(shí)世界挑戰(zhàn)和威脅至關(guān)重要。過去一年在GenAI/LLM漏洞方面的經(jīng)驗(yàn)·2024報告2024報告第三節(jié)-遇到和管理漏洞最常報告的問題是有偏見的結(jié)果，47%的經(jīng)歷過漏洞的人提到了這一點(diǎn)。這突顯了確保AI模型產(chǎn)生公平和無偏見結(jié)果的持續(xù)挑戰(zhàn)。另一個重要擔(dān)憂是數(shù)據(jù)泄露，有42%的受訪者報告了這種情況。在部署GenAI系統(tǒng)的過程中，保護(hù)敏感數(shù)據(jù)免受暴露仍然是一個首要任務(wù)。34%的受訪者提到了模型操作或篡改，表明了旨在改變?nèi)斯ぶ悄苣Ｐ托袨榈膶剐怨舻耐{。19%的受訪者報告了未經(jīng)授權(quán)訪問GenAI系統(tǒng)的情況，這表明需要加強(qiáng)有38%的人報告了AI/LLM輸出的濫用，這突顯了不恰當(dāng)或惡意使用AI生成信息所相關(guān)的風(fēng)險。WWW.WWW.LAKERA.AIWWW.LAKERA.AI22非授權(quán)訪問2024報告第三節(jié)-遇到和管理漏洞WWW.LAKERA.AI23最常見的影響是輕微的操作中斷，36%的遇到漏洞的人經(jīng)歷了這種情況。這表明雖然漏洞會造成中斷，但它們通常是可以管理的。有趣的是，25%的受訪者報告說，最嚴(yán)重的漏洞沒有影響，這可能表明緩解措施成功、復(fù)原力策略有效，或者這些應(yīng)用程序正處于測試階段，而不是完全集成到公司的服務(wù)組合中。有12%的受訪者報告了重大中斷，這表明某些漏洞可能對運(yùn)營產(chǎn)生嚴(yán)重影響。10%面臨法律或監(jiān)管后果，凸顯了未能確保生成式AI系統(tǒng)的嚴(yán)重后果。數(shù)據(jù)泄露，盡管不太常見，但也有7%的企業(yè)報告了此類事件，這突顯了在GenAI部署中對數(shù)據(jù)保護(hù)的關(guān)鍵需求。法律/法規(guī)數(shù)據(jù)泄露后果輕微操作顛覆主要運(yùn)營顛覆無影響確保人工智能系統(tǒng)的安全所面臨的最重大挑戰(zhàn)源于人工智能算法的快速演變以及它們處理的龐大數(shù)據(jù)量。確保其安全性需要持續(xù)監(jiān)控和適應(yīng)不斷出現(xiàn)的安全威脅和漏洞，以及在現(xiàn)有服務(wù)提供商未經(jīng)事先通知就將人工智能整合到其產(chǎn)品或服務(wù)中時能夠檢測和預(yù)防的能力。此外，缺乏針對人工智能量身定制的安全標(biāo)準(zhǔn)框架，使得在各個平臺和應(yīng)用程序中實(shí)施一致的安全措施變得更加復(fù)雜。作為顧問，我正與安全相關(guān)初創(chuàng)公司積極合作，以應(yīng)對這些挑戰(zhàn)，并開發(fā)針對人工智能環(huán)境量身定制的強(qiáng)大安全解決方案，確保下一代安全公司優(yōu)先考慮及時的安全保障。2024報告第三節(jié)-遇到和管理漏洞對最嚴(yán)重的GenAI/對最嚴(yán)重的GenAI/LLM漏洞的響應(yīng)速度有44%的受訪者表明他們立即處理了最嚴(yán)重的漏洞，在24小時之內(nèi)。這種快速響應(yīng)對于將潛在損害降至最低至關(guān)重要。有44%的受訪者表明他們立即處理了最嚴(yán)重的漏洞，在24小時之內(nèi)。這種快速響應(yīng)對于將潛在損害降至最低至關(guān)重要。20%的人能夠在一周內(nèi)解決問題，這表明有效的但略微較慢的令人擔(dān)憂的是，20%的人報告說最嚴(yán)重的漏洞仍未得到充分解決，這凸顯了響應(yīng)能力方面存在重大差距。立即(24小時內(nèi))仍未完全已處理一個月內(nèi)長于立即(24小時內(nèi))仍未完全已處理一個月內(nèi)長于一周內(nèi)一個月一個月內(nèi)解決10%的漏洞，6%的漏洞耗時超過一個月，這表明事件響應(yīng)時間有改進(jìn)的空間。一個月25%的受訪者認(rèn)為他們識別和解決漏洞的速度與自己同伴差不多。21%的人認(rèn)為他們稍微快一些，而11%的人認(rèn)為他們快很多，顯示出他們對20%的人不確定，表明缺乏基準(zhǔn)測試或行業(yè)比較。相反，13%的人覺得他們有點(diǎn)慢，10%的人覺得他們慢得多，這表明了需要改WWW.WWW.LAKERA.AIWWW.LAKERA.AI24您在確保人工智能系統(tǒng)方面遇到的最大障礙是什么？“流行度和易獲取性使其具有挑戰(zhàn)性。對于您的組織來說，人工智能系統(tǒng)是什么？您使用的許多產(chǎn)品已經(jīng)擁有或有很快將擁有人工智能功能。員工可以在工作之外訪問公共模型，比如ChatGPT，即使在工作時訪問被封鎖?！甭稀ぐ驳铝宜笶lastic的CISO2024報告第三節(jié)-遇到和管理漏洞WWW.LAKERA.AIWWW.LAKERA.AI25與同行相比，識別和解決GenAI/LLM與同行相比，識別和解決GenAI/LLM漏洞的速度不確定稍快快得多稍加更慢關(guān)于相同速度很更慢報告沒有漏洞的組織比例很高（91%），這引發(fā)了關(guān)于檢測能力和潛在的瞞報問題的疑問。這種對比表明需要改進(jìn)監(jiān)控和檢測系統(tǒng)。廣泛報告的漏洞，從有偏見的輸出到未經(jīng)授權(quán)的訪問，表明了GenAI風(fēng)險的多方面性。組織必須采取全面的安全措施來應(yīng)對這些多樣化的威脅。響應(yīng)時間的可變性，一些組織仍然沒有完全解決漏洞，凸顯了需要強(qiáng)大而靈活的事件響應(yīng)框架。質(zhì)和影響提供了關(guān)鍵見解。響應(yīng)時間和準(zhǔn)備程度的差異表明了在安全實(shí)踐、穩(wěn)健的事件響應(yīng)策略和全面的監(jiān)控系統(tǒng)方您在確保人工智能系統(tǒng)方面遇到的最大障礙是什么？?人們急于實(shí)施人工智能。?人們在實(shí)施人工智能時沒有花時間去完全理解他們所實(shí)施的人工智能。?人們不理解人工智能可讀/寫的那些數(shù)據(jù)。?人們不了解人工智能可以采取的行動。?人們對整體人工智能實(shí)施的完整業(yè)務(wù)影響理解不全面。丹尼爾·米斯勒無監(jiān)督學(xué)習(xí)創(chuàng)始人WWW.LAKERA.AIWWW.LAKERA.AI262024報告2024報告第四章-安全措施和最佳實(shí)踐2024報告2024報告第四章-安全措施和最佳實(shí)踐引領(lǐng)潮流，61%的組織已實(shí)施基于角色的訪問控制等訪問控制機(jī)制和最小權(quán)限原則。這種廣泛采用突顯了訪問控制在保護(hù)敏感人工智能系統(tǒng)中的基傳輸中和靜止?fàn)顟B(tài)下的數(shù)據(jù)加密是另一種廣泛采用的措施，55%的受訪者表示正在使用它。加密作為對抗未經(jīng)授權(quán)的數(shù)據(jù)訪問和泄露的關(guān)鍵防43%的機(jī)構(gòu)進(jìn)行內(nèi)部和外部定期的安全審計(jì)。這些審計(jì)有助于識別漏洞并確保符合安全標(biāo)準(zhǔn)。es，這反映了對人工智能技術(shù)帶來的獨(dú)特安全挑戰(zhàn)的認(rèn)識。有28%的受訪者對現(xiàn)有的安全實(shí)踐不確定，13%的受訪者報告沒有任何上述措施，這表明在安全意識和實(shí)施方面存在顯著差距。37%的組織采用滲透測試，以主動識別和解決安全漏洞，防止它們被利22%的機(jī)構(gòu)利用了針對人工智能的威脅建模，突出了制定定制化安全策略以應(yīng)對與生成式人工智能相關(guān)的獨(dú)特風(fēng)險的需求。2024報告2024報告第四章-安全措施和最佳實(shí)踐WWW.LAKERA.AIWWW.LAKERA.AI27數(shù)據(jù)加密定期安全審計(jì)滲透測試安全開發(fā)實(shí)踐人工智能特定威脅建模2024報告第四章-安全措施和最佳實(shí)踐WWW.LAKERA.AI28令人擔(dān)憂的是，32%的受訪者表示他們的組織沒有正式的GenAI令人擔(dān)憂的是，32%的受訪者表示他們的組織沒有正式的GenAI/LLM安全政策，并且沒有計(jì)劃制定一個。這突顯了一個關(guān)鍵改進(jìn)領(lǐng)域，因?yàn)檎降恼邔τ谥笇?dǎo)一致和有效的安全實(shí)踐至關(guān)重要。30%的組織正在制定正式的安全策略。這是一個日益認(rèn)識到結(jié)構(gòu)化安全框架必要性的積極跡象。22%的受訪者報告已制定正式的、最新的GenAI/LLM安全政策，表明其準(zhǔn)備程度和安全性承諾更高。16%的受訪者對這類政策的存在表示不確定，這表明組織內(nèi)部需要更好的溝通和意識。不確定建立政策缺乏正式政策政策在發(fā)展你們在組織中優(yōu)先采取哪些措施來增強(qiáng)AI/LLM安全？首先建立對AI/LLM特定安全威脅的理解和認(rèn)識。我們通過威脅建模來評估每個新的AI的威脅（例如提示注入）。關(guān)鍵在于人們理解可能發(fā)生什么以及可能出錯什么，以及我們能為此做些什么。馬爾塞爾·溫安迪e.on公司的高級網(wǎng)絡(luò)安全架構(gòu)師安全顧問和通訊訂閱安全公告和簡報是獲取信息最常見的方法，59%的受訪者使用此方法。這反映了持續(xù)學(xué)習(xí)和了解最新威脅情報的重要性。38%的組織與外部安全研究人員合作，以增強(qiáng)其威脅檢測和響應(yīng)能力。參與行業(yè)論壇和群組是另一種關(guān)鍵方法，53%的受訪者表示他們參與了其中。這些論壇為知識分享和協(xié)作提供了寶貴的機(jī)會。只有1%的受訪者對自己的組織如何保持信息靈通表示不確定，這表明大多數(shù)組織都建立了一些機(jī)制來提高威脅意識。2024報告第四章-安全措施和最佳實(shí)踐WWW.LAKERA.AI2952%的組織維持著專門致力于安全的內(nèi)部研究團(tuán)隊(duì)，這突顯了專業(yè)知識的價值，用于識別和緩解威脅。安全行業(yè)安全行業(yè)協(xié)作不確定警告和通訊錄論壇和組研究帶安全研究人員方法盡管認(rèn)識到安全是一個障礙，相當(dāng)一部分受訪者正在繼續(xù)LLM部署。大約30%將安全視為障礙的受訪者也擔(dān)心漏洞，但他們?nèi)栽趯?shí)施LLM。盡管存在風(fēng)險，但他們前進(jìn)的決心強(qiáng)調(diào)了有效安全解決方案的迫切需求，這些方案能夠緩解這些漏洞。令人擔(dān)憂的是，在報告未采取任何推薦安全措施的受訪者中，已有39%部署了LLM應(yīng)用。這種安全意識和實(shí)施方面的顯著差距表明，迫切需要加強(qiáng)教育和采用基本安全實(shí)踐，以保護(hù)這些部署。組織缺乏正式的GenAI/LLM安全政策的高比例（32%）令人擔(dān)憂。這個差距突顯了一個關(guān)鍵領(lǐng)域，即組織需要制定結(jié)構(gòu)化的方法來管理GenAI安全風(fēng)險。雖然訪問控制和數(shù)據(jù)加密已被廣泛采用，但像AI特定威脅建模和AI安全開發(fā)這樣的實(shí)踐則不太常見。這種對比表明，雖然基礎(chǔ)安全措施已到位，但更高級和定制化的策略仍在興起。安全公告、行業(yè)論壇和內(nèi)部研究團(tuán)隊(duì)的顯著使用反映了一種積極的方法，以保持信息靈通。然而，與外部研究人員的相對較低合作表明，有增加外部參與以增強(qiáng)威脅情報的空間。本節(jié)的研究結(jié)果揭示了當(dāng)前組織所采用的安防措施中的優(yōu)勢與不足。雖然訪問控制和加密等基礎(chǔ)實(shí)踐得到了廣更全面且針對AI的安防策略。許多組織中缺乏正式2024報告2024報告第四章-安全措施和最佳實(shí)踐WWW.LAKERA.AIWWW.LAKERA.AI30哪項(xiàng)人工智能相關(guān)的漏洞你最擔(dān)心將這是我們的專家回答的：雖然人工智能在信任與安全（T&S）等領(lǐng)域釋放了巨大潛力，但它同時也為T&S團(tuán)隊(duì)帶來了新的問題。例如，我們已經(jīng)看到多個實(shí)例，即惡意行為者利用人工智能模型生成涉及兒童的有害內(nèi)容。隨著人工智能產(chǎn)品被廣泛采用，負(fù)責(zé)任地獲取訓(xùn)練數(shù)據(jù)、對人工智能模型進(jìn)行紅隊(duì)測試、確保內(nèi)容來源可靠以及其他此類策略對于安全至關(guān)重要。在來年的主要關(guān)注點(diǎn)在于提示注入攻擊日益增長的危險，這種攻擊可以操縱人工智能生成的內(nèi)容并損害數(shù)據(jù)完整性。提示注入攻擊可能導(dǎo)致私人信息的泄露并產(chǎn)生有害輸出。人工智能系統(tǒng)的越獄，這是一個攻擊者濫用人工智能如何解釋輸入以繞過安全控制的概念，也令人擔(dān)憂，因?yàn)樗试S未授權(quán)的行為。提示注入和越獄的結(jié)合使得人工智能系統(tǒng)極易受到惡意操縱和濫用。WWW.LAKERA.AI312024報告2024報告2024報告2024報告本節(jié)考察了組織感知的最重大風(fēng)險以及他們應(yīng)對這些威脅的準(zhǔn)備情況，突出了未。第五節(jié)-挑戰(zhàn)與未來方向ManagingcomplexityManagingcomplexityTopconcernspreparednessLevels哪項(xiàng)人工智能相關(guān)的漏洞你最擔(dān)心將在來年出現(xiàn)？我目前想到的前兩名是：1.敏感信息泄露2.不安全的輸出處理如果你看看針對大模型的OWASPTop10，所有其他的漏洞都是這些漏洞在某種程度上的一種變體。此外，這些不是針對生成式AI技術(shù)的特定新漏洞。在設(shè)計(jì)或開發(fā)新功能/應(yīng)用程序/用例時，AI只是一個需要考慮的不受信任實(shí)體，包含在威脅模型中。需要考慮的核心安全原則保持不變：數(shù)據(jù)最小化、最小權(quán)限、輸入/輸出凈化，以及安全處理等。然而，如果不處理這些，其風(fēng)險會根據(jù)生成式AI技術(shù)的使用方式和地點(diǎn)而急劇增加。”Handshake的安防與IT副總裁，前Pinterest員工2024報告2024報告第五節(jié)-挑戰(zhàn)與未來方向居首位，73%的受訪者認(rèn)為確保數(shù)據(jù)隱私是一項(xiàng)重大風(fēng)險。這種擔(dān)憂反映了在數(shù)據(jù)泄露和隱私侵犯可能帶來嚴(yán)重后果的時代，保護(hù)敏感信息的38%的受訪者認(rèn)為將AI/LLM的使用與道德指南和法規(guī)相結(jié)合是一個重大風(fēng)險。確保遵守不斷發(fā)展的監(jiān)管框架對于維護(hù)信任和完整性至關(guān)重近一半受訪者（46%）強(qiáng)調(diào)了防止未經(jīng)授權(quán)訪問日益復(fù)雜的系統(tǒng)的挑戰(zhàn)。這表明需要強(qiáng)大的訪問控制和先進(jìn)的安全措施來保護(hù)人工智能系統(tǒng)免受外部威脅。37%強(qiáng)調(diào)了開發(fā)本質(zhì)上安全的AI/LLM系統(tǒng)的挑戰(zhàn)。這包括從一開始就將安全考慮因素集成到AI開發(fā)生命周期中。26%的受訪者將AI/LLM系統(tǒng)的復(fù)雜性視為風(fēng)險。管理這種復(fù)雜性需要全面的策略和工具，以確保人工智能技術(shù)的穩(wěn)健性和可靠性。42%的受訪者擔(dān)心跟不上人工智能/大語言模型能力的快速進(jìn)步。人工智能技術(shù)的快速演變性質(zhì)要求安全協(xié)議不斷更新和改進(jìn)。39%的受訪者將檢測和緩解新漏洞列為一個關(guān)鍵挑戰(zhàn)。這突顯了先進(jìn)威脅檢測系統(tǒng)和主動漏洞管理的重要性。預(yù)防非授權(quán)訪問保持步伐進(jìn)展檢測和減輕新漏洞與道德一致指導(dǎo)方針和法規(guī)開發(fā)安全管理復(fù)雜性管理復(fù)雜性WWW.LAKERA.AI322024報告第五節(jié)-挑戰(zhàn)與未來方向WWW.LAKERA.AI33應(yīng)對挑戰(zhàn)的準(zhǔn)備工作適度準(zhǔn)備絕大多數(shù)受訪者（33%）認(rèn)為他們的準(zhǔn)備程度處于中等水平（5分中的3分)。這表明他們認(rèn)識到了挑戰(zhàn)，但也暗示了在安全實(shí)踐和準(zhǔn)備方面有改進(jìn)很大一部分（26%）將他們的準(zhǔn)備程度評為2分（滿分5分），這表明他們對自己應(yīng)對新出現(xiàn)威脅的能力缺乏信心。這凸顯了在安全能力方面進(jìn)行針對性投資更高準(zhǔn)備度21%的受訪者將其準(zhǔn)備情況評為4分（滿分5分），反映出更高的信心水平 ,并且可能擁有更先進(jìn)的安全框架。只有5%的受訪者將其準(zhǔn)備情況評為最高水平（5分），表明很少有組織感覺完全準(zhǔn)備好應(yīng)對所有與通用人工智能（GenAI）相關(guān)的挑戰(zhàn)。令人擔(dān)憂的是，20%的受訪者將他們的準(zhǔn)備程度評為1分（滿分5分），這表明他們存在嚴(yán)重漏洞，并且其安全態(tài)勢亟需改進(jìn)。應(yīng)對新興的生成式應(yīng)對新興的生成式AI/大語言模型安全挑戰(zhàn)的準(zhǔn)備工作21%Higherpreparedness33%26%Lowerpreparedness20%Leastprepared對數(shù)據(jù)隱私的高度關(guān)注與中等水平的準(zhǔn)備程度形成鮮明對比。這種差異表明，雖然組織意識到了風(fēng)險，但許多組織仍在制定有效緩解策略的早期階段。一個顯著的發(fā)現(xiàn)是，在20%準(zhǔn)備最不充分的受訪者中，64.9%正在積極實(shí)施LLMs。這種積極主動但準(zhǔn)備不足的方法凸顯了這些組織加強(qiáng)安全措施以防止?jié)撛诼┒春惋L(fēng)險的緊迫性。26%的受訪者承認(rèn)管理人工智能系統(tǒng)復(fù)雜性的挑戰(zhàn)，但對解決這一復(fù)雜性的準(zhǔn)備程度卻存在差異。這種差異性源于資源和響應(yīng)能力的不同。通常擁有專門的人工智能安全團(tuán)隊(duì)和更結(jié)構(gòu)化框架的大型組織，往往準(zhǔn)備得更充分。相比之下，資源較少、政策不太正式的小型組織則更難應(yīng)對這些復(fù)雜性。這種差異體現(xiàn)在先進(jìn)安全實(shí)踐采用程度的不同以及處理人工智能相關(guān)挑戰(zhàn)的信心水平差異上。組織必須優(yōu)先發(fā)展全面的管理框架來處理人工智能系統(tǒng)的復(fù)雜性。強(qiáng)調(diào)將GenAI/LLM的使用與道德指南和法規(guī)相結(jié)合，突顯了對負(fù)責(zé)任AI重要性日益增長的認(rèn)識。然而，實(shí)現(xiàn)這種一致性的準(zhǔn)備情況表明了持續(xù)的努力和適應(yīng)監(jiān)管變化的必要性。2024報告2024報告第五節(jié)-挑戰(zhàn)與未來方向哪項(xiàng)人工智能相關(guān)的漏洞你最擔(dān)心這是我們的專家回答的：我們主要關(guān)注點(diǎn)不在于大型語言模型（LLMs）特有的漏洞，而在于人工智能（AI）和LLM工具和框架中的傳統(tǒng)Web漏洞。盡管人們非常關(guān)注獨(dú)特的AI安全威脅，但用于構(gòu)建AI驅(qū)動系統(tǒng)的框架的安全設(shè)計(jì)和實(shí)現(xiàn)往往受到的關(guān)注較少。我們的研究已經(jīng)識別出多個問題，例如在領(lǐng)先的LLMSDK中可通過標(biāo)準(zhǔn)提示注入觸發(fā)的遠(yuǎn)程代碼執(zhí)行（RCE）。為了確保健壯和安全的AI驅(qū)動應(yīng)用程序，絕不能忽視傳統(tǒng)安全領(lǐng)域。艾略特·沃德Snyk安全實(shí)驗(yàn)室安全研究員“深度偽造技術(shù)利用人工智能制作令人信服的虛假視頻、音頻和圖像，對個人和國家安全構(gòu)成重大威脅。它們有可能被用于虛假信息傳播、宣傳和操控，導(dǎo)致社會動蕩、金融欺詐以及對機(jī)構(gòu)信任的侵蝕。深度偽造技術(shù)的日益復(fù)雜化和易得性使惡意行為者更容易制作和傳播令人信服的虛假內(nèi)容。因此，深度偽造技術(shù)有可能破壞我們數(shù)字社會的根基，并損害我們區(qū)分事實(shí)與虛構(gòu)的能力。”黃凱CSA人工智能安全工作組聯(lián)合主席，云安全聯(lián)盟“相比于任何單一漏洞，我更擔(dān)心公司加速部署基于大語言模型的工具的深度，而往往不顧及安全問題。在應(yīng)用程序或操作系統(tǒng)中深度集成會創(chuàng)造一個新的高價值目標(biāo)，這個目標(biāo)有潛力將原先分散、孤立的數(shù)據(jù)集中起來，并且可能以出乎意料的方式被操縱。部署得越深，妥協(xié)就越嚴(yán)重，一次又一次地證明了當(dāng)這些系統(tǒng)被部署時 ,它們是如何被利用的?！蹦仙す装柨七_(dá)信安全研究高級總監(jiān)WWW.LAKERA.AIWWW.LAKERA.AI342024報告第五節(jié)-挑戰(zhàn)與未來方向WWW.LAKERA.AI35本節(jié)的研究結(jié)果表明，組織需要提高其應(yīng)對與生成高的認(rèn)識，但準(zhǔn)備程度的差異表明有巨大的改進(jìn)空間。通過優(yōu)先考慮數(shù)據(jù)隱私、加強(qiáng)訪問控制、投資持續(xù)學(xué)習(xí)以及遵循道德準(zhǔn)2024報告2024報告方法學(xué)WWW.LAKERA.AI