InfoBrief,贊助商:亞馬遜云科技和英偉達|2025年5月生成式和代理式AI就緒基礎(chǔ)設(shè)施戰(zhàn)略路線圖:從概念驗證到規(guī)模化生產(chǎn)IDC未來數(shù)字基礎(chǔ)設(shè)施議程研究副總裁生成式和代理式AI就緒基礎(chǔ)設(shè)施戰(zhàn)略|路線圖:從概念驗證到規(guī)模化生產(chǎn)單擊下方各個標題，跳轉(zhuǎn)到相應章節(jié)。本簡報內(nèi)容 3未來兩年,AI工作負載將成為企業(yè)基礎(chǔ)設(shè)施投資和變革的頭號驅(qū)動力 4許多AI項目之所以失敗,是因為對AI應用層和數(shù)據(jù)層的基礎(chǔ)設(shè)施要求不夠了解 5創(chuàng)建AI就緒型基礎(chǔ)設(shè)施需要了解場景的性能、安全、合規(guī)、成本和可持續(xù)發(fā)展要求 6AI模型選擇關(guān)系到成本、成果和基礎(chǔ)設(shè)施要求 7不同的AI模型和場景對基礎(chǔ)設(shè)施的要求也不同 8在制定部署決策時必須考慮安全、成本、連接性和數(shù)據(jù)主權(quán)/合規(guī) 9運營模式優(yōu)先項會影響部署方法 治理很重要—AI卓越中心可確保整個企業(yè)齊頭并進,加速做好AI就緒工作 根據(jù)生產(chǎn)規(guī)模要求設(shè)計概念驗證 基本指南 贊助商寄語 簡報,贊助商:亞馬遜云科技和英偉達2生成式和代理式AI就緒基礎(chǔ)設(shè)施戰(zhàn)略|路線圖:從概念驗證到規(guī)模化生產(chǎn)AI解決方案和服務上每花一美元，就會為經(jīng)濟帶來4.60美元的間接和誘導效應。來源:IDCMacroeconomicCenterofExcellence,2024和數(shù)據(jù)管理工具鏈在推動這類強大技術(shù)應用于大規(guī)模生產(chǎn)過程中起到的關(guān)鍵作AI可實現(xiàn)日常工作自動化,提高效率,因此可能會徹底改變從客服到各種內(nèi)部流程的運營方式。AI技術(shù)的快速普及必然會產(chǎn)生深遠的經(jīng)濟影響,重塑行業(yè),開辟新市場,改變競爭格局。本簡報將介紹IDC對AI全球使用情況、影響和價值創(chuàng)造的研究,聚焦企一些建議,確保他們成功部署和規(guī)?；\營AI。3簡報,贊助商:亞馬遜云科技和英偉達3生成式和代理式AI就緒基礎(chǔ)設(shè)施戰(zhàn)略|路線圖:從概念驗證到規(guī)?；a(chǎn)4簡報,贊助商:亞馬遜云科技和英偉達4施投資和變革的頭號驅(qū)動力未來兩年，以下哪些趨勢將對貴企業(yè)的計算和存儲資源利用產(chǎn)生最大的影響?65%65%渡到應用于大規(guī)模生產(chǎn)取決于企業(yè)能否化基礎(chǔ)設(shè)施戰(zhàn)略。注意:按國家/地區(qū)IT支出加權(quán)。n=1,129;來源:IDCWorldwideDigitalInfrastructureSentimentSurvey,2024年6月5簡報,贊助商:亞馬遜云科技和英偉達5?AI的計算要求可能因AI項目的生命周期而異。?并非所有AI計劃都必須有立竿見影的效果;許多計劃可能需要分批進行,需要數(shù)天甚至數(shù)周才能交付結(jié)果。數(shù)據(jù)存儲系統(tǒng)不統(tǒng)一加速器可擴展性不足(無數(shù)據(jù)湖)沒有AIOps團隊加速器可擴展性不足生產(chǎn)環(huán)境設(shè)計不當模型太大或太復雜不完整或不兼容的基礎(chǔ)設(shè)施堆棧層計算容量不足數(shù)據(jù)攝取能力不足硬件成本(資本支出)云實例成本(運營支出)將AI集成到大型基礎(chǔ)設(shè)施加速器可編程性有限過程復雜處理能力遇到瓶頸延遲問題可擴展特征存在差異延遲問題硬件(結(jié)構(gòu)、互連、處理器)不合適擴展現(xiàn)有安全防護措施6簡報,贊助商:亞馬遜云科技和英偉達6許多(但不是全部)AI工作負許多(但不是全部)AI工作負載需要高性能計算和數(shù)據(jù)基礎(chǔ)設(shè)施,這樣才能為實時分析和決策提供所需的處理能進行。成本管理AI工作負載生命周期各個階段對基礎(chǔ)設(shè)施的消耗情況差可能成本高昂,但時間越長靈活性越大。專用資產(chǎn)成本是可預測的,但難以擴展?？沙掷m(xù)發(fā)展高性能基礎(chǔ)設(shè)施對電源和冷型大小和規(guī)模的決策將直接影響能源使用和可持續(xù)發(fā)展。的全球企業(yè)一致認為,GenAI是一項重要的新型企業(yè)工作負載,與ERP和電子商務一樣,未來幾年需要增加技術(shù)支出。企業(yè)基礎(chǔ)設(shè)施必須具備強大的安全控制和合規(guī)功能,以保護敏感數(shù)據(jù),符合AI監(jiān)管要求。n=889;來源:IDCFutureEnterpriseResiliency&SpendingSurveyWave4,2024年4月7簡報,贊助商:亞馬遜云科技和英偉達7成果和基礎(chǔ)設(shè)施要求利用現(xiàn)有模型創(chuàng)建私有模型對特殊技能的需求更低》更新頻率》數(shù)據(jù)加權(quán)和參數(shù)調(diào)整影響模型選擇的因素》數(shù)據(jù)質(zhì)量和數(shù)量》可解釋性和集成》檢索增強生成(模型大小相差很大,源模型都需要—定程度的調(diào)優(yōu),8簡報,贊助商:亞馬遜云科技和英偉達8診《診《部署位置和集成處理器和存儲之間的權(quán)衡部署位置和集成權(quán)控制的程度.模型規(guī)模和性能.數(shù)據(jù)量和速度.所需的價值實現(xiàn)時間.所需的輸出精度.數(shù)據(jù)安全、合規(guī)和主權(quán).使用量和容量.模型自定義和更新的級別和頻率.數(shù)據(jù)和工作流互操作水平.延遲和性能、制定動態(tài)持續(xù)的模型更新和遷移計劃,以滿足不斷變化的數(shù)據(jù)科學9簡報,贊助商:亞馬遜云科技和英偉達9在判斷應用及其數(shù)據(jù)集部署位置和部署方式(跨本地數(shù)據(jù)中心、托管和數(shù)據(jù)中心托管站點、邊緣或公有云)時，哪些標準最重要?注意:按國家/地區(qū)IT支出加權(quán)。n=1,129;來源:IDCWorldwideDigitalInfrastructureSentimentSurvey,2024年6月制定跨專用和共享基礎(chǔ)設(shè)施部署數(shù)據(jù)政策框架專用計算專屬數(shù)據(jù)共享計算專屬數(shù)據(jù)專用計算公共數(shù)據(jù)共享計算公共數(shù)據(jù)簡報,贊助商:亞馬遜云科技和英偉達生成式和代理式AI就緒基礎(chǔ)設(shè)施戰(zhàn)略|路線圖:從概念驗證到規(guī)?；a(chǎn)運營模式優(yōu)先項會影響部署方法●客戶責任共同責任●提供商責任傳統(tǒng)的本地部署資本支出數(shù)據(jù)中心托管/托管專用基礎(chǔ)設(shè)施即服務共享公有云服務設(shè)施、電力和熱力硬件配置和容量基礎(chǔ)設(shè)施軟件配置和容量生命周期管理和更新網(wǎng)絡體系結(jié)構(gòu)數(shù)據(jù)管理和安全基礎(chǔ)設(shè)施運營工具和人員避免技術(shù)債務來源:IDCBuildVersusBuyDecision-Making:OptimizingAI-ReadyInfrastructureROI,#US51930224,2024年3月生成式和代理式AI就緒基礎(chǔ)設(shè)施戰(zhàn)略|路線圖:從概念驗證到規(guī)模化生產(chǎn)簡報,贊助商:亞馬遜云科技和英偉達AI基礎(chǔ)設(shè)施決策框架AI基礎(chǔ)設(shè)施決策框架政策和戰(zhàn)略提供指導,應牽頭制定決策框架和部署指南?！仿?lián)合內(nèi)外部最好的基礎(chǔ)設(shè)施?！分笇нx擇最適合的專用平臺和基礎(chǔ)設(shè)施技術(shù)?！吩谡麄€企業(yè)范圍內(nèi)共享經(jīng)驗教訓。》建立融資模式,促進跨AI場景的數(shù)據(jù)和工作流集成。IT就緒工作負載性能概況服務水平目標合規(guī)與主權(quán)參考架構(gòu)工作負載性能概況服務水平目標合規(guī)與主權(quán)參考架構(gòu)簡報,贊助商:亞馬遜云科技和英偉達生成式和代理式AI就緒基礎(chǔ)設(shè)施戰(zhàn)略|路線圖:從概念驗證到規(guī)?；a(chǎn)根據(jù)生產(chǎn)規(guī)模要求設(shè)計概念驗證價值》成本》價值》成本》效率復雜性和實施障礙評估》技能和文化就緒情況》生產(chǎn)途徑生成式和代理式AI就緒基礎(chǔ)設(shè)施戰(zhàn)略|路線圖:從概念驗證到規(guī)?；a(chǎn)基本指南AI就緒型基礎(chǔ)設(shè)施成功清單?調(diào)整現(xiàn)有治理和運營模式,以適應AI就緒型基礎(chǔ)設(shè)施成功清單?調(diào)整現(xiàn)有治理和運營模式,以適應AI賦能型業(yè)務。?貫徹工作負載和數(shù)據(jù)驅(qū)動的決策框架。?根據(jù)使用場景,將應用和數(shù)據(jù)匹配到最合適的平臺和??利用開源社區(qū)和供應商群體,獲取最新的創(chuàng)新成果和最佳實踐。?基于AI優(yōu)化的基礎(chǔ)設(shè)施(例如GPU服務器、全閃存陣列)50%50%簡報,贊助商:亞馬遜云科技和英偉達簡報,贊助商:亞馬遜云科技和英偉達IDC未來數(shù)字基礎(chǔ)設(shè)施議程研究副總裁MaryJohnstonTurner是IDC未來企業(yè)研究團隊成員,擔任未來數(shù)字基礎(chǔ)設(shè)施研究副總裁。她分析企業(yè)IT和業(yè)務戰(zhàn)略如何利用部署在專用數(shù)據(jù)中心和共享公共服務環(huán)境中的無處不在的自主云基礎(chǔ)設(shè)施解決方案。她的研究工作以企業(yè)改革數(shù)字基礎(chǔ)設(shè)施解決方案采購、保護和優(yōu)化的最佳實踐為基礎(chǔ)開展調(diào)查和深入分析,強調(diào)企業(yè)客戶的聲音。她的研究著重探討即用即付訂閱、跨云控制面和協(xié)作式企業(yè)基礎(chǔ)設(shè)施治理模式如何幫助企業(yè)更好地將基礎(chǔ)設(shè)施投資與關(guān)鍵業(yè)務成果和創(chuàng)新優(yōu)先點保持—致。生成式和代理式AI就緒基礎(chǔ)設(shè)施戰(zhàn)略|路線圖:從概念驗證到規(guī)?；a(chǎn)簡報,贊助商:2025年5月亞馬遜云科技和英偉達簡報,贊助商:2025年5月亞馬遜云科技和英偉達亞馬遜云科技nvIDIA在快速發(fā)展的AI領(lǐng)域,企業(yè)尋求加速部署生成式和代理式AI解決方案,以更快地釋放商業(yè)價值。14年來,AWS和NVIDIA—直合作提供全面的高性能AI訓練平臺,可為企業(yè)提供靈活的大規(guī)模GPU集群短期使用權(quán)。該平臺可通過AWSMarketplace以專屬優(yōu)惠的形式提供,簡化了采購流程,旨在簡化和擴展高級AI模型的開發(fā),使其成為尋求更快價值實現(xiàn)的成熟企業(yè)和初創(chuàng)公司的理想之選。NVIDIADGXCloudonAWS通過直接訪問NVIDIA最先進的GPU集群、—流的訓練和編排軟件以及AI專業(yè)知識有這些都以托管服務的形式提供。該平臺針對大規(guī)模多節(jié)點訓練進行了優(yōu)化,通過內(nèi)置的作業(yè)調(diào)度和工作負載管理功能,提供連續(xù)集群、低延遲和高GPU利用率。AWSNitro系統(tǒng)通過實時更新和智能硬件監(jiān)控實現(xiàn)工作負載的持續(xù)運行,最大限度地減少維護停機時間,同時最大限度地提高穩(wěn)定性。憑借AWS99.99%的基礎(chǔ)設(shè)施正常運行時間,結(jié)合NVIDIA彈性GPU架構(gòu)和企業(yè)級軟件堆棧,您的工作負載將中斷風險降至最低。生成式和代理式AI就緒基礎(chǔ)設(shè)施戰(zhàn)略|路線圖:從概念驗證到規(guī)?；a(chǎn)AI工作負載的訓練。企業(yè)從—開始就受益于更快的模型訓練、更短的解決方案交付時間和更高的生產(chǎn)力。AmazonEC2P6e-GB200實例搭載NVIDIAGraceBlackwell超級芯片和NVIDIA優(yōu)化的軟件堆棧,可提供前所未有的AI訓練和推理性能。安全性至關(guān)重要,AWS提供包括加密網(wǎng)絡和安全數(shù)據(jù)存儲在內(nèi)的全面功能。AWSNitro系統(tǒng)為數(shù)據(jù)和模型權(quán)重提供基于硬件的安全隔離和保護,而AWSKeyManagementService通過NitroEnclaves實現(xiàn)加密認證和安全密鑰管理。與生成式和代理式AI工作流集成該平臺與AWS生成式AI堆棧無縫集成,使組織能夠構(gòu)建復雜的AI應用程序——從聊天機器人和代碼生成器到自主AI代理。(EKS)上進行推理,同時利用NVIDIANIM微服務和NVIDIABlueprints實現(xiàn)快速部署。作為全球最全面、應用最廣泛的云平臺,AWS提供容量最大的NVIDIAGPU驅(qū)動的AI加速器,使客戶能夠大規(guī)模運行要求最嚴苛的AI工作負載。NVIDIADGXCloudonAWS代表著在實現(xiàn)高性能AI基礎(chǔ)設(shè)施的普惠化訪問方面實現(xiàn)了重大跨越。通過將NVIDIA的AI專業(yè)知識與AWS的可擴展云服務相結(jié)合,企業(yè)可以加速其AI創(chuàng)新之旅,降低運營復雜性,并釋放新的商機。該平臺的性能、安全性和靈活性使其成為尋求始終站在AI創(chuàng)新前沿的組織的基石。簡報,贊助商:亞馬遜云科技和英偉達簡報,贊助商:亞馬遜云科技和英偉達IDccustomsolu