大規(guī)模云資源容量管理實踐亞馬遜云科技戰(zhàn)略客戶事業(yè)部解決方案架構(gòu)師高級經(jīng)理*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外容量管理為什么那么重要?!電商大促618,雙11等以AmazonPrimeDay為例zoonzoonOriginOrigin+ComputeMid-Tier游戲版更視頻圖片分發(fā)|秒殺AmazonCloudFront,ALB預(yù)熱*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外業(yè)務(wù)可擴展性,要求剛性交付的挑戰(zhàn)可擴展性:是系統(tǒng)動態(tài)改變?nèi)萘恳赃m應(yīng)流量變化的能力可擴展性:是系統(tǒng)動態(tài)改變?nèi)萘恳赃m應(yīng)流量變化的能力?垂直擴展:資源本身的大小?水平擴展:資源的多和少可擴展性目標(biāo):可擴展性目標(biāo):是讓實際容量盡可能接近處理當(dāng)前流量所需的容量,從而獲得最大的收益剛性交付:容量未成功交付會帶來損失,損失不可接受就是要求容量(計算,帶寬,存儲大小,IOPS等)的剛性交付機會成本AutomatedScaling*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外2015年9月20日/message/5467D2/正常情況下,存儲服務(wù)器會查詢元數(shù)據(jù)服務(wù)獲取成員資格信息但由于元數(shù)據(jù)服務(wù)響應(yīng)時間過長,部分存儲服務(wù)器無法獲取成員資格數(shù)據(jù)TimetoDetect元數(shù)據(jù)服務(wù)負載增加,導(dǎo)致更多服務(wù)器無法獲取成員資格數(shù)據(jù)+Time+TimetoScale錯誤率穩(wěn)定在約55%,遠超過過去3年的任何水平由于元數(shù)據(jù)服務(wù)負載過高,無法成功執(zhí)行管理請求*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外可擴展性挑戰(zhàn)三種應(yīng)對方法*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外可擴展性挑戰(zhàn)的客觀因素和應(yīng)對市場因素:重大節(jié)日促銷本地重大比賽活動1.市場因素:重大節(jié)日促銷本地重大比賽活動專注于基礎(chǔ)設(shè)施,在線服務(wù)能夠滿足日常的業(yè)務(wù)擴張架構(gòu)挑戰(zhàn):機型單—,而且規(guī)格比較大,單—區(qū)域只使用2個或單個可用區(qū)極端情況下的可擴展性能力實現(xiàn)業(yè)務(wù)特征:機型單—,而且規(guī)格比較大,單—區(qū)域只使用2個或單個可用區(qū)極端情況下的可擴展性能力實現(xiàn)業(yè)務(wù)特征:業(yè)務(wù)波動比較大,帶來的算力波峰波谷波動大供不應(yīng)求的加速計算旨在提高資源利用率和性能表現(xiàn),識別和修復(fù)效能瓶頸3.架構(gòu)擴展(涉及對系統(tǒng)架構(gòu)進行優(yōu)化以支持更高的增長潛力,比如單體到微服務(wù),事件驅(qū)動,多區(qū)域架構(gòu)等等*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外可擴展性:先問值不值再問行不行?法則—:將成本視為—種非功能性需求?法則二:確保系統(tǒng)的最終成本與業(yè)務(wù)保持—致?法則三:架構(gòu)設(shè)計是—系列權(quán)衡的集合?法則四:無法觀測的系統(tǒng)將帶來無法估量的成本?法則五:依托成本感知架構(gòu)實現(xiàn)成本控制?法則六:成本優(yōu)化是個漸進的過程?法則七:沒經(jīng)歷過挫折會讓人盲目自信AlignmentAlignmentdatadata*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外運營擴展(運營擴展(300025002000150010005000單位:億美元272718391839185010008008007507502025年資本支出2025年資本支出數(shù)據(jù)來源:2025Q2,三家財報數(shù)據(jù)在2023年51Billion*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外快-可觀測性和自動化程度高效率擴展(*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外運營擴展(Inf2Inf21公共按需實例資源池2公共競價實例資源池好-選擇容量管理產(chǎn)品豐富的運營擴展(Inf2Inf21公共按需實例資源池2公共競價實例資源池成本優(yōu)化:成本優(yōu)化:容量管理:容量管理:???流量模式?44與集群管理無縫集成AmazonThinkboxInfInf233客戶預(yù)留實例資源池*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外好好-可擴展的韌性架構(gòu)架構(gòu)擴展(可靠性優(yōu)先架構(gòu):恒定工作模式擴展的韌性高可用可靠性優(yōu)先架構(gòu):恒定工作模式擴展的韌性高可用災(zāi)難恢復(fù)*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外省-消除浪費,整體擁有成本低運營擴展(量量價價持續(xù)優(yōu)化“單位業(yè)務(wù)成本”支撐業(yè)務(wù)成果優(yōu)化方式舉例用量優(yōu)化用量優(yōu)化資源優(yōu)化資源優(yōu)化價格優(yōu)化價格優(yōu)化*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外云大規(guī)模容量管理實踐*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外結(jié)構(gòu)化管理云大規(guī)模容量的框架Inf2M6gM6gTeamATime管理調(diào)度容量資源1公共按需實例資源池Inf2M6gM6gEventualusage Initialusage2公共競價實例資源池 Inf2M6gM6gInf2M6gM6gTeamATime管理調(diào)度容量資源1公共按需實例資源池Inf2M6gM6gEventualusage Initialusage2公共競價實例資源池 Inf2M6gM6g3客戶預(yù)留實例資源池運營擴展(OperationalScaling)*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外Inf2M6gM6g1公共按需實例資源池Inf2M6gM6g云資源池,比你想象的還要豐富和動態(tài)Inf2M6gM6g1公共按需實例資源池Inf2M6gM6gInfInf2M6gM6gM6gM6g2公共2公共競價實例資源池33客戶預(yù)留實例資源池動態(tài)均衡,市場調(diào)節(jié)特點:?最新和最豐富的實例類型?列表價基準?默認啟動的EC2的容量池特點:?便宜,最低可以是按需實例的90%Off?中斷:當(dāng)市場需求旺盛時,競價SizeSize8OPENSize100特點:?按實際使用量收費特點:?獨占,按預(yù)留數(shù)量收費?可靈活管理:取消,改變數(shù)量,拆分,容量在不同預(yù)留種轉(zhuǎn)移,預(yù)留組,指定成本分攤,等等現(xiàn)在就要或提前規(guī)劃:?至少提前5天,最多提前120天*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外整體容量視角-“錯峰”調(diào)度<A+Bwithhigherutilizatio60400606040060400400TimeTimeTimeTimeTime兩個業(yè)務(wù)團隊的不同工作負載,流量的模式是否可以錯峰調(diào)度?整體視角,錯峰調(diào)度可以縮小容量波峰波谷的范圍,提升資源整體利用率*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外可擴展性“剛性”交付的總體策略CapacityReservations容量預(yù)留3管理和優(yōu)化客戶預(yù)留實例資源池,少數(shù)核心的實例類型r—><Diversification&Flexibility多樣性和靈活性實例類型、大小、可用區(qū)、區(qū)域容量池-按需和競價業(yè)務(wù)錯峰1公共按需實例資源池2公共競價實例資源池充分“榨取”公有云的巨大公共資源優(yōu)勢,有時需要“搶占”:1公共按需實例資源池2公共競價實例資源池*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外AmazonEC2AutoScaling根據(jù)應(yīng)用性能基線,基MemoryPerformanceStorageType50%On-Demand50%SpotMinimumOn-Demand(10)3客戶3客戶預(yù)留實例資源池11公共按需實例資源池22公共競價實例資源池容量預(yù)留策略:動資源,進—步可以關(guān)聯(lián)按需實例類型選擇策略:1.最低價策略(默認)競價實例類型選擇策略:*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外KubectlControlplane(托管)AmazonVPC*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外ScaleupASGPendingpods Pendingpods UnschedulablepodsMetricsserverAPIKarpenterMetricsserverAPIKarpenter–key–key:karpenter.sh/capacity–typeoperator:Invalues:["spot","on–demand"]*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外啟用Karpenter引入競價實例最高90%折扣最高40%性價比啟用Karpenter引入競價實例最高90%折扣最高40%性價比成本基線CustomersaresightingadoptingKarpenterWorkloadwasallreadyforSpottogetthebestKarpenterwillprovisioninfrastructureIftheworkloadisstatelesflexibleandfault-tolerantIftheworkloadcancompileforarm64instructionset應(yīng)用的性能基線(Fault-tolerantTrino,Spark等*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外24交易所&24交易所&3,300證券公司#1in#1inIT”連續(xù)10年入選該年度榜單峰值每天處理市場事件信息存儲和管理600+petabytes數(shù)據(jù)存儲和管理600+petabytes數(shù)據(jù)峰值每天300,000+*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外Dailyeventvolume665billion700Dailyeventvolume665billion70060050040030020004/1/201910/1/20194/1/202010/1/20204/1/202110/1/20214/1/202210/1/20224/1/202310/1/20234/1/201910/1/20194/1/202010/1/20204/1/202110/1/20214/1/202210/1/20224/1/202310/1/2023DailyVolumeCumulativeVolume兆360trillion400平均每個工作日節(jié)點數(shù)兆360trillion400350,0003503002502000CumulativevolumeAvgnumberofnodes300,000250,000200,000150,000100,00050,000020202020202020202021202120212021202220222022202220232023AvgWeekdayComputeN*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外Datavolume(billions)ComputehoursperbillioneventsDatavolume(billions)Computehoursperbillionevents效率擴展結(jié)果計算總小時數(shù)vs處理的數(shù)據(jù)規(guī)模400350300250200400350300250200同樣的數(shù)據(jù)量,只需要的原本70%-0-2021-2021-12-132021-12-292022-01-132022-01-312022-02-152022-03-032022-03-182022-04-042022-04-202022-05-052022-05-202022-06-072022-06-232022-07-112022-07-262022-08-102022-08-252022-09-122022-09-272022-10-132022-10-282022-11-142022-11-302022-12-152023-01-032023-01-192023-02-032023-02-212023-03-082023-03-232023-04-102023-04-252023-05-102023-05-252023-06-122023-06-282023-07-142023-07-312023-08-152023-08-302023-09-15DatavolumeComputetime/billionevents*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外運營擴展和可預(yù)測性提升Jun2022–Jul2023Jun2022–Jul202380000700006000050000400003000020000100000100150200250100150200250300320025030035050100150200250300350Dailylinkablevolumeinbillions*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外Numberofmarketdataevents(trillions)Computecost/biNumberofmarketdataevents(trillions)Computecost/billionevents(MDP)單位成本優(yōu)化結(jié)果Marketdatacomputecost/billionevents(relativetoQ12021)35.0030.0025.0020.0015.0010.00 0.00150%100%50%0%-50%-100%50%單位計算Q12021Q22021Q32021Q42021Q12022Q22022Q32022Q42022Q12023Q22023TotalMarketMonthlyEventsProcessed(Trillions)RelativeMDPComputeCost/BillionEvents(RelativetoJan2021)線性(RelativeMDPComputeCost/Billion