新型智算中心算力池化技術(shù)白皮書新型智算中心算力池化技術(shù)白皮書前GPU、AI新型智算中心算力池化技術(shù)白皮書新型智算中心算力池化技術(shù)白皮書目前 目 新型智算中心算力池化技術(shù)白皮書新型智算中心算力池化技術(shù)白皮書5G、邊緣計(jì)算等支撐技術(shù)的持續(xù)發(fā)展，數(shù)智業(yè)務(wù)轉(zhuǎn)型過程中所產(chǎn)生IDC20252016202510163ZB,70%隨著智能計(jì)算廣泛融合到生產(chǎn)、生活的各個(gè)方面,以GU、AI芯片為主要算力資源的智算中心正逐步取代通用數(shù)據(jù)中心成為算力發(fā)IChatGPTGPU30%以上。如何在有限的資源供應(yīng)內(nèi)盡可能提高利用率，充分發(fā)揮算力效率的同時(shí)降低智算中心TCO，目前已成AIAWSre:Invent2018GPUFacebook2021GPU30%GTC2022GoogleGPU25%片的概率則越大。近幾年來，AI使得分散在各服務(wù)器中的CPU、GPU、AI資源，還可以為在集群的一個(gè)節(jié)點(diǎn)中執(zhí)行的單個(gè)AIAI輯上聚合，AI行分配。一方面，分配的資源數(shù)量可按AIAIAIGPU/AI計(jì)算技術(shù)（Kubernetes、OpenStackKubernetes互連互通的CPU、GPU、AIAI KubernetesKubernetes定制化增強(qiáng)，如支持分布式文件存儲(chǔ)、支持POD多網(wǎng)絡(luò)平面、支持RoCEv2/InfinibandKubernetesKubernetes度、分配，需配合KubernetesKubernetesKubernetesKubernetes設(shè)備插件：配合Kubernetes調(diào)度擴(kuò)展，為KubernetesGPUAI（如CUDARuntime）APIAIPOD根據(jù)上述技術(shù)架構(gòu)，當(dāng)AIKubernetesAPI創(chuàng)建應(yīng)用時(shí)，可按新增的池化資源類型指定申請(qǐng)的資源數(shù)量（如新型智算中心算力池化技術(shù)白皮書新型智算中心算力池化技術(shù)白皮書將調(diào)度結(jié)果響應(yīng)給KubernetesKubernetes正常執(zhí)行AIKubernetesPODPOD通過KubernetesPOD中插入虛擬GPU。AIGPU應(yīng)的真實(shí)智算資源位置、規(guī)格，按查詢結(jié)果分配智算資源、執(zhí)行AI活的聚合、調(diào)度以及釋放海量AIAI新型智算中心算力池化技術(shù)白皮書新型智算中心算力池化技術(shù)白皮書 1，靜態(tài)管理。GPU/AI2021年英偉達(dá)在部分AmpereGPUMIGA1007階段2以單物理GPU/AIGPU/AI實(shí)時(shí)響應(yīng)上層應(yīng)用對(duì)資源需求的變化，實(shí)現(xiàn)vGPU/AI芯片資源基于GPU/AI資源超分。AIAI資源，次選遠(yuǎn)程調(diào)用，任務(wù)資源不足時(shí)將AI隊(duì)列化管理，傳統(tǒng)的依賴于硬件支持的虛擬化技術(shù)下，AI應(yīng)用通過訪問GPU/AI芯片的運(yùn)行時(shí)所提供的接口，以獲得對(duì)智算資源的調(diào)用，資通過劫持對(duì)RuntimeAPI（CUDAAPI）調(diào)用實(shí)現(xiàn)資源調(diào)度。 API劫持技術(shù)圖APIGPU/AIGP/IHperior管理虛擬機(jī)的方 APIAIAPI（如CUDA）無關(guān)，具備更加強(qiáng)大的通用性和兼容性。不同租戶不同進(jìn)程之間實(shí)現(xiàn)GPUGPUCUDAunifiedmemory。AI訓(xùn)練開始后才開始使用GPUCPUAIAICPU、內(nèi)存等資源的可用情況觸發(fā)，力，有更高概率滿足AI論文《CharacterizingDeepLearningTrainingWorkloadsonAlibaba-PAI》分析了阿里一個(gè)訓(xùn)練集群上的負(fù)載特征（見圖5）：16）。 CPUGPUGPU48單機(jī)CPUGPU以將GPU在兼顧訓(xùn)練任務(wù)的整體吞吐率、GPU/AI內(nèi)所有GPU/AI趨動(dòng)科技OrionXOrionX（獵戶座）AIAIOrionXAIAIGPU/AIAIvGPUOrionXAPI劫持技術(shù)將vGPUGPU/AIAIGPU/AIOrionX架構(gòu)實(shí)現(xiàn)了GPU VMwareBitFusionRadium新型智算中心算力池化技術(shù)白皮書新型智算中心算力池化技術(shù)白皮書VMwarevSphere上集成了VMwareBitfusionGPUvSphereBitfusion采用客戶端/服務(wù)器架構(gòu)。該產(chǎn)品允許多個(gè)客戶端PODvSphereBitfusionPODGPU的訪問?？梢栽趘SphereBitfusion客戶端計(jì)算機(jī)上運(yùn)行應(yīng)用程GPUvSphereBitfusion VMwareBitFusion軟件架VMwareProjectRadiumTOPHALFBOTTOMHALF新型智算中心算力池化技術(shù)白皮書新型智算中心算力池化技術(shù)白皮書行，BOTTOMHALFRadium VMwareRadium軟件架中興TECSOpenPaletteTECSOpenPaletteDockerkubernetesCPUCPUGPU/AIGPU/AIPluginKubernetes調(diào)度器使一個(gè)KubernetesPodGPUKubernetesPodGPU；針對(duì)AI應(yīng)用需要指定GPUIndexKubernetesPodGPUIndex 中興TECSOpenPaletteGPU方案架華為基于VolcanoCCEVolcanoCCEGPU/AI 在線離線混合調(diào)度：CCE可以將離線和在線業(yè)務(wù)在同一集群（WebTensorflowPSworker、SparkDriverexecutor2101CCEGPU虛擬化技術(shù)實(shí)現(xiàn)的GPU力，可以更高效的利用GPUIaaS 容器基礎(chǔ)設(shè)施EKIAPIGPT、StableDiffusionAIGCGPU/AI聯(lián)合打造算力池化技術(shù)開源實(shí)現(xiàn)。聯(lián)合眾多GPU/AI新型智算中心算力池化技術(shù)白皮書新型智算中心算力池化技術(shù)白皮書ArtificialCentral