中國移動秦鳳偉2023.11AI需求激增推動建設(shè)計算和網(wǎng)絡(luò)基礎(chǔ)設(shè)施來源：Frost&Sulivan，2面向大模型訓練，網(wǎng)絡(luò)成為AI算力瓶頸AI大模型以AI大模型以GPU集群分布式訓練為基礎(chǔ)，帶來大量節(jié)點間通信消耗，網(wǎng)絡(luò)成為AI算力“瓶頸”當前業(yè)界主流智算中心網(wǎng)絡(luò)技術(shù)被國外廠商壟斷，網(wǎng)絡(luò)芯片存在代際差距，網(wǎng)絡(luò)可能成為我國AI發(fā)展的“新卡點”集群有效算力∝｛GPU單卡算力*總卡數(shù)*線性加速比*有隨著GPU單卡算力進一步受限，獲得同等算力的難度持續(xù)增加，以網(wǎng)強算是支撐為未來大模型訓練的關(guān)鍵3傳統(tǒng)DC與智算中心流量模型區(qū)別傳統(tǒng)DC流量模型智算中心大模型（All-to-all）流量模型?單個流量：數(shù)量多、帶寬小、異步?累積流量：抖動幅度較小，具有隨機性?單個流量：數(shù)量少、帶寬大、同步?累積流量：波峰、波谷效應(yīng)明顯，具有周期性4IB與RoCE是目前業(yè)界主流高性能網(wǎng)絡(luò)協(xié)議InfiniBand與RoCE是由IBTA提出的兩種主流面向RDMA提供高性能交換能力的傳輸協(xié)議，前者從硬件級別保證網(wǎng)絡(luò)低時延、高吞吐，后者是將RDMA應(yīng)用到以太網(wǎng)，依賴PFC等協(xié)議實現(xiàn)無損，兩者在路由機制、轉(zhuǎn)發(fā)機制、算網(wǎng)能力等方面存在差異RoCEv1緩存校驗查表緩存校驗查表當前RoCE網(wǎng)絡(luò)存在諸多問題，不適應(yīng)大AI模型部署現(xiàn)有以太網(wǎng)協(xié)議基礎(chǔ)轉(zhuǎn)發(fā)和調(diào)度機制，在AI模型訓練場景存在天然缺陷，單純優(yōu)化上層網(wǎng)絡(luò)協(xié)議無法解決，需對底層轉(zhuǎn)發(fā)和調(diào)度機制進行革新，并推動網(wǎng)絡(luò)芯片底層邏輯架構(gòu)支持，突破無損以太性能瓶頸基于流轉(zhuǎn)發(fā)，流數(shù)量少導致哈希失效，鏈路負載不均?方向：對每條流的多個數(shù)據(jù)包逐個進行負載分源端任意向網(wǎng)絡(luò)推流，出現(xiàn)擁塞被動降速，GPU閑置等待In-castIn-cast流量667業(yè)界智算中心高性能網(wǎng)絡(luò)標準組織介紹---UEC2023年7月19日，Linux基金會成立超以太網(wǎng)聯(lián)盟(UEC)，發(fā)布UE技術(shù)愿景白皮書，當前已成立四個工作組并與OCP開展合作UEC組織愿景開放性高性能全棧優(yōu)化物理層、鏈路層、傳輸層、軟件基于以太網(wǎng)，實現(xiàn)一個開放、可互通、高性能、全通信棧開放性高性能全棧優(yōu)化物理層、鏈路層、傳輸層、軟件可互通物理層不做顛覆性改革8業(yè)界智算中心高性能網(wǎng)絡(luò)創(chuàng)新方向AWS基于自研Nitro卡革新SRD協(xié)議，優(yōu)化組網(wǎng)規(guī)模和抖動基于信元交換的博通DDC架構(gòu)，端到端授權(quán)，充分利用網(wǎng)絡(luò)帶寬9GSE技術(shù)體系框架大規(guī)模QP大規(guī)模QP傳輸層擁塞通告擁塞算法傳輸層擁塞通告擁塞算法擁塞檢測管理與運維體系網(wǎng)絡(luò)層新型組網(wǎng)拓撲新型組播/任播協(xié)議新型負載均衡機制管理與運維體系網(wǎng)絡(luò)層鏈路層報文分發(fā)和重組機制調(diào)度機制鏈路級安全及容錯機制鏈路層化物理層高速光接口光交換低物理層GSE技術(shù)體系---高速以太網(wǎng)800G&1.6Tbps以太網(wǎng)將成為承載超高速算力互聯(lián)、構(gòu)建算網(wǎng)基礎(chǔ)設(shè)施的重要手段，滿足智算中心網(wǎng)絡(luò)AI大模型應(yīng)用場景帶來的數(shù)據(jù)量持續(xù)增長需求高波特率光電器件、5高波特率光電器件、5nm制程oDSP成熟當前：光電接口均以單通道100G速率為主》》未來：光電接口將采用單通道200G速率以及800GE/1.6TE相干800GE&1.6TE接口形態(tài)800GE&1.6TE標準演進20232027草案階段標準發(fā)布標準發(fā)布2025草案階段20232027草案階段標準發(fā)布標準發(fā)布2025草案階段GSE技術(shù)體系---光交換新型光交換機與傳統(tǒng)交換機的核心區(qū)別在于用光口代替電口，無需插光模塊，可實現(xiàn)端口與速率無關(guān)；內(nèi)部無交換芯片，點到點通信關(guān)系一定時間內(nèi)固定，設(shè)備容量及端口密度與芯片無關(guān)，可用在網(wǎng)絡(luò)中替代Spine設(shè)備，提升網(wǎng)絡(luò)性能及建設(shè)擴容靈活性?額外需求：配備400G光模塊（3w/個）GSE技術(shù)體系---新型拓撲?Group與Group之間full-mash,每個group內(nèi)部可以是任意拓撲結(jié)構(gòu)，如Fat-tree（Dragonfly+）switchgroupnodeIntra-linkInter-link）：）：?人為干預控制流量轉(zhuǎn)發(fā)，缺乏動態(tài)負載分擔機制?現(xiàn)有網(wǎng)絡(luò)架構(gòu)缺乏網(wǎng)絡(luò)擁塞的標準定義和遠程擁塞的通知機制，難以及時獲取擁塞信息。IETF117:draft-wang-rtgGSE技術(shù)體系---全調(diào)度以太網(wǎng)三大核心機制中國移動提出全調(diào)度以太網(wǎng)（GSE）技術(shù)架構(gòu)，最大限度兼容以太網(wǎng)生態(tài)，創(chuàng)新基于報文容器（PKTC）的轉(zhuǎn)發(fā)及調(diào)度機制，構(gòu)建無阻塞、高帶寬、低時延的新型智算中心網(wǎng)絡(luò)，形成標準開放的技術(shù)體系，助力AI產(chǎn)業(yè)發(fā)展創(chuàng)新以太網(wǎng)轉(zhuǎn)發(fā)機制，實現(xiàn)三大核心機制轉(zhuǎn)變 11213213 213213 1 當前：逐流負載，鏈路利用率低、發(fā)生擁塞被動降速未來：逐報文容器轉(zhuǎn)發(fā)，鏈路負載均衡，全局調(diào)度，避免擁塞13GSE技術(shù)體系---全調(diào)度以太網(wǎng)（GSE）推進計劃中國移動攜手中國信通院，聯(lián)合國內(nèi)外三十余家主流互聯(lián)網(wǎng)，設(shè)備商、芯片商、高校院所聯(lián)合發(fā)起GSE推進計劃，推動智算中心網(wǎng)絡(luò)技術(shù)創(chuàng)新、標準完善和產(chǎn)業(yè)應(yīng)用，打造高速無損、開放兼容的新型智算中心網(wǎng)絡(luò)技術(shù)體系2023.52023.62023.82023.9中國移動，中國信息通信研究院，華為、中興、銳捷、新華三、浪潮信息、中國移動，中國信息通信研究院，華為、中興、銳捷、新華三、浪潮信息、Broadcom、Intel、清華大學、上海交通大學、鵬城實驗室、紫金山實驗室、北京郵電大學、中科院計算機網(wǎng)絡(luò)信息中心、中信科、邁普、Spirent、是德科技、盛科、云合智網(wǎng)、楠菲微電子、燧原科技、昆侖芯、星云智聯(lián)、云脈芯聯(lián)、中科馭數(shù)、云豹智能、大禹智芯等GSE技術(shù)體系---NDMA分布式系統(tǒng)節(jié)點間以多對多的集合通信為主，業(yè)界主流方案基于RDMA點到點高效傳輸，實現(xiàn)多對多集合通信，存在性能瓶頸?引入了與通信規(guī)模線性相關(guān)的面向集合通信原生傳輸框架，通過端網(wǎng)協(xié)同，支持組播、任播、聚播三種基本模式，實現(xiàn)網(wǎng)絡(luò)中一組節(jié)點內(nèi)存直讀/寫 組播(算)任播（存）通過原型系統(tǒng)驗證，MPI_bcast任務(wù)完成時間平均降低50%，存儲場景IOPS提升45%以上（任播模式）GSE技術(shù)體系---網(wǎng)絡(luò)可靠性?光模塊故障：近10w個光模塊的IETF118:draft-cheng-r總結(jié)與展望?智算中心網(wǎng)絡(luò)的有效帶寬、時延抖動、可靠性成為提升訓練效率的關(guān)鍵因素