[編號ODCC-2024-05006]開放數(shù)據(jù)中心標(biāo)準(zhǔn)推進(jìn)委員會2024.09發(fā)布版權(quán)聲明轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點的，應(yīng)注明編寫組 1 1 1 2 2 2 2 3 4 5 7 7 8 12 13 13 15 15 15 21 22 23 23 28 34 34 35 36 36 36 37 37 38 38 38一、研究目的及范圍（一）研究目的與意義本白皮書旨在深入研究和探討光交換技術(shù)在數(shù)據(jù)中心網(wǎng)絡(luò)中的（二）研究范圍與方法1和工程師提供有價值的參考，并為整個行業(yè)的二、光電混合網(wǎng)絡(luò)的發(fā)展（一）光電混合網(wǎng)絡(luò)（二）光電混合網(wǎng)絡(luò)的發(fā)展歷程在2000年代初期，隨著互聯(lián)網(wǎng)流量的快速增長，研究人員開始2探索如何利用光網(wǎng)絡(luò)的高帶寬優(yōu)勢來提升數(shù)據(jù)中心和骨干網(wǎng)絡(luò)的性在2010年代，隨著光網(wǎng)絡(luò)和電網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步，光電混合網(wǎng)絡(luò)的研究取得了顯著的進(jìn)展。在SIGCOMM會議上發(fā)表了許多關(guān)年發(fā)表的論文《Helios:AHybridElectrical/OpticalSwitchArchitecture種名為c-Through的系統(tǒng)，能夠動態(tài)地調(diào)整光路配置，以適應(yīng)數(shù)據(jù)中3適用于大規(guī)模數(shù)據(jù)中心的應(yīng)用場景。SIGCOMM2017年發(fā)表的論文《RotorNet:AScalable,Low-complexity,OpticalDatacenterNetwork》用，提升了數(shù)據(jù)傳輸性能和網(wǎng)絡(luò)效率。例如，SIGCOMM2022年谷歌發(fā)表的論文《MissionApollo:LandingOpticalCircuitSwitchingat4ReconfigurableDragonflyNetworkinHPC》詳細(xì)介紹了如何保證每個（三）光電混合網(wǎng)絡(luò)的應(yīng)用場景5英偉達(dá)也在其數(shù)據(jù)中心內(nèi)研究通過彈性可重構(gòu)網(wǎng)絡(luò)提高網(wǎng)絡(luò)可6三、光交換機關(guān)鍵技術(shù)分析（一）光交換（OCS）技術(shù)簡介要。根據(jù)實現(xiàn)技術(shù)的不同，光交換技術(shù)一般可分為3DMEMS（Micro-Electro-MechanicalSystem）技術(shù)、數(shù)字液7輸入MEMS微鏡陣列，輸出MEMS微鏡陣及配套驅(qū)動、控制軟硬件構(gòu)成。其中輸入輸出MEMS微鏡單元為二入射MEMS微鏡陣列對應(yīng)微鏡單元，每個微鏡單元擁有獨立的驅(qū)動控制，通過施加不同的電信號實現(xiàn)所需的轉(zhuǎn)角；輸入MEMS微鏡陣列通過調(diào)整微鏡單元的轉(zhuǎn)角將入射信號偏轉(zhuǎn)到目的輸出微鏡陣列對89圖6MEMS光交換a）微鏡陣列示意圖b）陣元組成與原理示意圖2.數(shù)字液晶技術(shù)DLC光交換和各向異性，使得液晶材料具備和晶體材料一樣的折射率各向異性、數(shù)字液晶光交換系統(tǒng)利用液晶的電光效應(yīng)與晶體光楔的級聯(lián)相結(jié)合，能夠?qū)個端口的輸入光任意調(diào)度到N個端口進(jìn)行輸出，完數(shù)字液晶光交交換利用液晶的電光效應(yīng)與晶體光楔的級聯(lián)產(chǎn)生行S偏振與P偏振的分束與合束LCLM液晶光模塊陣列（LC可調(diào)延遲器與雙折射晶體光楔的組合經(jīng)過多層級聯(lián)而成，實現(xiàn)N*N信號光偏轉(zhuǎn)如下圖7所示。2個離散角度的偏轉(zhuǎn)（2態(tài)調(diào)制）。系統(tǒng)交換維度擴展到M換則需要共L層組合，滿足2^L>M。例如，對于256端口，需要對直接光束偏轉(zhuǎn)光交換是將光纖準(zhǔn)直器直接固定在壓電陶瓷驅(qū)動MEMS低~3低~4高~綜上所述，光交換機實現(xiàn)了任意輸入N端口到輸出N端口的無（二）故障恢復(fù)與能耗光交換網(wǎng)絡(luò)的故障恢復(fù)策略和容錯機制是確保數(shù)據(jù)中心網(wǎng)絡(luò)穩(wěn)（三）控制平面四、光交換機在數(shù)據(jù)中心網(wǎng)絡(luò)中的應(yīng)用（一）數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)過去20年，受計算規(guī)模的驅(qū)動，數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)和解決方案發(fā)生了顯著變化?？傮w而言，數(shù)據(jù)中心的物理拓?fù)鋸膫鹘y(tǒng)的接入-匯聚-核心三級架構(gòu)演變?yōu)榛贑los的Spine-and-Leaf核心交換機處理所有南北向流量，記錄所有節(jié)點的IP和MAC地址2008年，隨著云計算時代的到來，數(shù)據(jù)中心逐步演進(jìn)，計算資為主要流量。網(wǎng)絡(luò)虛擬化使每個宿主機運行一個虛擬交換機擬機的IP/MAC信息，以支持虛擬機的全網(wǎng)遷移。2016年后，數(shù)據(jù)中心進(jìn)入大規(guī)模容器時代。容器作為輕量級虛務(wù)，服務(wù)的IP地址作為訪問入口，屏蔽計算資源的細(xì)節(jié)。由于容器瓶頸。因此，每個服務(wù)器節(jié)點內(nèi)替換虛擬交換機為虛擬路由器換機只需記錄服務(wù)器節(jié)點的IP和其管理的網(wǎng)段信息，與容器數(shù)量無低擴展傳統(tǒng)樹形拓?fù)鋪頋M足帶寬需求不僅成本高昂，而且難以實東西向流量的增加使得傳統(tǒng)三層數(shù)據(jù)中心架構(gòu)的帶寬成為瓶頸，在Clos架構(gòu)中，如下圖所示，每個Leaf交換機都與所有SpineSpine層則負(fù)責(zé)將所有Leaf交換機連接起來。當(dāng)Leaf層的接入端口（二）光電混合網(wǎng)絡(luò)架構(gòu)谷歌公布的Jupiter項目，通過使用光交換機（OCS）實現(xiàn)可重中心互聯(lián)層采用基于MEMS技術(shù)的光交換機(OCS)來實現(xiàn)動態(tài)拓?fù)渲匦屡渲?、用于流量工程的集中式軟件定義網(wǎng)性，并且不需要任何停機時間或服務(wù)流失。除了比靜態(tài)Clos結(jié)構(gòu)提為了支持AI訓(xùn)練等大規(guī)模計算，谷歌陸續(xù)研發(fā)了TPUv4和互聯(lián)上采用3D環(huán)面實現(xiàn)TPU之間的互聯(lián)，部署OCS的優(yōu)勢有以下采用OCS方案可以將集群可用率提高到約50%。因此每個43塊在安裝和測試64個芯片和必要的電纜后立即投增量部署大大提高了TPUv4超級計算機的生產(chǎn)使用時間，從而提高v4可以輕松地更改拓?fù)洌云ヅ鋺?yīng)用程序、節(jié)點數(shù)量和運行這些作網(wǎng)狀替代方案相比，這使重要的結(jié)合通信操作（例如，all-to-all）的可重構(gòu)OCS拓?fù)涮岣呔W(wǎng)絡(luò)性能：用戶可以更改TPUv4拓?fù)湟云ヅ渌褂玫牟⑿卸阮愋?，AI訓(xùn)練經(jīng)常將并行類型組合起來以獲得（三）光交換機性能評估光交換機（OpticalCircuitSwitch,OCS）作為數(shù)據(jù)中心網(wǎng)絡(luò)中的測試各端口的插損和回?fù)p，可以評估光交換機五、AI網(wǎng)絡(luò)光交換機應(yīng)用展望（一）技術(shù)趨勢與發(fā)展方向從文本生成到圖片生成再到以Sora為代表的視頻生成。Sora是由無論是AI生成圖片還是生成視頻，背后都離不開大規(guī)模算力的而對訓(xùn)練算力的需求也大幅度提升。這也驅(qū)動了GPU算力在8年的合訓(xùn)練。2023年大模型訓(xùn)練算力需求為萬卡左右，到了2024年則需每次重啟找回checkpoint都需要幾十分鐘，影響訓(xùn)練效率。（二）測試數(shù)據(jù)分析卡的實驗環(huán)境，對胖樹網(wǎng)絡(luò)架構(gòu)和OCS靈活組網(wǎng)的RingAll-Reduce（三）潛在的研究領(lǐng)域與創(chuàng)新點隨著大模型的迭代發(fā)展，對算力的需求也更加巨大，未來需要5-10萬GPU卡聯(lián)合模型訓(xùn)練，單卡已經(jīng)放不下模型的時候，百GB/PP數(shù)量AllReduce百GB/PP數(shù)量All2All插損需求：極低插損，機房環(huán)境復(fù)雜有可能過多級光纖配線架（四）面臨的挑戰(zhàn)六、結(jié)論與建議（一）研究成果總結(jié)光交換機關(guān)鍵技術(shù)路徑主要包括MEMS技術(shù)、DLC技術(shù)、和現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)架