2024年英偉達(dá)GTC專(zhuān)題分析：新一代GPU、具身智能與AI應(yīng)用GTC2024前瞻：見(jiàn)證AI的變革時(shí)刻GTC2022：硬件為主，發(fā)布全新Hopper架構(gòu)H100GPU及GraceCPU超級(jí)芯片，第四代NVLink和第三代NVSwitch技術(shù)、DGXH100SuperPOD等。GTC2023：側(cè)重軟件及服務(wù)更新，發(fā)布及更新H100NVLGPU，PCIeH100等硬件，以及AI超級(jí)計(jì)算服務(wù)DGXCloud、光刻計(jì)算庫(kù)CuLitho、GPU加速量子計(jì)算系統(tǒng)等。GTC2024：當(dāng)?shù)貢r(shí)間3月18-21日舉行，黃仁勛將發(fā)表主題演講“見(jiàn)證AI的變革時(shí)刻”，發(fā)布加速計(jì)算、生成式AI以及機(jī)器人領(lǐng)域突破性成果。會(huì)議期間將舉辦超過(guò)1000場(chǎng)演講、圓桌討論、培訓(xùn)等各種活動(dòng)，來(lái)自英偉達(dá)、Meta、微軟、斯坦福等業(yè)界及學(xué)術(shù)界眾多權(quán)威AI研究者將參加200多場(chǎng)會(huì)議。共有1000多家企業(yè)將參加本屆GTC，包括但不限于亞馬遜、OpenAI、微軟、Meta、谷歌等AI巨頭以及Anthropic、Cohere、Runway等AI初創(chuàng)企業(yè)。300多家參展商將展示企業(yè)如何在航空航天、農(nóng)業(yè)、汽車(chē)和運(yùn)輸、云服務(wù)、金融服務(wù)、醫(yī)療和生命科學(xué)、制造、零售和電信等各行業(yè)部署英偉達(dá)平臺(tái)。關(guān)注一：BlackwellGPU架構(gòu)及B100英偉達(dá)有望在GTC2024上發(fā)布B100及B200系列。B100將首次采用Blackwell架構(gòu)，基于更復(fù)雜的多芯片模塊（MCM）設(shè)計(jì)，與現(xiàn)有采用Hopper架構(gòu)的H200系列相比性能有望翻倍提升，預(yù)計(jì)使用臺(tái)積電3nm或N4P工藝制程，功耗或達(dá)1000W，采用液冷方案，2024Q2/Q3開(kāi)始規(guī)模生產(chǎn)。此外，根據(jù)英偉達(dá)最新官方路線圖及IT之家報(bào)道，預(yù)計(jì)2024-2025年之間推出GB200，或采取差異化策略推動(dòng)客戶(hù)采購(gòu)，加大其與B100/B200之間的配置差距，特別在NVLink和網(wǎng)絡(luò)性能方面。B100預(yù)計(jì)配套全新組件。此外根據(jù)路線圖，英偉達(dá)將于2024年底前推出速度更快、功能更強(qiáng)大的InfiniBand和以太網(wǎng)NIC以及交換機(jī)，每個(gè)端口的帶寬可達(dá)800Gb/s，本次大會(huì)上或?qū)⒂兴嘎?。?jù)Barron’s報(bào)道，英偉達(dá)將于2025年推出B200GPU，單張功耗達(dá)1000W，升級(jí)后的B200變體可能采用更快版本的HBM內(nèi)存，以及更高的內(nèi)存容量，升級(jí)規(guī)格和增強(qiáng)功能。關(guān)注二：具身智能/人形機(jī)器人/自動(dòng)駕駛?cè)诵螜C(jī)器人：AgilityRobotics、波士頓動(dòng)力公司、迪士尼和GoogleDeepMind等公司將參會(huì)，現(xiàn)場(chǎng)將展出25款機(jī)器人，包括人形機(jī)器人、工業(yè)機(jī)械手等。英偉達(dá)于2018年推出包含全新硬件、軟件和虛擬世界機(jī)器人模擬器的NVIDIAIsaac，同時(shí)還推出專(zhuān)為機(jī)器人設(shè)計(jì)的計(jì)算機(jī)平臺(tái)JetsonXavier和相關(guān)的機(jī)器人軟件工具包，2023年發(fā)布多模態(tài)具身智能系統(tǒng)VIMA和自主移動(dòng)機(jī)器人平臺(tái)IsaacAMR。同時(shí)，英偉達(dá)通過(guò)仿真模擬平臺(tái)Omniverse與AI結(jié)合，幫助建立訓(xùn)練數(shù)據(jù)集，23年3月OmniverseCloud托管至微軟Azure，以擴(kuò)大英偉達(dá)AI機(jī)器人開(kāi)發(fā)和管理平臺(tái)IsaacSim的接入范圍。2024年2月英偉達(dá)向人形機(jī)器人公司FigureAI投資5000萬(wàn)美元并成立通用具身智能體研究實(shí)驗(yàn)室GEAR，人形機(jī)器人作為具身智能優(yōu)良載體，有望迎來(lái)加速發(fā)展。自動(dòng)駕駛：2022年英偉達(dá)發(fā)布全新一代自動(dòng)駕駛SoC芯片Thor，內(nèi)部擁有770億個(gè)晶體管，算力高達(dá)2000TFLOPS，較此前Orin提升8倍，計(jì)劃2024年量產(chǎn)，極氪將于2025年搭載首發(fā)。關(guān)注三：AI推理/邊緣計(jì)算GTC2024有望更新以太網(wǎng)架構(gòu)及產(chǎn)品、ASIC芯片計(jì)劃等相關(guān)信息。英偉達(dá)FY2024數(shù)據(jù)中心業(yè)務(wù)收入40%來(lái)自AI推理，AI在汽車(chē)、醫(yī)療和金融服務(wù)等垂直領(lǐng)域廣泛應(yīng)用，其正在推出全新Spectrum-X端到端產(chǎn)品進(jìn)入以太網(wǎng)領(lǐng)域，引入新技術(shù)為AI處理提供較傳統(tǒng)以太網(wǎng)高1.6倍的網(wǎng)絡(luò)性能。根據(jù)路透社報(bào)道，英偉達(dá)正在建立新業(yè)務(wù)部門(mén)，專(zhuān)注為云廠商及其他企業(yè)設(shè)計(jì)定制芯片（ASIC），包括先進(jìn)的AI處理器。本次GTC共有亞馬遜、Anthropic、Runway等1000多家參會(huì)企業(yè)，會(huì)上將展示英偉達(dá)平臺(tái)在農(nóng)業(yè)、汽車(chē)、云服務(wù)等行業(yè)的應(yīng)用，英偉達(dá)、HuggingFace、Zalando、AWS、微軟、Cloudflare、谷歌等將參加AI推理相關(guān)會(huì)議。生成式AI在影視上的應(yīng)用將被重點(diǎn)展示。中國(guó)游戲廠商騰訊、網(wǎng)易，以及傳媒巨頭奈飛、皮克斯、迪士尼動(dòng)畫(huà)工作室等均將參與游戲/傳媒娛樂(lè)討論，可能探討如何利用生成式AI和路徑追蹤技術(shù)創(chuàng)造更加逼真的虛擬人物和世界，輔助游戲開(kāi)發(fā)和影視制作；Runway、騰訊及Digitrax等有望介紹其文生圖、文生視頻模型及其他AI應(yīng)用。其他可能被討論的應(yīng)用包括3D內(nèi)容生成、云端創(chuàng)作游戲等。2萬(wàn)億美元可尋址市場(chǎng)（TAM）：英偉達(dá)預(yù)計(jì)隨著通用AI技術(shù)發(fā)展，目前1萬(wàn)億美元數(shù)據(jù)中心基礎(chǔ)設(shè)施安裝量（可尋址市場(chǎng)，TAM）將在未來(lái)五年翻一番。AI設(shè)備有望替換掉所有的傳統(tǒng)計(jì)算。BlackWell架構(gòu)演進(jìn)英偉達(dá)每隔1-2年提出新的芯片架構(gòu)以適應(yīng)計(jì)算需求升級(jí)。2017年提出Volta架構(gòu)，專(zhuān)注深度學(xué)習(xí)和AI應(yīng)用，并引入TensorCore，2020年Ampere架構(gòu)在計(jì)算能力、能效和深度學(xué)習(xí)性能方面大幅提升，采用多個(gè)SM和更大的總線寬度，提供更多CUDACore及更高頻率，引入第三代TensorCore，具有更高的內(nèi)存容量和帶寬，適用于大規(guī)模數(shù)據(jù)處理和機(jī)器學(xué)習(xí)任務(wù)。2022年發(fā)布Hopper架構(gòu)，支持第四代TensorCore，采用新型流式處理器，每個(gè)SM能力更強(qiáng)。Blackwell：或?yàn)橛ミ_(dá)首次采用多chiplet設(shè)計(jì)的架構(gòu)，一方面可能簡(jiǎn)化基于Blackwell架構(gòu)的GPU硅片層面生產(chǎn)，最大限度提高小型芯片產(chǎn)量，另一方面，多芯片封裝將更加復(fù)雜。預(yù)計(jì)SM和CUDA將采用新結(jié)構(gòu)，光線追蹤性能等將進(jìn)一步優(yōu)化和加強(qiáng)，RT單元有可能被PT單元所取代，以實(shí)現(xiàn)對(duì)AdaLovelace架構(gòu)的性能翻倍。Blackwell架構(gòu)GPU很可能會(huì)支持GDDR7內(nèi)存，相比GDDR6X效率更高，鑒于第一代GDDR7SGRAMIC將具有32GT/s的傳輸數(shù)據(jù)速率，采用這些芯片的384位內(nèi)存子系統(tǒng)將提供約1536GB/s的帶寬。與Hopper/Ada架構(gòu)不同，Blackwell或?qū)U(kuò)展到數(shù)據(jù)中心和消費(fèi)級(jí)GPU，但消費(fèi)級(jí)場(chǎng)景或?qū)⒀永m(xù)單芯片設(shè)計(jì)，以實(shí)現(xiàn)時(shí)間可控及低風(fēng)險(xiǎn)。B100：性能翻倍，帶寬、顯存等大幅提升B100：預(yù)計(jì)為MCM多芯片封裝，臺(tái)積電N3或N4P制程工藝，可能使用CoWoS-L，性能預(yù)計(jì)至少為H200的2倍，相當(dāng)于H100的4倍；首發(fā)內(nèi)存或?yàn)?00GHBM3e，約為H200的140%；參考?xì)v代NVLink迭代，預(yù)計(jì)雙向帶寬有望較H100接近翻倍，或采用224Serdes。為了更快推向市場(chǎng)，B100前期版本或使用PCIe5.0和C2C式鏈接，功耗700W，方便直接沿用H100的現(xiàn)有HGX服務(wù)器，以大幅提高供應(yīng)鏈更早提高產(chǎn)量和出貨量的能力。后續(xù)將推出1000W版本，轉(zhuǎn)向液冷，并將通過(guò)ConnectX8實(shí)現(xiàn)每GPU網(wǎng)絡(luò)的完整800G。這些SerDes對(duì)于以太網(wǎng)/InfiniBand仍然是8x100G。雖然每個(gè)GPU的網(wǎng)絡(luò)速度翻倍，但基數(shù)減半，因?yàn)樗鼈內(nèi)匀槐仨毥?jīng)過(guò)相同的51.2T交換機(jī)。B100預(yù)計(jì)2024H2規(guī)模出貨。MorganStanley預(yù)計(jì)2024年英偉達(dá)CoWoS需求量15萬(wàn)片，對(duì)應(yīng)AIGPU出貨量400萬(wàn)張，其中H100/B100分別為377萬(wàn)張/28萬(wàn)張。英偉達(dá)加快液冷方案布局英偉達(dá)積極與行業(yè)伙伴合作創(chuàng)新液冷方案。2022年推出基于直接芯片冷卻技術(shù)（Direct-to-chip）的A100800GPCIe液冷GPU，較風(fēng)冷版本性能相當(dāng)，電力節(jié)省約30%，單插槽設(shè)計(jì)節(jié)省最多66%的機(jī)架空間。2023年，與Vertiv、BOYD、Durbin、霍尼韋爾等6家行業(yè)伙伴合作打造混合液冷創(chuàng)新方案，將芯片直接冷卻、泵送兩相（P2P）和單相浸沒(méi)式冷卻集成在帶有內(nèi)置泵和液體-蒸汽分離器的機(jī)架歧管中，使用兩相冷板冷卻芯片，其余具有較低功率密度的服務(wù)器組件將浸沒(méi)在密封的浸沒(méi)式箱體內(nèi)，服務(wù)器使用綠色制冷劑分別進(jìn)行兩相冷卻和浸沒(méi)冷卻。相較當(dāng)前無(wú)法處理高于400W/cm2功率密度的液冷，混合冷卻支持服務(wù)器機(jī)架功率高達(dá)200kW，是目前的25倍，與風(fēng)冷相比成本至少降低5%，冷卻效率提高20%。同時(shí)與臺(tái)積電、高力等合作開(kāi)發(fā)AIGPU浸沒(méi)式液冷系統(tǒng)。2024年3月，Vertiv與英偉達(dá)專(zhuān)家團(tuán)隊(duì)共同針對(duì)GPU型高密數(shù)據(jù)中心制冷方案進(jìn)行研發(fā)測(cè)試并發(fā)布實(shí)測(cè)數(shù)據(jù)，結(jié)果顯示冷板液冷和風(fēng)冷的創(chuàng)新風(fēng)液混合制冷方案中大約75%的IT負(fù)載可通過(guò)冷板液冷技術(shù)實(shí)現(xiàn)有效冷卻，IT負(fù)載從100%風(fēng)冷轉(zhuǎn)型為75%液冷的方案時(shí)，服務(wù)器風(fēng)扇用電量降低最多達(dá)到80%，使總體使用效率（TUE）提高15%以上。英偉達(dá)下一代GPU展望產(chǎn)品性能進(jìn)一步加快提升。根據(jù)Bloomberg，英偉達(dá)可能在2026年推出下一代數(shù)據(jù)中心GPUN100，N100的GPU芯片數(shù)量可能由B100的2個(gè)增加到4個(gè)，每個(gè)芯片的尺寸相似，盡管GPU芯片總面積可能翻倍，性能躍進(jìn)將更加顯著。N100預(yù)計(jì)采用臺(tái)積電N3E工藝，晶體管密度或增加50%，芯片內(nèi)存可能升級(jí)到全新一代HBM4。封裝設(shè)計(jì)將同步升級(jí)以擴(kuò)大芯片尺寸，可能加速熱壓縮鍵合（TCB）和混合鍵合技術(shù)應(yīng)用。芯片算力、工藝及互連等組網(wǎng)方案升級(jí)將持續(xù)帶動(dòng)交換機(jī)、光模塊等相關(guān)硬件創(chuàng)新迭代，LPO、硅光、CPO等新技術(shù)有望加快推進(jìn)。GPU迭代加速1.6T光模塊升級(jí)光模塊趨勢(shì)向高速率發(fā)展。AIGC等技術(shù)的快速發(fā)展帶來(lái)數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，設(shè)備與設(shè)備之間的亦需要更大帶寬連接，因此光模塊需要向更高帶寬發(fā)展。現(xiàn)有光模塊帶寬主要以100G/200G/400G，目前正朝著800G、1.6T