1233一、為什么是“存算感連”？“存算感連”一體化正成為推動(dòng)人工智能產(chǎn)業(yè)發(fā)展的新動(dòng)力n“存算連”一體化推動(dòng)人工智能產(chǎn)業(yè)爆發(fā)。以英偉達(dá)、SK海力士等企業(yè)為代表的國際龍頭人工智能芯片企業(yè)主要圍繞“HBM（存）+H100等（算）+NVLink/IB（連）”推動(dòng)了人工智能技術(shù)的爆發(fā)。而隨著近幾年人形機(jī)器人、VR/AR、可穿戴等行業(yè)同人工智能大模型技術(shù)的疊加，“感存算”一體化受到行業(yè)關(guān)注。n我們預(yù)計(jì)“存算感連”一體化很可能成為未來方向。隨著人工智能大模型向邊緣、可穿戴拓展，我們認(rèn)為“存算感連”很可能成為未來推動(dòng)人工智能產(chǎn)業(yè)發(fā)展的新動(dòng)力?！按妗薄八恪薄案小薄斑B”算力傳感傳感器器件新材料、新結(jié)構(gòu)、新工藝拓展人工智能技術(shù)的算力傳感傳感器器件新材料、新結(jié)構(gòu)、新工藝拓展人工智能技術(shù)的觸角CPO等新一代連接技術(shù)推動(dòng)人工智能技術(shù)整體計(jì)算芯片提供的算力持續(xù)增加，疊加軟硬結(jié)合和邊緣計(jì)算的新趨提供的算力持續(xù)增加，疊加軟硬結(jié)合和邊緣計(jì)算的新趨勢(shì)，成為驅(qū)動(dòng)產(chǎn)業(yè)發(fā)展的原成為推動(dòng)人工智能大模型迭代的關(guān)鍵器件動(dòng)力4Computing[J].Engineering4Computing[J].Engineering,2022,14(7):19-21.556二、“存”——人工智能大模型迭代的關(guān)鍵“存”是當(dāng)前階段人工智能芯片發(fā)展和迭代的關(guān)鍵HBMHBM迭代正成為AI芯片更新的核心。HBM以其高帶寬和高容量特性，有效緩解AI芯片面臨的“存儲(chǔ)墻”問題，一定程度上已成為人工智能芯片的主要?jiǎng)恿χ?。英偉達(dá)近期發(fā)布的BlakwellUltra的主要迭代正是HBM。人工智能需求暴漲下，帶動(dòng)HBM產(chǎn)能快速增長。在算力強(qiáng)勁的增長驅(qū)動(dòng)下，2024年相比2023年全球HBM產(chǎn)能大幅增長。韓國半導(dǎo)體巨頭SK海力士甚至宣布，其高帶寬內(nèi)存2025年3月18日，英偉達(dá)發(fā)布全新的BlakwellUltra芯片，其最重要的更新就是使用了12層堆疊的HBM3e內(nèi)存，顯存提升至為288GB0人工智能需求推動(dòng)全球HBM產(chǎn)能快速增加二、“存”——人工智能大模型迭代的關(guān)鍵存儲(chǔ)技術(shù)的迭代將促使人工智能系統(tǒng)的進(jìn)一步迭代未來端側(cè)算力和能耗的雙重需求，拉動(dòng)LPDDR等消費(fèi)電子存儲(chǔ)器需求將繼續(xù)增長。端側(cè)算力與AIPC/手機(jī)可搭載的大模型參數(shù)量相關(guān)，或推動(dòng)LPDDR等消費(fèi)電子存儲(chǔ)器增長；新型低功耗高帶寬LPW（LPDDR垂直堆疊）存儲(chǔ)器的發(fā)展，將緩解端側(cè)AI運(yùn)算帶寬瓶頸和能耗問題。更多新型存儲(chǔ)器有望替代傳統(tǒng)存儲(chǔ)器，推動(dòng)AI算力和效能進(jìn)一步提升。其高讀寫速度、低功耗和非易失性，成為存內(nèi)計(jì)算、神經(jīng)形態(tài)計(jì)算等方向的未來潛在選擇。存算一體可解決“存儲(chǔ)墻”問題，將成為未來算力效率問題的潛在解決方案。存算一體的未來發(fā)2025年臺(tái)積電CoWoS月產(chǎn)能預(yù)計(jì)7.5-8萬片，其需求將伴隨算力需求爆發(fā)式翻倍增長。新型存儲(chǔ)器節(jié)點(diǎn)進(jìn)展CoWoS圖存算一體演進(jìn)圖新型存儲(chǔ)器節(jié)點(diǎn)進(jìn)展88三、“算”——人工智能發(fā)展核心動(dòng)力計(jì)算芯片呈現(xiàn)“三大特點(diǎn)”——算力增長、軟硬結(jié)合、應(yīng)用多樣化n計(jì)算芯片仍是推動(dòng)全球人工智能產(chǎn)業(yè)發(fā)展的重要?jiǎng)恿?，根?jù)Yole的預(yù)測(cè)，從2023年到2029年，GPU市場(chǎng)的復(fù)合年增長率為2025年3月18日，英偉達(dá)發(fā)布全新的BlackwellUltra芯片，其運(yùn)算速度比上一代芯片提升30倍2024年5月2024年5月，英偉達(dá)和戴爾合作的“戴爾AI工廠”，將服務(wù)、軟件和硬件相結(jié)合博通和美滿則通過提供ASIC/DSA路線的設(shè)計(jì)服務(wù)推出XPU類型的AI芯片petaFLOPS的FP4算力，性能是H100的5倍。2025年3月發(fā)布的B300芯片運(yùn)算效能較B200再次提升約50%(FP4)。n人工智能計(jì)算方面的軟降和硬件已經(jīng)深度結(jié)合，例如英偉達(dá)與戴爾合作的和解決方案。通過集成NVIDIANIM推理微服務(wù)、自動(dòng)化部署等功能。9這為博通、美滿電子等設(shè)計(jì)服務(wù)公司提供機(jī)遇。博通優(yōu)勢(shì)在于為Google定制數(shù)代TPU的技術(shù)積累、3D/3.5DSOIC技術(shù)、高速互連與CPO技術(shù)。9三、“算”——人工智能發(fā)展核心動(dòng)力趨勢(shì)1：?jiǎn)渭儭岸阉懔Α钡哪Ｊ绞艿劫|(zhì)疑——疊加“存算感連”n隨著近期FP8混合精度訓(xùn)練、混合專家（MoE）等更加節(jié)約算力的算法技術(shù)的出現(xiàn)，以微軟、谷歌、OpenAI等公司“大量采購GPU+閉源模型”的技術(shù)路徑不再是唯一選擇，此前人工智能領(lǐng)域“高投資+高技術(shù)+高回報(bào)”的循環(huán)模式和發(fā)展邏輯受到挑戰(zhàn)，單純堆積算力的發(fā)展模式受到質(zhì)疑。推理讓算力需求暴增100倍趨勢(shì)2：趨勢(shì)2：AIPC等邊緣推理芯片成為新熱點(diǎn)n近期的大模型開源浪潮促使企業(yè)模型訓(xùn)練成本驟降，直接為消費(fèi)者提供推理服務(wù)的收益顯著增加，激發(fā)了市場(chǎng)需求，為LPU（Groq）等低成本、低功步發(fā)展的空間。同時(shí)，AIPC、AI手機(jī)等基于消費(fèi)電子的端側(cè)AI推理需求很可能成為未來重要的AI發(fā)展方向。趨勢(shì)3：芯片集成化促使功耗和能源成為全球計(jì)算芯片全新挑戰(zhàn)n隨著計(jì)算芯片的持續(xù)小型化和集成化，芯片的局部熱流密度大幅上升。而算力的提升、速度的提高帶來巨大的功耗和發(fā)熱量正成為限制人工智能芯片性能進(jìn)一步提升的重要難點(diǎn)。在越來越多的企業(yè)開始使用3nm以下工藝制造人工智能訓(xùn)練芯片后，這一問題將越發(fā)突四、“感”——人工智能未來開拓發(fā)展的觸角未來智能傳感器逐漸向低功耗甚至是自供能發(fā)展以滿足可穿戴設(shè)備、物聯(lián)網(wǎng)等場(chǎng)景中長時(shí)間使用需求。集成化低功耗化手機(jī)、可穿戴產(chǎn)品等新型消費(fèi)電子設(shè)備發(fā)展對(duì)傳感器微型化提出更高要求，甚至有的智能傳感器小似針頭。智能化微型化傳感器過去5年發(fā)展成本功耗體積精確度未來智能傳感器逐漸向低功耗甚至是自供能發(fā)展以滿足可穿戴設(shè)備、物聯(lián)網(wǎng)等場(chǎng)景中長時(shí)間使用需求。集成化低功耗化手機(jī)、可穿戴產(chǎn)品等新型消費(fèi)電子設(shè)備發(fā)展對(duì)傳感器微型化提出更高要求，甚至有的智能傳感器小似針頭。智能化微型化傳感器過去5年發(fā)展成本功耗體積精確度靈敏度融合創(chuàng)新與新興應(yīng)用場(chǎng)景持續(xù)釋放結(jié)構(gòu)性增長動(dòng)能精確度和靈敏度增長了十倍成本、功耗和體積下降了五分之一人工智能時(shí)代，這些趨勢(shì)將加速演變：“三新”技術(shù)推動(dòng)“四化”發(fā)展?多模態(tài)綜合感知：傳感器自身的集成度更高?完整的系統(tǒng)解決方案：獨(dú)立傳感器模塊與微控制器、通信模塊等集成?軟硬件一體化集成：操作系統(tǒng)和應(yīng)用層無縫對(duì)接傳感器技術(shù)與AI、物聯(lián)網(wǎng)等技術(shù)融合提高智能化水平是未來發(fā)展的必然趨勢(shì)。從單一數(shù)據(jù)采集向集成AI算法的“感知-決策”一體化演進(jìn)高導(dǎo)電性納米材料石墨三維堆疊多層結(jié)構(gòu)、薄膜型壓異構(gòu)集成封裝、MEMS與CMOS兼容、烯、鋯鈦酸鉛壓電陶瓷電結(jié)構(gòu)等高深寬比硅通孔等四、“感”——人工智能未來開拓發(fā)展的觸角u“感”能為AI提供亟需的海量數(shù)據(jù)u據(jù)預(yù)測(cè)，傳感器安裝數(shù)量將從2018年的1萬億增長到2032年的45萬億。u2032年，傳感器數(shù)據(jù)采集率將超過1020bit/s。遠(yuǎn)超全人類信息數(shù)據(jù)采集率（1017bit/s）。數(shù)據(jù)采集數(shù)據(jù)采集1單位：1017bit/s傳感器數(shù)據(jù)采集率趨勢(shì)數(shù)據(jù)來源：《2030年半導(dǎo)體十年計(jì)劃》，美國半導(dǎo)體研究聯(lián)盟傳感器數(shù)據(jù)采集率呈現(xiàn)爆發(fā)式增長，數(shù)以“萬億”計(jì)的數(shù)據(jù)將推動(dòng)人工智能技術(shù)新革命解決傳感器數(shù)據(jù)識(shí)別、數(shù)據(jù)安全的關(guān)鍵在于提高但目前“感”接入人工智能系統(tǒng)仍面臨挑戰(zhàn)解決傳感器數(shù)據(jù)識(shí)別、數(shù)據(jù)安全的關(guān)鍵在于提高但目前“感”接入人工智能系統(tǒng)仍面臨挑戰(zhàn)，由于通全力、能源和信息及時(shí)性等因素限制，傳感器的海量數(shù)據(jù)無法傳輸?shù)皆贫思皶r(shí)處理，未來傳感器數(shù)據(jù)將面臨兩個(gè)關(guān)鍵問題：?數(shù)據(jù)識(shí)別：如何從眾多“感”提供的海量數(shù)據(jù)匯總有效識(shí)別并壓縮需要傳輸?shù)皆贫说臄?shù)據(jù)。?數(shù)據(jù)安全：如何保障從端側(cè)到云側(cè)的數(shù)據(jù)安五、“連”——推動(dòng)人工智能技術(shù)的融合連接是存算感連系統(tǒng)的“神經(jīng)系統(tǒng)”，它不僅是數(shù)據(jù)傳輸?shù)奈锢硗ǖ?，更是確保人工智能時(shí)代下全局資源協(xié)同、實(shí)時(shí)響應(yīng)的智能網(wǎng)絡(luò)骨架。連接技術(shù)的優(yōu)化和升級(jí)直接驅(qū)動(dòng)人工智能跨越式發(fā)展，光互聯(lián)技術(shù)可以達(dá)到高速的“萬物互聯(lián)”。1.數(shù)據(jù)傳輸速率大幅提高，效率大幅提升?3-5萬只800G/1.6T光模塊（400Tbps）可賦能單個(gè)千卡（1000GPU）AI集群訓(xùn)練。?光互連技術(shù)將延遲降至1μs以下，遠(yuǎn)超原來基于交換機(jī)的數(shù)據(jù)中心延遲（約10-50μs），訓(xùn)練迭代速度提升30%。?低延遲連接提升GPU利用率從40%至70%，等效降低算力成本30%。2.模型訓(xùn)練時(shí)間大幅縮短，成本大幅下降?萬卡集群通過3.2T光互連，ResNet-50訓(xùn)練時(shí)間從10天壓縮至4小時(shí)（GoogleTPUv4實(shí)測(cè)）。?光連接帶寬每提升1倍，大模型（如OpenAI175B參數(shù)模型）訓(xùn)練周期縮短40%。?先進(jìn)連接技術(shù)使光模塊功耗從15W/800G降至8W，單數(shù)據(jù)中心年省電費(fèi)超500萬美元。處在行業(yè)領(lǐng)先的地位連接與存算感協(xié)同進(jìn)化，逐漸凸顯出存算協(xié)同化、感知實(shí)時(shí)化和推理智能化三大特點(diǎn)。l支持存算一體化：光學(xué)互連支持分布式存儲(chǔ)池與計(jì)算節(jié)動(dòng)存算協(xié)同落地。l推動(dòng)感知實(shí)時(shí)化：多模態(tài)傳感器數(shù)據(jù)依賴低延遲連接實(shí)現(xiàn)動(dòng)400G/800G光模塊普及。l促進(jìn)推理智能化：更長上下文窗口（如百萬Token級(jí)記憶）要求連接帶寬五、“連”——推動(dòng)人工智能技術(shù)的融合LPO、CPO、硅光新技術(shù)是未來連接技術(shù)革新的主要路徑，實(shí)現(xiàn)高帶寬、高集成、低功耗優(yōu)勢(shì)。llLPO：LPO（LinearPhotonicOptical，線性直驅(qū)光模塊）技術(shù)通過線性直驅(qū)技術(shù)替換傳統(tǒng)光模塊中的數(shù)字信號(hào)處理器（DSP），完成了架構(gòu)簡(jiǎn)化，實(shí)現(xiàn)了光模塊的降功耗和低延遲。LPO技術(shù)在短距離數(shù)據(jù)尤其適用于數(shù)據(jù)中心內(nèi)部的高速互連場(chǎng)景。與傳統(tǒng)光模塊相比，LPO光模塊能夠在保持高速傳輸性能的同時(shí)，將功耗降低30-50%，有效解決了數(shù)據(jù)中心日益增長的功耗問題。lCPO：CPO（Co-PackagedOptics,光電共封裝）技術(shù)具有降低信號(hào)衰減、降低系統(tǒng)功耗、降低成本和實(shí)現(xiàn)高度集成的優(yōu)勢(shì)。CPO有望將現(xiàn)有可插拔光模塊架構(gòu)的功耗降低50%，將有效解決高速高密度互聯(lián)傳輸場(chǎng)景，主要應(yīng)用于超大型云服務(wù)商的數(shù)通短距場(chǎng)景。l硅光：硅光