1、2022年計(jì)算機(jī)算力專(zhuān)題研究1. 算力是數(shù)字經(jīng)濟(jì)時(shí)代生產(chǎn)力1.1.數(shù)據(jù)成為經(jīng)濟(jì)發(fā)展重要生產(chǎn)要素按照 IDC 總結(jié)，全球計(jì)算數(shù)據(jù)的創(chuàng)建與使用總結(jié)為三個(gè)階段：1980 年以前：數(shù)據(jù)集中在數(shù)據(jù)中心存儲(chǔ)與處理，即使可通過(guò)遠(yuǎn)程訪(fǎng)問(wèn)，終 端計(jì)算能力低下，也無(wú)法對(duì)數(shù)據(jù)進(jìn)行深度計(jì)算，數(shù)據(jù)均為商用。1980-2000：摩爾定律顯威，PC 興起，數(shù)據(jù)的產(chǎn)生、處理與存儲(chǔ)更多流向 終端，同時(shí)出現(xiàn)了音樂(lè)、電影和游戲的數(shù)字娛樂(lè)產(chǎn)業(yè)。2000 至今：無(wú)線(xiàn)寬帶普及推動(dòng)數(shù)據(jù)進(jìn)入云端，將數(shù)據(jù)與特定的物理設(shè)備脫 鉤。社交與流媒體的興起使得數(shù)據(jù)中心更多承擔(dān)數(shù)據(jù)交互與集中計(jì)算任務(wù)， 而在不斷交互過(guò)程中數(shù)據(jù)量高速增長(zhǎng)。數(shù)據(jù)量呈現(xiàn)指數(shù)級(jí)增

2、長(zhǎng)，企業(yè)端占比不斷提升。根據(jù)中國(guó)信通院，到 2035 年， 全球數(shù)據(jù)量將達(dá) 2142ZB（ZB：Zettabyte，1ZB 約十萬(wàn)億億字節(jié)），是 2020 年所創(chuàng)建數(shù)據(jù)量的 45-46 倍。而由于進(jìn)入云時(shí)代，數(shù)據(jù)在本地存儲(chǔ)的需求逐步 減少，企業(yè)在云端可為客戶(hù)提供實(shí)時(shí)的數(shù)據(jù)和服務(wù)。數(shù)據(jù)逐漸成為經(jīng)濟(jì)發(fā)展的重要生產(chǎn)要素?；谠颇軌蚩焖僭L(fǎng)問(wèn)的數(shù)據(jù)運(yùn)用方式， 數(shù)據(jù)日益影響企業(yè)和日常生活，例如商業(yè)航空旅行、自動(dòng)駕駛、醫(yī)療應(yīng)用、控制 系統(tǒng)和遙測(cè)技術(shù)等社會(huì)生產(chǎn)力緊密相關(guān)的數(shù)據(jù)占比持續(xù)提升。IDC 預(yù)計(jì)到 2025 年，娛樂(lè)相關(guān)的消費(fèi)型數(shù)據(jù)占比將從 2012 年接近 60%下降至 30%左右，余下 約 70%將

3、是非娛樂(lè)化的圖像/視頻、生產(chǎn)力數(shù)據(jù)、工業(yè)生產(chǎn)等嵌入式數(shù)據(jù)。1.2.數(shù)據(jù)重要性提升，多維數(shù)據(jù)整合挖掘深度價(jià)值，催生算力旺盛需求重要數(shù)據(jù)量快速增長(zhǎng)。不同數(shù)據(jù)間的重要性相差較大，例如：醫(yī)療類(lèi)數(shù)據(jù)重要于 流媒體數(shù)據(jù)，不同數(shù)據(jù)運(yùn)行出現(xiàn)問(wèn)題所造成的影響亦不同，例如私用 PC 宕機(jī)造 成文件丟失和自動(dòng)駕駛數(shù)據(jù)錯(cuò)誤造成人員傷亡。IDC 預(yù)計(jì)未來(lái)關(guān)鍵數(shù)據(jù)量增速將 高于數(shù)據(jù)量總體增長(zhǎng)，2025 年需要安全防護(hù)的企業(yè)經(jīng)營(yíng)/醫(yī)療記錄等數(shù)據(jù)占比將 達(dá) 87%。單個(gè)數(shù)據(jù)的價(jià)值下降，多維數(shù)據(jù)整合方可挖掘深度價(jià)值，進(jìn)一步催生算力需求。 當(dāng)前數(shù)據(jù)指數(shù)級(jí)增長(zhǎng)的同時(shí)，數(shù)據(jù)類(lèi)型也更加多元化，在交通、工業(yè)、商業(yè)運(yùn)營(yíng) 等領(lǐng)域，少量、單一

4、化的數(shù)據(jù)的價(jià)值較低，只有將大量、多維度的數(shù)據(jù)進(jìn)行綜合 分析才能產(chǎn)生應(yīng)有的價(jià)值。例如交管領(lǐng)域?qū)τ诤谲?chē)的識(shí)別，需要將車(chē)輛行駛軌跡、 車(chē)輛圖像識(shí)別、人像識(shí)別與對(duì)比、車(chē)牌登記數(shù)據(jù)比對(duì)等多維度數(shù)據(jù)進(jìn)行分析才能 準(zhǔn)確篩選。對(duì)于龐雜的不同類(lèi)型數(shù)據(jù)（尤其非結(jié)構(gòu)化的）統(tǒng)一分析與存儲(chǔ)的需求 催生了數(shù)據(jù)湖概念，同時(shí)隨著云計(jì)算技術(shù)的深入應(yīng)用，帶來(lái)資源集約化和應(yīng)用靈 活性?xún)?yōu)勢(shì)的云原生概念也產(chǎn)生，大規(guī)模集群計(jì)算需求旺盛。全球超級(jí)數(shù)據(jù)中心占比快速提升，算力進(jìn)一步集中。近五年全球數(shù)據(jù)中心任務(wù)量 增長(zhǎng) 135%，大數(shù)據(jù)挖掘與應(yīng)用、人工智能深度學(xué)習(xí)需求旺盛，隨著摩爾定律逐 漸走向極限，超級(jí)數(shù)據(jù)中心成為數(shù)據(jù)中心主要增量。根據(jù) Ci

5、sco 數(shù)據(jù)，全球超級(jí) 數(shù)據(jù)中心打造服務(wù)器數(shù)量占所有數(shù)據(jù)中心搭載服務(wù)器比例由 2016 年的 27%提 升至 2021 年的 53%。1.3.算力正成為經(jīng)濟(jì)增長(zhǎng)主要?jiǎng)恿χ凰懔σ殉蔀閿?shù)字經(jīng)濟(jì)時(shí)代的關(guān)鍵生產(chǎn)力要素。在傳統(tǒng)的西方經(jīng)濟(jì)學(xué)理論中，驅(qū)動(dòng) 社會(huì)經(jīng)濟(jì)發(fā)展的生產(chǎn)要素包括了勞動(dòng)、資本、土地、企業(yè)家的才能等。而在一系 列新興信息數(shù)字技術(shù)的興起與廣泛應(yīng)用的數(shù)字經(jīng)濟(jì)時(shí)代中，與計(jì)算能力的形成直 接相關(guān)的算力資本投入（數(shù)據(jù)、算力、算法），如同農(nóng)業(yè)時(shí)代的水利、工業(yè)時(shí)代的 電力，已成為數(shù)字經(jīng)濟(jì)發(fā)展的核心生產(chǎn)力，是國(guó)民經(jīng)濟(jì)發(fā)展的重要基礎(chǔ)設(shè)施。國(guó) 務(wù)院印發(fā)的“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃中也明確提及到 2025 年我

6、國(guó)數(shù)字 經(jīng)濟(jì)核心產(chǎn)業(yè)增加值占 GDP 比重將從 2020 年的 7.8%上升到 10%，數(shù)字經(jīng)濟(jì) 將為經(jīng)濟(jì)社會(huì)持續(xù)健康發(fā)展提供持續(xù)動(dòng)力。中美算力規(guī)模全球領(lǐng)先。截至 2021 年底，全球數(shù)據(jù)中心算力總規(guī)模達(dá) 521EFLOPS（EFLOPS：每秒進(jìn)行 1018 次浮點(diǎn)運(yùn)算）。中美兩國(guó)算力規(guī)模分 別約為 161EFLOPS 和 140EFLOPS，占全球總算力份額約為 31%和 27%。計(jì)算力和 GDP 增長(zhǎng)顯著相關(guān)。根據(jù) IDC 等機(jī)構(gòu)的研究，全球平均來(lái)看，他們構(gòu) 建的“計(jì)算力指數(shù)”每提升 1 個(gè)點(diǎn)，國(guó)家數(shù)字經(jīng)濟(jì)和 GDP 將分別增長(zhǎng) 3.5和 1.8。同時(shí)，“計(jì)算力指數(shù)”越高，對(duì) GDP 的拉

7、動(dòng)作用越顯著。1.4.東數(shù)西算，數(shù)字經(jīng)濟(jì)時(shí)代新基建啟航大數(shù)據(jù)時(shí)代，算力與數(shù)據(jù)增長(zhǎng)齊頭并進(jìn)。根據(jù)中國(guó)算力白皮書(shū)（2022 年）的 數(shù)據(jù)，2021 年我國(guó)算力總規(guī)模達(dá)到 140Eflops（每秒一萬(wàn)四千億億次浮點(diǎn)運(yùn)算， 包含通用算力、智能算力、超算算力，邊緣算力暫未納入統(tǒng)計(jì)范圍），全球占比約 為 27%，近五年年均增速超 30%。展望未來(lái)，工信部印發(fā)的“十四五”信息通 信行業(yè)發(fā)展規(guī)劃指出 2025 年我國(guó)數(shù)據(jù)中心算力總規(guī)模將增長(zhǎng)到 300EFLOPS， CAGR 達(dá) 22%；另一方面，伴隨 5G、人工智能、物聯(lián)網(wǎng)等技術(shù)的應(yīng)用普及， 數(shù)據(jù)流量增長(zhǎng)速率也在不斷加快。根據(jù) IDC 的預(yù)測(cè)，全球數(shù)據(jù)總量在

8、 2020 年 將達(dá) 50ZB，而這一數(shù)據(jù)到 2025 年有望達(dá)到 175ZB，CAGR 達(dá) 28%。與此同 時(shí)，根據(jù)中央網(wǎng)信辦的數(shù)據(jù)統(tǒng)計(jì)，2019 年度中國(guó)移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)接入量為 1,655.50 億 GB，預(yù)計(jì) 2024 年將達(dá)到 5,680.90GB，CAGR 也高達(dá) 28%。因 此，我們認(rèn)為在當(dāng)前數(shù)字經(jīng)濟(jì)大時(shí)代下，適度超前建設(shè)以數(shù)據(jù)中心為首的新型基 建具有明確的戰(zhàn)略意義?！皷|數(shù)西算”正式啟動(dòng)，預(yù)計(jì)每年帶動(dòng) 4000 億投資。今年二月，國(guó)家發(fā)展改革 委、中央網(wǎng)信辦、工業(yè)和信息化部、國(guó)家能源局聯(lián)合印發(fā)通知，同意在京津冀、 長(zhǎng)三角、粵港澳大灣區(qū)、成渝、內(nèi)蒙古、貴州、甘肅、寧夏等 8 地啟動(dòng)建

9、設(shè)國(guó)家 算力樞紐節(jié)點(diǎn)，并規(guī)劃了 10 個(gè)國(guó)家數(shù)據(jù)中心集群，標(biāo)志著“東數(shù)西算”工程正 式全面啟動(dòng)。與“西氣東輸”“西電東送”“南水北調(diào)”等工程相似，“東數(shù)西 算”是一個(gè)國(guó)家級(jí)算力資源跨域調(diào)配戰(zhàn)略工程，針對(duì)我國(guó)東西部算力資源分布總 體呈現(xiàn)出“東部不足、西部過(guò)?！钡牟黄胶饩置?，引導(dǎo)中西部利用能源優(yōu)勢(shì)建設(shè) 算力基礎(chǔ)設(shè)施，“數(shù)據(jù)向西，算力向東”，服務(wù)東部沿海等算力緊缺區(qū)域，解決 我國(guó)東西部算力資源供需不均衡的現(xiàn)狀?！皷|數(shù)西算”工程對(duì)我國(guó)的長(zhǎng)遠(yuǎn)發(fā)展有 重要的意義：有利于提升國(guó)家整體算力水平：通過(guò)全國(guó)一體化的數(shù)據(jù)中心布局建設(shè)，擴(kuò)大 算力設(shè)施規(guī)模，提高算力使用效率，實(shí)現(xiàn)全國(guó)算力規(guī)?；s化發(fā)展。有利于促進(jìn)綠色

10、節(jié)能：數(shù)據(jù)中心屬于高耗能行業(yè)，又被稱(chēng)為“不冒煙的鋼廠(chǎng)”。 將數(shù)據(jù)中心從能耗指標(biāo)緊張的東部地區(qū)遷往清潔能源富集、電力更加廉價(jià)的 西部，將大幅提升綠色能源使用比例，降低數(shù)據(jù)中心運(yùn)營(yíng)的成本。有利于擴(kuò)大有效投資：數(shù)據(jù)中心產(chǎn)業(yè)鏈條長(zhǎng)、投資規(guī)模大，帶動(dòng)效應(yīng)強(qiáng)。發(fā) 改委預(yù)計(jì)“十四五”期間大數(shù)據(jù)中心投資還將以每年超過(guò) 20%的速度增長(zhǎng)， 每年預(yù)計(jì)各方面投資額達(dá) 4,000 億元。有利于推動(dòng)區(qū)域協(xié)調(diào)發(fā)展：通過(guò)算力設(shè)施由東向西布局，將帶動(dòng)相關(guān)產(chǎn)業(yè)有 效轉(zhuǎn)移，促進(jìn)東西部數(shù)據(jù)流通、價(jià)值傳遞，延展東部發(fā)展空間，推進(jìn)西部大 開(kāi)發(fā)形成新格局。2. 后摩爾時(shí)代，算力從 PC 走向 AI 集群2.1.后摩爾時(shí)代，傳統(tǒng)計(jì)算架構(gòu)亟

11、待革新AI 算量需求急劇增加，傳統(tǒng)架構(gòu)難以滿(mǎn)足。根據(jù)摩爾定律，集成電路上可以容納 的晶體管數(shù)目大約每 18 個(gè)月增加一倍，而 AI 訓(xùn)練算量自 2012 年開(kāi)始以平均 每 3.43 個(gè)月翻倍的速度實(shí)現(xiàn)指數(shù)增長(zhǎng)。在芯片制程達(dá)到個(gè)位數(shù)納米級(jí)的當(dāng)下， 傳統(tǒng)芯片算力提升速度難以趕上計(jì)算量增速。下游應(yīng)用的高景氣度和不斷衍生的智能化需求，推動(dòng)芯片革新。中國(guó)云計(jì)算市場(chǎng) 規(guī)模增長(zhǎng)迅速，2021 年達(dá)到 3229 億元，近 5 年 CAGR 達(dá) 44.6%。云計(jì)算作 為人工智能云端訓(xùn)練芯片的主要應(yīng)用場(chǎng)景，推動(dòng)了芯片架構(gòu)迭代。2.2. AI 算力需求旺盛，GPU 是主流GPU 是當(dāng)前主流數(shù)據(jù)中心端 AI 計(jì)算架構(gòu)

12、。按技術(shù)架構(gòu)分類(lèi)，AI 芯片可分為圖 形處理器（GPU）、現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）、專(zhuān)用集成電路（ASIC）、類(lèi)腦 芯片。GPU 起初強(qiáng)調(diào)圖形處理，隨著強(qiáng)大的并行計(jì)算能力被發(fā)掘，逐步進(jìn)入通 用計(jì)算領(lǐng)域；FPGA 以半定制化為特征，注重于服務(wù)垂直領(lǐng)域；ASIC 則是針對(duì) 客戶(hù)應(yīng)用場(chǎng)景需求進(jìn)行定制；類(lèi)腦芯片尚處于起步階段。智能算力需求旺盛，GPU 充分受益。從市場(chǎng)規(guī)模來(lái)看，2021 年服務(wù)器 GPU 全 球市場(chǎng)規(guī)模達(dá)到 71.5 億美元，2019-2021 年復(fù)合增速 66%，占服務(wù)器整體市 場(chǎng)規(guī)模比例快速提升；同期 FPGA 全球市場(chǎng)規(guī)模為 7.9 億美元，相比 2020 年 基本持平；而

13、ASIC 主要用于終端推理。我們認(rèn)為，中期看 GPU 仍將是數(shù)據(jù)中 心端 AI 訓(xùn)練等加速計(jì)算的主流芯片，充分受益于智能算力高景氣。2.3. Nvidia&AMD：市值超越 Intel，時(shí)代算力從 PC 端走向 AI 集群Nvidia：2022 年上半年數(shù)據(jù)中心收入占比超過(guò) 50%。受益于智能算力高景氣， Nvidia 作為全球 GPU 龍頭，數(shù)據(jù)中心業(yè)務(wù)占比歷年快速提升，由 2014 年的 6.8%，提升至 2022 年上半年的 50.4%，是主要收入增長(zhǎng)動(dòng)力。AMD：數(shù)據(jù)中心端發(fā)力，搶占 X86 市場(chǎng)。AMD 于 2016 年發(fā)布 Zen 架構(gòu)，相 比 Intel 的 IDM 模式，AMD

14、 的 fabless 模式在當(dāng)前芯片制程接近極限背景下更 具優(yōu)勢(shì)，借助全球領(lǐng)先 foundary 廠(chǎng)領(lǐng)先于 Intel 自身的制程優(yōu)勢(shì)，性能持續(xù)追 趕。尤其在服務(wù)器 CPU 方面，是 AMD 搶占 intel 市場(chǎng)的主要發(fā)力點(diǎn)，在 X86 芯片的市場(chǎng)份額持續(xù)提升至 2021Q4 的 10.7%。Nvidia 和 AMD 市值雙雙超越 Intel，時(shí)代算力從 PC 端走向集群 AI 端。得益于 Nvidia 在數(shù)據(jù)中心市場(chǎng)的強(qiáng)勁表現(xiàn)和 AMD 在服務(wù)器 CPU 市場(chǎng)的發(fā)力，目前它 們的市值均已超越 Intel，雖然 Intel 目前的收入和利潤(rùn)體量明顯高于 Nvidia 和 AMD，但是資本市場(chǎng)

15、給予后兩者估值溢價(jià)明顯，標(biāo)志著時(shí)代算力正從傳統(tǒng)的 PC 端走向服務(wù)器的 AI 集群，產(chǎn)業(yè)浪潮不可逆轉(zhuǎn)。3. 人工智能開(kāi)啟算力時(shí)代3.1.AI 三要素：數(shù)據(jù)、算法、算力AI 行業(yè)快速發(fā)展，智能算力需求提升。根據(jù)使用設(shè)備和提供算力強(qiáng)度的不同，算 力可分為基礎(chǔ)算力、智能算力與高端算力三大類(lèi)。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展， 以及互聯(lián)網(wǎng)和云計(jì)算時(shí)代海量數(shù)據(jù)和高效計(jì)算能力的支撐，計(jì)算機(jī)視覺(jué)技術(shù)、語(yǔ) 音技術(shù)、自然語(yǔ)言理解技術(shù)等人工智能技術(shù)取得了突破性進(jìn)展，并解鎖多個(gè)行業(yè) 的人工智能場(chǎng)景，驅(qū)動(dòng)了人工智能行業(yè)相關(guān)的計(jì)算量快速增長(zhǎng)。根據(jù)中國(guó)算力 白皮書(shū)（2022 年）的數(shù)據(jù)統(tǒng)計(jì)，2021 年全球智能算力總規(guī)模達(dá) 1

16、13EFLOPS， 占全球總算力規(guī)模的 22%。我們認(rèn)為，伴隨人工智能技術(shù)的復(fù)雜性不斷增加，人 工智能計(jì)算能力的需求將呈指數(shù)級(jí)增長(zhǎng)。AI 三要素相互耦合，共同生成 AI 模型。一個(gè)傳統(tǒng)的 AI 模型包括訓(xùn)練和推斷（預(yù) 測(cè)）兩大部分。訓(xùn)練環(huán)節(jié)指將訓(xùn)練數(shù)據(jù)（通常為現(xiàn)有的歷史數(shù)據(jù)）輸入進(jìn)算法中， 通過(guò) AI 芯片（GPU、FPGA 等）提供算力支撐，以及數(shù)據(jù)工程師的分析調(diào)參， 最后生產(chǎn)滿(mǎn)足特定功能的 AI 應(yīng)用模型。推斷環(huán)節(jié)指通過(guò)向訓(xùn)練完成的 AI 應(yīng)用模 型中輸入實(shí)際應(yīng)用場(chǎng)景中的新數(shù)據(jù)，并生產(chǎn)對(duì)應(yīng)的推斷結(jié)果。在這一過(guò)程中，數(shù) 據(jù)、算法和算力扮演著同等重要的角色，三要素的耦合關(guān)系是探索 AI 未來(lái)發(fā)

17、展 道路的重要基礎(chǔ)：數(shù)據(jù)是 AI 模型的“汽油”：數(shù)據(jù)是一切人工智能的基礎(chǔ)。數(shù)據(jù)因其可具象性 強(qiáng)，也是最容易被理解的競(jìng)爭(zhēng)壁壘（特斯拉在自動(dòng)駕駛數(shù)據(jù)的積累、科大訊 飛在智慧教育的題庫(kù)數(shù)據(jù)積累等）。未來(lái)數(shù)據(jù)的突破口在于 1）數(shù)據(jù)積累的 行業(yè)下沉（智能化滲透率的提升，傳感技術(shù)的升級(jí)等）；2）現(xiàn)有數(shù)據(jù)的打通 （實(shí)現(xiàn)將不同行業(yè)，政府與企業(yè)間的數(shù)據(jù)互聯(lián)互通）；因此，在特定行業(yè)具 備數(shù)據(jù)積累先發(fā)優(yōu)勢(shì)和跨行業(yè)數(shù)據(jù)整合能力的公司有望形成保持領(lǐng)先。算力是 AI 模型的“發(fā)動(dòng)機(jī)”：算力是最容易被直觀(guān)量化的指標(biāo)（英偉達(dá)每年 推出的新 GPU 參數(shù)），但也是目前最大的瓶頸。算力的瓶頸并不體現(xiàn)在算 力的絕對(duì)大小，而在于實(shí)

18、現(xiàn)該算力的成本。特別是在算法場(chǎng)景眾多、迭代速 度較快的 AI 領(lǐng)域，如何設(shè)計(jì)出同時(shí)滿(mǎn)足通用性和高算力的 AI 芯片仍是當(dāng)下 炙手可熱的話(huà)題。因此，具備由單一芯片模式往融合異構(gòu)多芯片模式發(fā)展能 力的公司有望率先受益。算法是 AI 模型的“大腦”：算法是 AI 實(shí)現(xiàn)技術(shù)躍遷的根本，也是最難以被 直觀(guān)理解的部分。從 AlexNet 重新復(fù)興神經(jīng)網(wǎng)絡(luò)到 Transformer 開(kāi)啟大模 型時(shí)代，人工智能的每一次里程碑事件都伴隨著算法層面的突破與創(chuàng)新。往 后展望，一個(gè)好的算法除了能更好的完成設(shè)定的任務(wù)外，還需具備 1）更強(qiáng) 的通用性（激活更多的可用數(shù)據(jù)）；2）更優(yōu)化的計(jì)算原理（減少算力的負(fù)擔(dān)）。 因此，

19、我們認(rèn)為在 AI 領(lǐng)域具備科研資源和資金實(shí)力的公司將有望拔得頭籌。3.2. “大模型”橫空出世，人工智能進(jìn)入算力時(shí)代深度神經(jīng)網(wǎng)絡(luò)模型為 AI 行業(yè)注入新動(dòng)能。英國(guó)數(shù)學(xué)家阿蘭圖靈在 1950 年提 出了“機(jī)器能思考嗎”這一跨世紀(jì)的命題, 人類(lèi)從未停止過(guò)對(duì)智能化的思考與探 索。自 1956 年達(dá)特茅斯會(huì)議上首次提出人工智能概念以來(lái)，人工智能技術(shù)與應(yīng) 用已經(jīng)發(fā)展 60 多年，經(jīng)歷了多次高潮和低谷。過(guò)去的十年間，我們有幸見(jiàn)證了 深度學(xué)習(xí)的興起為行業(yè)的發(fā)展注入的驚人的活力：2012 年 AlexNet（一種卷積神經(jīng)網(wǎng)絡(luò)模型）引入了利用 GPU 并行運(yùn)算， 以壓倒性的準(zhǔn)確率奪得了當(dāng)年 ImageNet 圖

20、像識(shí)別大賽的冠軍，帶來(lái)了深 度神經(jīng)網(wǎng)絡(luò)的又一次復(fù)興。2016 年 DeepMind 開(kāi)發(fā)的人工智能 AlphaGo 打敗人類(lèi)頂尖棋手李世石， 開(kāi)啟了人工智能發(fā)展的新紀(jì)元。2017 年 Google 團(tuán)隊(duì)提出的 Transformer 模型橫空出世，成為了日后自 然語(yǔ)言學(xué)習(xí)（NLP）、計(jì)算機(jī)視覺(jué)（CV）的架構(gòu)標(biāo)準(zhǔn)；基于 Transformer 的 預(yù)訓(xùn)練模型 BERT 更是將 NLP 模型的精準(zhǔn)度和泛化能力帶上了新的臺(tái)階。2020 年有 1750 億參數(shù)的 GPT-3（Generative Pre-trained Transformer 3）的誕生，標(biāo)志著“大模型”正在成為邁向強(qiáng)人工智能的 重要

21、一步。伴隨場(chǎng)景與數(shù)據(jù)的激增，大模型或許成為規(guī)模化創(chuàng)新的基礎(chǔ)。大模型指通過(guò)超大 規(guī)模的參數(shù)設(shè)置和數(shù)據(jù)輸入，通過(guò)大算力和大數(shù)據(jù)，以及強(qiáng)大的算力支撐與訓(xùn)練， 而得出的基礎(chǔ)的、具有通用性的、綜合的大模型。大模型浪潮最早起源于預(yù)訓(xùn)練 模型，Google 發(fā)布的 BERT 模型即是自然語(yǔ)言處理領(lǐng)域最為典型的預(yù)訓(xùn)練模 型。OpenAI 則提出了 GPT 模型，尤其是 2020 年發(fā)布的 GPT-3 模型參數(shù)量 即達(dá)到 1750 億，在全球掀起大模型的浪潮。大模型可以使人工智能具備處理語(yǔ) 言、視覺(jué)、機(jī)器人、推理、人際互動(dòng)等各類(lèi)相關(guān)任務(wù)的能力。因此這類(lèi)模型將賦 能各行各業(yè)，加快傳統(tǒng)行業(yè)的智能化轉(zhuǎn)型，在法律、醫(yī)療、教育等領(lǐng)域都會(huì)帶來(lái) 積極影響。例如 Meta 推出的擁有 150 億個(gè)參數(shù)的 ESMfold 模型可以在原子大 小的精度上預(yù)測(cè)蛋白質(zhì)的三維結(jié)構(gòu)，推測(cè)速度比 AlphaFold2 快出一個(gè)數(shù)量級(jí)。 可以說(shuō)，在 AI 模型開(kāi)發(fā)領(lǐng)域，經(jīng)歷了預(yù)訓(xùn)練模型-大規(guī)模預(yù)訓(xùn)練模型-超大規(guī)模 預(yù)訓(xùn)練模型的演進(jìn)。3.3.異構(gòu)計(jì)算突破算力瓶頸大模型問(wèn)世，AI 計(jì)算量需求指數(shù)增長(zhǎng)。如第二章所述，AI 訓(xùn)練算量自 2012 年 開(kāi)始以平均每 3.43 個(gè)月翻倍的速度實(shí)現(xiàn)指數(shù)增長(zhǎng)，但摩爾定律逼近極限，同期 算力增長(zhǎng)僅 7 倍，遠(yuǎn)低于 AI 模型計(jì)算量的 30 萬(wàn)倍。由于實(shí)現(xiàn)人工智能所需的 深度學(xué)習(xí)算法需要很高