智能計(jì)算系統(tǒng)

概述

什么是智能計(jì)算系統(tǒng)？智能計(jì)算系統(tǒng)是智能的物質(zhì)載體現(xiàn)階段的智能計(jì)算系統(tǒng)通常是集成CPU和智能芯片的異構(gòu)系統(tǒng)，軟件上通常包括一套面向開發(fā)者的智能計(jì)算編程環(huán)境（包括編程框架和編程語(yǔ)言）2智能計(jì)算系統(tǒng)的形態(tài)數(shù)據(jù)中心智能手機(jī)嵌入式設(shè)備超級(jí)計(jì)算機(jī)語(yǔ)音識(shí)別自動(dòng)翻譯藥物研制圖像分析商業(yè)分析廣告推薦機(jī)器人消費(fèi)類電子3智能計(jì)算系統(tǒng)具有重大價(jià)值上世紀(jì)人類從工業(yè)時(shí)代過(guò)渡到信息時(shí)代現(xiàn)在已經(jīng)發(fā)展到向智能時(shí)代進(jìn)化的拐點(diǎn)中國(guó)需要一大批智能計(jì)算系統(tǒng)的開發(fā)者和設(shè)計(jì)者4智能時(shí)代上世紀(jì)人類從工業(yè)時(shí)代過(guò)渡到信息時(shí)代現(xiàn)在已經(jīng)發(fā)展到向智能時(shí)代進(jìn)化的拐點(diǎn)蒸汽機(jī)集成電路智能計(jì)算系統(tǒng)5中國(guó)需要一大批智能計(jì)算系統(tǒng)的開發(fā)者和設(shè)計(jì)者研究趨勢(shì)AI相關(guān)論文指數(shù)增長(zhǎng)6arXivcategoriesofAIandMLFrom:Forecastingthefutureofartificialintelligencewithmachinelearning-basedlinkpredictioninanexponentiallygrowingknowledgenetwork,nature,2023.研究趨勢(shì)2015至2021年，AI相關(guān)專利數(shù)量增長(zhǎng)30多倍，復(fù)合年增長(zhǎng)率76.9%7高等教育8AI新創(chuàng)公司9投資規(guī)模10在過(guò)去的十年里，與人工智能相關(guān)的投資增長(zhǎng)了十三倍就業(yè)機(jī)會(huì)11國(guó)內(nèi)就業(yè)機(jī)會(huì)12AI領(lǐng)域人才緊缺度增加，研發(fā)崗位平均薪資漲幅明顯13參數(shù)規(guī)模大模型參數(shù)規(guī)模已達(dá)萬(wàn)億級(jí)！13SNARCPerceptronMark-I、CAPS淺層神經(jīng)網(wǎng)絡(luò)芯片2010202019401980深度學(xué)習(xí)處理器下一代智能計(jì)算系統(tǒng)？LeNet-5GPT-3/ChatGPTVGG19DenseNet-201GPT-1單層神經(jīng)網(wǎng)絡(luò)芯片單層神經(jīng)網(wǎng)絡(luò)DianNao、MLU、TPU多層神經(jīng)網(wǎng)絡(luò)深層神經(jīng)網(wǎng)絡(luò)神經(jīng)元MP101511011106AlexNetResNet-152NETTalkALVINNT5神經(jīng)網(wǎng)絡(luò)參數(shù)規(guī)模將達(dá)到1015！2025人腦突觸規(guī)模約為1015GoogleNetGPT-2BLOOM算力需求14五年十倍五年一萬(wàn)倍lfw人臉測(cè)試準(zhǔn)確度99%（成人僅97%）AlphaGo戰(zhàn)勝李世石人工智能算法在多種應(yīng)用上接近或超過(guò)了人類水平人工智能不斷飛速發(fā)展語(yǔ)音速記戰(zhàn)勝人類專業(yè)速記員15什么是人工智能人工智能：人制造出來(lái)的機(jī)器所表現(xiàn)出來(lái)的智能強(qiáng)人工智能或通用人工智能：具備與人類同等智慧、或超越人類的人工智能，能表現(xiàn)正常人類所具有的所有智能行為弱人工智能：能完成某種特定具體任務(wù)的人工智能，計(jì)算機(jī)科學(xué)的非平凡應(yīng)用16人工智能的三次熱潮171956年達(dá)特茅斯人工智能研討會(huì)18人工智能的三次熱潮19人工智能都在研究什么？20人工智能三個(gè)流派行為主義：基于控制論，構(gòu)建感知-動(dòng)作型控制系統(tǒng)符號(hào)主義：基于符號(hào)邏輯的方法，用邏輯表示知識(shí)和求解問(wèn)題連接主義：基于大腦中神經(jīng)元細(xì)胞連接的計(jì)算模型，用人工神經(jīng)網(wǎng)絡(luò)來(lái)擬合智能行為21符號(hào)邏輯的一個(gè)例子22一階謂詞邏輯符號(hào)主義的困難：邏輯，常識(shí)，求解器邏輯：未找到能表述世間所有知識(shí)的簡(jiǎn)潔邏輯體系常識(shí)：無(wú)窮無(wú)盡的常識(shí)求解器：命題邏輯判定NP完全，一階謂詞邏輯不可判定23更本質(zhì)的問(wèn)題人的智能主要是符號(hào)智能嗎？符號(hào)主義最本質(zhì)的問(wèn)題是只考慮了理性認(rèn)識(shí)的智能。人類的智能包括感性認(rèn)識(shí)（感知）和理性認(rèn)識(shí)（認(rèn)知）兩個(gè)方面人類語(yǔ)言的例子：詞匯，時(shí)態(tài)，格，數(shù)字24連接主義：人工神經(jīng)網(wǎng)絡(luò)1943，

神經(jīng)元模型，McCulloch和Pitts，第一波神經(jīng)網(wǎng)絡(luò)1949，《TheOrganizationofBehaviour》，Hebb學(xué)習(xí)

1958，感知機(jī)模型（preceptron），Rosenblatt1986，BP反向傳播訓(xùn)練方法，Rumelhart、Hinton和Williams，第二波神經(jīng)網(wǎng)絡(luò)1998，卷積神經(jīng)網(wǎng)絡(luò)，Lecun2000，自然語(yǔ)言模型，Bengio2006，深度置信網(wǎng)絡(luò)（DBN），Hinton,第三波神經(jīng)網(wǎng)絡(luò)2012，AlexNet（Dropout），Hinton團(tuán)隊(duì)贏得ImageNet比賽ILSVRC的冠軍2015，DeepResidualNetwork，AlphaGo2016,生成對(duì)抗網(wǎng)絡(luò)，GAN2017,Transformer自然語(yǔ)言處理2018，BERT,GPT自然語(yǔ)言處理2020，ViT,GPT圖像處理2022，ChatGPT聊天機(jī)器人252024，Sora根據(jù)提示詞生成的視頻Prompt:Photorealisticcloseupvideooftwopirateshipsbattlingeachotherastheysailinsideacupofcoffee.人工神經(jīng)網(wǎng)絡(luò)*開始流行時(shí)間26人工神經(jīng)元軸突細(xì)胞體樹突27生物神經(jīng)元：人工神經(jīng)元=老鼠：米老鼠一個(gè)神經(jīng)元的單層感知機(jī)1-1101-11-100第一代，單層感知機(jī)28多層+多個(gè)神經(jīng)元1990s如今第二代，MLPSVMs第三代，深度神經(jīng)網(wǎng)絡(luò)29深而大的深度神經(jīng)網(wǎng)絡(luò)30十億參數(shù)Le,Q.V.,Ranzato,M.A.,Monga,R.,Devin,M.,Chen,K.,Corrado,G.S.,…Ng,A.Y.(2012).BuildingHigh-levelFeaturesUsingLargeScaleUnsupervisedLearning.InInternationalConferenceonMachineLearning.110億參數(shù)Coates,A.,Huval,B.,Wang,T.,Wu,D.J.,&Ng,A.Y.(2013).Deeplearningwithcotshpcsystems.InInternationalConferenceonMachineLearning.6千萬(wàn)參數(shù)Krizhevsky,A.,Sutskever,I.,&Hinton,G.(2012).Imagenetclassificationwithdeepconvolutionalneuralnetworks.InAdvancesinNeuralInformationProcessingSystems(pp.1–9).ResNet152層BrownT,MannB,RyderN,etal.Languagemodelsarefew-shotlearners[J].Advancesinneuralinformationprocessingsystems,2020,33:1877-1901.1750億深而大的深度神經(jīng)網(wǎng)絡(luò)多層大規(guī)模人工神經(jīng)網(wǎng)絡(luò)31深度神經(jīng)網(wǎng)絡(luò)的組織方式TreeCarConvolutionConvolutionClassificationFeaturemapPooling32深度學(xué)習(xí)工作機(jī)理What’sdoesnetworksee?Zieler’snetworkvisualization33深度學(xué)習(xí)工作機(jī)理分類器34深度學(xué)習(xí)的局限性深度學(xué)習(xí)是一把梯子，而不是火箭泛化能力有限缺乏邏輯推理能力缺乏可解釋性魯棒性欠佳35什么是智能計(jì)算系統(tǒng)智能計(jì)算系統(tǒng)是智能的物質(zhì)載體現(xiàn)階段的智能計(jì)算系統(tǒng)通常是集成CPU和智能芯片的異構(gòu)系統(tǒng)，軟件上通常包括一套面向開發(fā)者的智能計(jì)算編程環(huán)境（包括編程框架和編程語(yǔ)言）36異構(gòu)智能計(jì)算系統(tǒng)為什么采用異構(gòu)智能計(jì)算系統(tǒng)？近十年來(lái)通用CPU的計(jì)算能力增長(zhǎng)近乎停滯，而智能計(jì)算能力的需求在不斷以指數(shù)增長(zhǎng)，二者形成了剪刀差例如，寒武紀(jì)深度學(xué)習(xí)處理器能夠以比通用CPU低一個(gè)數(shù)量級(jí)的能耗，達(dá)到100倍以上的智能處理的速度異構(gòu)系統(tǒng)在提高性能的同時(shí)，也帶來(lái)了編程上的困難一般會(huì)集成一套編程環(huán)境，方便程序員快速便捷地開發(fā)高能效的智能應(yīng)用程序深度學(xué)習(xí)編程框架包括PyTorch、TensorFlow等深度學(xué)習(xí)編程語(yǔ)言包括CUDA語(yǔ)言和BCL語(yǔ)言等37三代智能計(jì)算系統(tǒng)第一代智能計(jì)算系統(tǒng)：1980年代，面向符號(hào)主義智能處理的專用計(jì)算機(jī)（Prolog機(jī)，LISP機(jī)）第二代智能計(jì)算系統(tǒng)：2010年代，面向連接主義智能處理的專用計(jì)算機(jī)（深度學(xué)習(xí)計(jì)算機(jī)）第三代智能計(jì)算系統(tǒng)：未來(lái)強(qiáng)人工智能/通用人工智能的載體38第一代智能計(jì)算系統(tǒng)1975，MITAILab的Greenblatt研制成功LISP機(jī)CONS1978，MITAILab發(fā)布CONS的后繼，CADR1980s，發(fā)展高峰

Symbolics(3600,3640,XL1200,MacIvory）LispMachinesIncorporated(LMILambda)TexasInstruments(ExplorerandMicroExplorer）Xerox(Interlisp-Dworkstations)日本，五代機(jī)Prolog機(jī)，1983，DavidH.D.WarrenWarrenAbstractMachine1980s末到1990s初，AIwinter，第一代智能機(jī)市場(chǎng)坍塌39第一代智能計(jì)算系統(tǒng)LISP機(jī)（MIT博物館）Symbolics364040第一代智能計(jì)算系統(tǒng)High-levellanguagecomputerarchitectureOS的編程語(yǔ)言和硬件“統(tǒng)一”化，如LISP只針對(duì)特定語(yǔ)言的優(yōu)化局限性沒(méi)有太多的實(shí)際應(yīng)用需求由于摩爾定律發(fā)展，性能比不上CPU貴，幾十萬(wàn)美元一臺(tái)41第二代智能計(jì)算系統(tǒng)面向連接主義（深度學(xué)習(xí)）處理的計(jì)算機(jī)或處理器第二代智能計(jì)算系統(tǒng)的優(yōu)勢(shì)深度學(xué)習(xí)有大量實(shí)際的工業(yè)應(yīng)用，已經(jīng)形成了產(chǎn)業(yè)體系，因此相關(guān)研究能得到政府和企業(yè)的長(zhǎng)期資助摩爾定律在21世紀(jì)發(fā)展放緩，通用CPU性能增長(zhǎng)停滯，專用智能計(jì)算系統(tǒng)的性能優(yōu)勢(shì)越來(lái)越大因此，在可預(yù)見的將來(lái)，第二代智能計(jì)算系統(tǒng)還將長(zhǎng)期健壯發(fā)展，持續(xù)迭代優(yōu)化42第二代智能計(jì)算系統(tǒng)圖像識(shí)別語(yǔ)音識(shí)別廣告推薦游戲競(jìng)技自動(dòng)駕駛汽車移動(dòng)設(shè)備客戶端物端設(shè)備服務(wù)器氣象預(yù)報(bào)超級(jí)計(jì)算機(jī)DRAGON智能計(jì)算系統(tǒng)43第二代智能計(jì)算系統(tǒng)美國(guó)智能計(jì)算系統(tǒng)代表“頂點(diǎn)”（Summit）浮點(diǎn)運(yùn)算速度峰值達(dá)每秒20億億次（200PFlops）中國(guó)智能計(jì)算系統(tǒng)代表“曙光7000”浮點(diǎn)運(yùn)算速度峰值達(dá)每秒30億億次（300PFlops）44第二代智能計(jì)算系統(tǒng)45第三代智能計(jì)算系統(tǒng)展望大模型的發(fā)展為第三代智能計(jì)算系統(tǒng)的發(fā)展提供了一種可能隨著智能計(jì)算系統(tǒng)計(jì)算能力的逐步增強(qiáng)，深度學(xué)習(xí)大模型可以變得越來(lái)越大，甚至在規(guī)模上超過(guò)人腦，這將不僅僅是把個(gè)別弱人工智能問(wèn)題做得更好，而是能逐步逼近強(qiáng)人工智能，從而像人一樣在各種簡(jiǎn)單問(wèn)題上表現(xiàn)出好的效果若我們能使大模型進(jìn)一步擁有推理和涌現(xiàn)等高級(jí)認(rèn)知智能，或許強(qiáng)人工智能有可能成為現(xiàn)實(shí)第三代智能計(jì)算系統(tǒng)應(yīng)當(dāng)具有超強(qiáng)計(jì)算能力，從而能涌現(xiàn)出強(qiáng)人工智能的系統(tǒng)第三代智能計(jì)算系統(tǒng)探索的思路總體思路：具備全面感知能力和超大規(guī)模硬件的原始智人是怎樣一步步獲得智能的？體系結(jié)構(gòu)：面向海量并發(fā)認(rèn)知智能計(jì)算線程和超大規(guī)模虛擬環(huán)境的計(jì)算機(jī)和芯片算法：有限延遲的認(rèn)知智能算法，能自主產(chǎn)生語(yǔ)言和文字，從本能之上建立起自己的知識(shí)圖譜，打通感知到邏輯的鴻溝編程框架，操作系統(tǒng)，網(wǎng)絡(luò)等等都將為之巨變47DrivingExample從一個(gè)例子開始，串起本課程各個(gè)章節(jié)當(dāng)你上完掌握了第二代智能計(jì)算系統(tǒng)（深度學(xué)習(xí)計(jì)算機(jī)）的原理和使用形成了第三代智能計(jì)算系統(tǒng)的初步概念和興趣48“星空”49“星空”50如何解決一個(gè)AI的任務(wù)？像藝術(shù)家一樣51處理過(guò)程輸入輸出建模實(shí)現(xiàn)運(yùn)行52輸入輸入輸出建模實(shí)現(xiàn)運(yùn)行53建模深度學(xué)習(xí)基礎(chǔ)深度學(xué)習(xí)應(yīng)用輸入輸出建模實(shí)現(xiàn)運(yùn)行54深度學(xué)習(xí)基礎(chǔ)Sigmoid/ReLU/tanh顏色/紋理/形狀特征監(jiān)督/無(wú)監(jiān)督ForwardPropagationBackPropagation最優(yōu)化55深度學(xué)習(xí)傳統(tǒng)模式識(shí)別深度學(xué)習(xí)最重要的作用是表征學(xué)習(xí),學(xué)習(xí)層級(jí)化的特征，“深度”這詞指的就是很多層手工提取特征訓(xùn)練分類器訓(xùn)練分類器底層特征中層特征高層特征深度學(xué)習(xí)，就是多層人工神經(jīng)