第4章大模型未來(lái)發(fā)展趨勢(shì)及挑戰(zhàn)大模型技術(shù)發(fā)展趨勢(shì)一大模型產(chǎn)業(yè)應(yīng)用趨勢(shì)二人工智能倫理與安全三大模型面臨的挑戰(zhàn)四本章小結(jié)五大模型技術(shù)發(fā)展趨勢(shì)引言大模型技術(shù)，作為人工智能領(lǐng)域的前沿方向，正日新月異，推動(dòng)著各行各業(yè)的變革技術(shù)發(fā)展趨勢(shì)分為：大模型的幻覺(jué)修復(fù)定義：大模型生成無(wú)意義或與用戶提示詞不對(duì)應(yīng)的內(nèi)容思維鏈定義：通過(guò)讓大模型逐步參與將一個(gè)復(fù)雜問(wèn)題分解為一步一步的子問(wèn)題并依次進(jìn)行求解多模態(tài)大模型定義：能夠處理和理解多種不同模態(tài)數(shù)據(jù)的人工智能模型智能體走向具身化定義：能夠自主感知環(huán)境、做出決策并執(zhí)行相應(yīng)行動(dòng)的軟件或硬件實(shí)體。軟件工程理論基于大模型增強(qiáng)而重新定義大模型帶動(dòng)軟件工程變換科研范式全更新大模型帶動(dòng)科研范式的變換4.1大模型技術(shù)發(fā)展趨勢(shì)大模型幻覺(jué)定義定義：大模型生成無(wú)意義或與用戶提示詞不對(duì)應(yīng)的內(nèi)容幻覺(jué)的分類大模型的幻覺(jué)分為事實(shí)性幻覺(jué)和忠實(shí)性幻覺(jué)事實(shí)性幻覺(jué)：

定義：模型生成的內(nèi)容與可驗(yàn)證的現(xiàn)實(shí)世界事實(shí)不一致分類：事實(shí)不一致事實(shí)捏造忠實(shí)性幻覺(jué)：定義：生成的內(nèi)容與用戶的指令或上下文不一致分類：指令不一致上下文不一致邏輯不一致4.1.1大模型的幻覺(jué)修復(fù)幻覺(jué)產(chǎn)生的三大來(lái)源：數(shù)據(jù)源數(shù)據(jù)質(zhì)量不夠高訓(xùn)練過(guò)程

訓(xùn)練的時(shí)候有沖突知識(shí)，以及訓(xùn)練不充分推理過(guò)程推理模型不夠強(qiáng)大解決幻覺(jué)問(wèn)題的方法數(shù)據(jù)篩選：剔除引入幻覺(jué)的數(shù)據(jù)技術(shù)手段：可控文本生成、強(qiáng)化學(xué)習(xí)多任務(wù)學(xué)習(xí)、輸出后處理大模型幻覺(jué)攻擊實(shí)例4.1.1大模型的幻覺(jué)修復(fù)思維鏈定義定義：通過(guò)讓大模型逐步參與將一個(gè)復(fù)雜問(wèn)題分解為一步一步的子問(wèn)題并依次進(jìn)行求解，這一系列推理的中間步驟思維鏈優(yōu)勢(shì)提升大模型性能增強(qiáng)大模型推理能力降低忽視關(guān)鍵細(xì)節(jié)的現(xiàn)象例子4.1.2思維鏈“將總共有多少葵花籽”分解為一顆大向日葵的種子數(shù)量與一顆小向日葵的種子數(shù)量之和，通過(guò)將復(fù)雜問(wèn)題分解為多步驟的子問(wèn)題然后進(jìn)行實(shí)現(xiàn)4.增強(qiáng)可解釋性5.提高可控性多模態(tài)大模型定義指能夠同時(shí)處理多種不同類型的數(shù)據(jù)（如文本、圖像、音頻、視頻等）的大型深度學(xué)習(xí)模型。這些模型通常具有多個(gè)輸入通道，可以對(duì)各種模態(tài)的數(shù)據(jù)進(jìn)行聯(lián)合學(xué)習(xí)和特征提取，從而實(shí)現(xiàn)跨模態(tài)的信息融合和知識(shí)遷移。國(guó)內(nèi)外研究進(jìn)展國(guó)外：OpenAI的Sora國(guó)內(nèi)智譜AI的CogVLM關(guān)鍵技術(shù)數(shù)據(jù)對(duì)齊：確保不同模態(tài)的數(shù)據(jù)在時(shí)間和內(nèi)容上的一致性???????數(shù)據(jù)融合：將多模態(tài)數(shù)據(jù)整合在一起，以充分利用各模態(tài)的信息???????統(tǒng)一標(biāo)識(shí)：構(gòu)建一個(gè)統(tǒng)一的表示空間，使得不同模態(tài)的數(shù)據(jù)能夠互相理解和結(jié)合4.1.3多模態(tài)大模型Sora文生視頻大模型4.1.3多模態(tài)大模型OpenAI2024年2月15日發(fā)布能夠根據(jù)用戶的文本提示創(chuàng)建最長(zhǎng)60秒的逼真視頻能夠深度模擬真實(shí)物理世界，生成具有多個(gè)角色、包含特定運(yùn)動(dòng)的復(fù)雜場(chǎng)景Sora的思路是將輸入的訓(xùn)練數(shù)據(jù)轉(zhuǎn)換為具備時(shí)序特征的向量，然后由Sora中的Transformer預(yù)測(cè)下一個(gè)向量。無(wú)論是文本還是視頻，都需要轉(zhuǎn)化為高維向量組成的序列才能正常參與計(jì)算。對(duì)于GPT而言，這一向量中的這個(gè)最小單位是Token，對(duì)于Sora等文生視頻模型來(lái)說(shuō)，這個(gè)最小單位就是時(shí)空?qǐng)D塊（SpacetimeLatentPatches）。4.1.3多模態(tài)大模型字幕獲取圖像的描述圖像問(wèn)答與圖像進(jìn)行問(wèn)答交互3D點(diǎn)云構(gòu)建3維世界關(guān)鍵信息增強(qiáng)Agent給Agent提供視覺(jué)信息多模態(tài)技術(shù)在AGI發(fā)展中的應(yīng)用4.1.4智能體走向具身化與全方位交互智能體定義定義：自主感知環(huán)境、做出決策并執(zhí)行相應(yīng)行動(dòng)的軟件或硬件實(shí)體智能體基本特征感知環(huán)境：智能體能夠通過(guò)傳感器或其他輸入方式工具收集關(guān)于周圍環(huán)境的信息。決策制定：基于收集到的信息和內(nèi)部算法或模型，智能體能夠分析情況并做出決策。行動(dòng)執(zhí)行：智能體能夠?qū)ν饨缡┘佑绊?，通過(guò)輸出指令或直接操作來(lái)改變環(huán)境狀態(tài)。目標(biāo)導(dǎo)向：通常具有明確的目標(biāo)或任務(wù)，指導(dǎo)其行為和決策過(guò)程。學(xué)習(xí)與適應(yīng)：許多智能體還具備學(xué)習(xí)能力，能從經(jīng)驗(yàn)中學(xué)習(xí)并優(yōu)化其行為策略，以更好地達(dá)成目標(biāo)。智能體的基本框架4.1.4智能體走向具身化與全方位交互分類虛擬智能沒(méi)有實(shí)體的智能體具身智能是指研究在環(huán)境中具有實(shí)體的智能體（如現(xiàn)實(shí)或仿真環(huán)境下的機(jī)器人，能夠直接與環(huán)境進(jìn)行物理交互）具身智能的研究方法模仿學(xué)習(xí)（ImitationLearning）就是要訓(xùn)練機(jī)器能夠復(fù)制人類的連續(xù)動(dòng)作，進(jìn)而達(dá)到模仿的目的。強(qiáng)化學(xué)習(xí)（ReinforcementLearning）4.1.4智能體走向具身化與全方位交互具身智能的應(yīng)用實(shí)例PaLM-E：實(shí)體化多模態(tài)語(yǔ)言模型多模態(tài)語(yǔ)言模型，它不僅能夠理解和生成自然語(yǔ)言，還能直接整合來(lái)自真實(shí)世界的連續(xù)傳感器數(shù)據(jù)，如圖像和狀態(tài)估計(jì)，從而在語(yǔ)言模型與感知之間建立了直接聯(lián)系，這使得PaLM-E能夠在模擬和現(xiàn)實(shí)世界中控制不同的機(jī)器人，執(zhí)行復(fù)雜的實(shí)體推理任務(wù)。大模型在軟件工程中的應(yīng)用設(shè)計(jì)、需求、測(cè)試、發(fā)布和運(yùn)維等環(huán)節(jié)大模型催生的新軟件工程強(qiáng)大的表示能力和泛化性能顛覆性的研發(fā)模式改變持續(xù)漸進(jìn)的過(guò)程大模型對(duì)研發(fā)工作流的影響逐漸加深的影響程度開(kāi)發(fā)者需擁抱變化，找到切入點(diǎn)認(rèn)識(shí)大模型的潛在問(wèn)題和限制4.1.5軟件工程理論大模型在跨學(xué)科領(lǐng)域的應(yīng)用創(chuàng)新超級(jí)計(jì)算機(jī)系統(tǒng)重塑云計(jì)算重構(gòu)分布式系統(tǒng)大模型帶來(lái)的機(jī)遇與挑戰(zhàn)機(jī)遇：研究方法與實(shí)踐的改變挑戰(zhàn)：學(xué)科理論基礎(chǔ)的工具和方法增強(qiáng)4.1.5軟件工程理論大模型時(shí)代的科研背景大規(guī)模數(shù)據(jù)和端到端學(xué)習(xí)多任務(wù)學(xué)習(xí)能力的展現(xiàn)傳統(tǒng)科研模式的特點(diǎn)小規(guī)模數(shù)據(jù)集手工特征工程時(shí)間和精力的投入大模型帶來(lái)的科研范式變革簡(jiǎn)化研究流程提高研究效率改變數(shù)據(jù)處理和分析方式4.1.6科研范式全更新4.1.6科研范式全更新大模型的未來(lái)角色在科研范式中扮演更為重要的角色研究者需學(xué)習(xí)和應(yīng)用大模型技術(shù)推動(dòng)科學(xué)研究的進(jìn)步和發(fā)展大模型在科研中的應(yīng)用數(shù)據(jù)的直接利用端到端學(xué)習(xí)實(shí)現(xiàn)強(qiáng)大的通用任務(wù)解決能力第4章大模型未來(lái)發(fā)展趨勢(shì)及挑戰(zhàn)大模型技術(shù)發(fā)展趨勢(shì)一大模型產(chǎn)業(yè)應(yīng)用趨勢(shì)二人工智能倫理與安全三大模型面臨的挑戰(zhàn)四本章小結(jié)五4.2.1生成式AI改變?nèi)藱C(jī)交互方式人機(jī)交互的歷史變革圖靈機(jī)的打孔帶：人機(jī)交互的起點(diǎn)第一臺(tái)電子計(jì)算機(jī)：交互方式轉(zhuǎn)變Windows圖形界面：界面友好化多點(diǎn)觸控技術(shù)：簡(jiǎn)化用戶界面，縮小數(shù)字鴻溝語(yǔ)音交互與智能音響：接近自然交流GLM視頻通話生成式AI技術(shù)的進(jìn)展提升大模型理解能力更好地理解人類表達(dá)和意圖生成符合人類價(jià)值觀的回答未來(lái)展望功能強(qiáng)大的個(gè)人助手回答多樣化問(wèn)題人機(jī)協(xié)作新模式：機(jī)器生成內(nèi)容與人類判斷結(jié)合4.2.2模型即服務(wù)（ModelasaService）AI的工業(yè)化發(fā)展大模型推動(dòng)AI逐漸工業(yè)化，商業(yè)模式發(fā)生轉(zhuǎn)變ModelasaService）的生態(tài)未來(lái)AI領(lǐng)域?qū)⒊尸F(xiàn)出以模型即服務(wù)為核心的生態(tài)格局模型即服務(wù)系統(tǒng)的組成大模型公司提供AI技術(shù)基礎(chǔ)設(shè)施。基于大模型生成場(chǎng)景化、個(gè)性化的小模型，實(shí)現(xiàn)工廠化生產(chǎn)模式。將大模型與個(gè)人用戶需求結(jié)合，形成面向最終用戶的AI模型服務(wù)和應(yīng)用4.2.2模型即服務(wù)（ModelasaService）模型即服務(wù)的未來(lái)展望以大模型為核心，打造新一代人工智能應(yīng)用的基礎(chǔ)設(shè)施。有望成為AI領(lǐng)域的新興商業(yè)模式，推動(dòng)行業(yè)創(chuàng)新和增長(zhǎng)。4.2.3大模型的垂直領(lǐng)域應(yīng)用生成式AI技術(shù)的發(fā)展大模型在多個(gè)領(lǐng)域創(chuàng)造新的商業(yè)價(jià)值大模型的行業(yè)定制化應(yīng)用功能和特性與特定行業(yè)或領(lǐng)域需求緊密相關(guān)4.2.3大模型的垂直領(lǐng)域應(yīng)用國(guó)際案例微軟365Copilot集成GPT-4，Klarna集成ChatGPT插件，智能家務(wù)機(jī)器人TidyBot等應(yīng)用中國(guó)案例華為盤古大模型應(yīng)用于多個(gè)領(lǐng)域，國(guó)網(wǎng)-百度·文心大模型，釘釘接入通義大模型，騰訊會(huì)議接入混元大模型等。大模型的未來(lái)作用將在更多行業(yè)中發(fā)揮關(guān)鍵作用，推動(dòng)數(shù)字化和智能化的實(shí)現(xiàn)4.2.4大模型將助力個(gè)體成為超級(jí)生產(chǎn)者大模型技術(shù)的發(fā)展快速進(jìn)步，推動(dòng)個(gè)人生產(chǎn)力革命智能化工具的作用提供智能化建議自動(dòng)化繁瑣任務(wù)釋放個(gè)人創(chuàng)造力創(chuàng)作能力的擴(kuò)展與效率提升普通人也能生成復(fù)雜內(nèi)容學(xué)習(xí)新技能，編寫代碼創(chuàng)造精美視覺(jué)作品提升工作效率4.2.4大模型將助力個(gè)體成為超級(jí)生產(chǎn)者日常生活的應(yīng)用場(chǎng)景文本生成學(xué)習(xí)輔助編程開(kāi)發(fā)圖像和視頻編輯個(gè)人生產(chǎn)力的變革深入日常生活，改變工作方式和創(chuàng)作過(guò)程未來(lái)工作環(huán)境的變化智能化、個(gè)性化借助AI實(shí)現(xiàn)潛能創(chuàng)造豐富多樣的作品和解決方案第4章大模型未來(lái)發(fā)展趨勢(shì)及挑戰(zhàn)大模型技術(shù)發(fā)展趨勢(shì)一大模型產(chǎn)業(yè)應(yīng)用趨勢(shì)二人工智能倫理與安全三大模型面臨的挑戰(zhàn)四本章小結(jié)五4.3人工智能倫理與安全人工智能倫理問(wèn)題

隨著模型能力的增強(qiáng)和應(yīng)用范圍的擴(kuò)大，倫理問(wèn)題變得更為復(fù)雜和緊迫，帶來(lái)了人工智能倫理更多的挑戰(zhàn)。人工智能倫理與安全國(guó)際規(guī)約

人工智能的快速發(fā)展為社會(huì)帶來(lái)前景，同時(shí)也帶來(lái)個(gè)人安全風(fēng)險(xiǎn)。各國(guó)政府正通過(guò)加強(qiáng)立法、建立技術(shù)標(biāo)準(zhǔn)和安全規(guī)范、優(yōu)化資源配置等措施，解決立法和執(zhí)法不足、程序框架不完善及資源短缺問(wèn)題，保障人工智能健康發(fā)展。人工智能倫理與安全國(guó)內(nèi)規(guī)約

國(guó)家強(qiáng)調(diào)人工智能是引領(lǐng)科技革命和產(chǎn)業(yè)變革的關(guān)鍵技術(shù)，并指出需防范其潛在風(fēng)險(xiǎn)，保障人民利益和國(guó)家安全，確保人工智能的安全可控。我國(guó)正積極推動(dòng)人工智能健康發(fā)展，以造福全球人民4.3.1人工智能倫理問(wèn)題數(shù)據(jù)隱私與保護(hù)定義：大模型訓(xùn)練數(shù)據(jù)包含用戶隱私信息、醫(yī)療、金融、社交媒體等敏感領(lǐng)域風(fēng)險(xiǎn)解決方法：加強(qiáng)數(shù)據(jù)匿名化技術(shù)、加強(qiáng)數(shù)據(jù)訪問(wèn)權(quán)限控制、制定嚴(yán)格的數(shù)據(jù)保護(hù)法規(guī)算法偏見(jiàn)與公平性定義：歷史數(shù)據(jù)可能存在偏見(jiàn)、模型放大偏見(jiàn)導(dǎo)致不公平?jīng)Q策解決方法：確保訓(xùn)練數(shù)據(jù)多樣化和平衡、進(jìn)行公平性和偏見(jiàn)測(cè)試責(zé)任與歸責(zé)定義：大模型錯(cuò)誤決策責(zé)任歸屬難以確定解決方法：制定新的法律框架、明確開(kāi)發(fā)者、使用者及其他相關(guān)方責(zé)任透明度與可解釋性定義：大模型決策過(guò)程黑盒化、降低人們對(duì)模型的信任度解決方法：開(kāi)發(fā)新技術(shù)和方法提高透明度、提高模型可解釋性安全與控制定義：大模型可能被用于惡意目的解決方法：加強(qiáng)模型對(duì)人類價(jià)值觀的對(duì)齊、確保模型不被濫用就業(yè)與經(jīng)濟(jì)影響定義：AI發(fā)展對(duì)就業(yè)和社會(huì)結(jié)構(gòu)的影響、大模型可能取代某些工作崗位解決方法：平衡技術(shù)進(jìn)步與社會(huì)福祉、避免失業(yè)和社會(huì)不穩(wěn)定國(guó)際合作與全球治理定義：AI發(fā)展具有全球性特點(diǎn)解決方法：建立全球性AI倫理標(biāo)準(zhǔn)、建立全球性監(jiān)管機(jī)制、確保AI技術(shù)健康、有序發(fā)展4.3.2人工智能倫理與安全國(guó)際規(guī)約1《人工智能倫理問(wèn)題建議書(shū)》2021年11月23日、教科文組織強(qiáng)調(diào)：人工智能要體現(xiàn)出尊重、保護(hù)和提升人權(quán)及人類尊嚴(yán)，促進(jìn)環(huán)境與生態(tài)系統(tǒng)的發(fā)展2《人工智能權(quán)利法案藍(lán)圖》2022年10月4日、美國(guó)白宮科技政策辦公室強(qiáng)調(diào)：五項(xiàng)原則為：(1)安全有效的系統(tǒng)；(2)算法歧視保護(hù)；(3)數(shù)據(jù)隱私；(4)通知和解釋；(5)人工替代3《支持創(chuàng)新的人工智能監(jiān)管規(guī)則》2023年3月29英國(guó)強(qiáng)調(diào)：指導(dǎo)人工智能在英國(guó)的運(yùn)用，推動(dòng)負(fù)責(zé)任的創(chuàng)新，4《人工智能法案》2024年3月13日、歐盟強(qiáng)調(diào)：保護(hù)基本權(quán)利、民主、法治和環(huán)境可持續(xù)性免受高風(fēng)險(xiǎn)人工智能的侵害，同時(shí)促進(jìn)創(chuàng)新并確立歐洲在該領(lǐng)域的領(lǐng)導(dǎo)者地位。5《以人為本的人工智能治理》2023年12月12日、聯(lián)合國(guó)強(qiáng)調(diào)：人工智能對(duì)人類可能帶來(lái)的潛在益處及其推動(dòng)因素；同時(shí)，也強(qiáng)調(diào)了人工智能在當(dāng)前和未來(lái)一段時(shí)間內(nèi)可能帶來(lái)的風(fēng)險(xiǎn)和挑戰(zhàn)4.3.3人工智能倫理與安全國(guó)內(nèi)規(guī)約1.《新一代人工智能倫理規(guī)范》2021年9月25日新一代人工智能治理專業(yè)委員會(huì)強(qiáng)調(diào)：倫理道德融入人工智能全生命周期2.《關(guān)于加強(qiáng)人工智能倫理治理的立場(chǎng)文件》2022年11月16特定常規(guī)武器公約大會(huì)上強(qiáng)調(diào)：加強(qiáng)國(guó)際人工智能倫理治理，從人工智能技術(shù)監(jiān)管、研發(fā)、使用及國(guó)際合作等方面3.《生成式人工智能服務(wù)管理暫行辦法》2023年5月23日互聯(lián)網(wǎng)信息辦公室規(guī)定了生成式人工智能服務(wù)的適用范圍、管理原則、技術(shù)發(fā)展、服務(wù)規(guī)范、監(jiān)督和法律責(zé)任等多個(gè)方面4.《全球人工智能治理倡議》2023年10月18日“一帶一路”國(guó)際合作高峰論壇該倡議圍繞人工智能發(fā)展、安全、治理三方面系統(tǒng)闡述了人工智能治理的中國(guó)方案，第4章大模型未來(lái)發(fā)展趨勢(shì)及挑戰(zhàn)大模型技術(shù)發(fā)展趨勢(shì)一大模型產(chǎn)業(yè)應(yīng)用趨勢(shì)二人工智能倫理與安全三大模型面臨的挑戰(zhàn)四本章小結(jié)五4.4大模型面臨的挑戰(zhàn)技術(shù)挑戰(zhàn)計(jì)算資源與成本限數(shù)據(jù)質(zhì)量與多樣性問(wèn)題模型透明度與可解釋性社會(huì)倫理挑戰(zhàn)數(shù)據(jù)隱私與安全性模型偏見(jiàn)與公平性技術(shù)霸凌與智能鴻溝道德倫理規(guī)范制定商業(yè)挑戰(zhàn)盈利與商業(yè)化落地難題市場(chǎng)競(jìng)爭(zhēng)與資金時(shí)間投入技術(shù)創(chuàng)新與市場(chǎng)政策挑戰(zhàn)應(yīng)對(duì)策略技術(shù)創(chuàng)新與政策引導(dǎo)行業(yè)內(nèi)外共同努力服務(wù)