摘 一、AI大模型發(fā)展概 二、網(wǎng)絡(luò)使能大模型的需求和驅(qū)動 三、網(wǎng)絡(luò)使能大模型服 四、案例分 生成式AI在語義通信系統(tǒng)中的應(yīng) 五、未來展 六、參考文 七、主要貢獻單位和編寫人 隨著大模型和智能體（Artificialintelligenceagent,AIagent）技術(shù)的發(fā)面，未來第六代移動通信（Sixgeneration,6G）網(wǎng)絡(luò)存在大量低時延需求的價一、AI（一）ChatGPTAI大模型大量AI技術(shù)從“量變”到“質(zhì)變”的跨越。AI大模型是指擁有超大規(guī)模參數(shù)、超強計算資源的機器學(xué)習(xí)模型，能夠處（RNN模型的性能不斷提升?？偟膩碚f，AI大模型的發(fā)展歷程主要可以分為四個階段，如圖1所示。1.AI傳統(tǒng)模型（90180：在I發(fā)展的早期，傳統(tǒng)模型主要依賴于神經(jīng)網(wǎng)絡(luò)模型（1980-2017）1980年，卷積神經(jīng)網(wǎng)絡(luò)的雛形CNN誕生。2000年代初期，有學(xué)者開始研究神經(jīng)網(wǎng)絡(luò)模型，開始模仿人腦進行Transformer模型（2017-2018：2017年，Google2018年，OpenAI和Google分別發(fā)布了GPT-1與BERT大模型，使得NLP領(lǐng)現(xiàn)代AI大模型（2018至今：2022年，聊天機器人ChatGPT橫空出世，迅速引爆互聯(lián)網(wǎng)。此后發(fā)布的多模態(tài)預(yù)訓(xùn)練大模型GPT-4，再次引發(fā)了生成式AI的熱潮。目前各類大模型正持續(xù)涌現(xiàn)，性能也在不斷提升。（二）AI模型能夠同時處理多種類型的數(shù)在AI技術(shù)快速發(fā)展的當(dāng)下，智能手機等移動設(shè)備在人機交互、語音交流等部工具調(diào)用、記憶和規(guī)劃功能的AI大模型，可以被視為智能代理（Agent，它（一）未來6G成6GAI即服務(wù)(AIasaservice，AIaaS)。移動式AI、保障AI服務(wù)質(zhì)量、提供安全隱私保護。（二）AI11秒之內(nèi)，讓用戶感受到即時的互動體驗。而圖像類功能包括文1.--文本總結(jié)首詞響應(yīng)ms--智能問答首字響應(yīng)-512*512榮耀小米-圖像消除/擴蘋果------2.6G2所示，6G3種場景?？紤]到目前手機大模型中文生圖的時延較長的痛點，價值場景1是6G網(wǎng)絡(luò)通過算力卸載的方式，將終端算力全部或部分卸載到6G網(wǎng)絡(luò)3.6G3所示，6G網(wǎng)絡(luò)使能云端推理也可以包括算力使能、數(shù)據(jù)使能以及算工業(yè)入。通過大模型和AIGC技術(shù)，虛擬場景的生成可以更加自動AI大模型AI小模型可以與大模型協(xié)同工作，補充其在特定任務(wù)AI使能的工業(yè)元宇宙系統(tǒng)，適應(yīng)更加2給出了網(wǎng)絡(luò)使能大模型服務(wù)和一般AI模型服務(wù)的對比，6G網(wǎng)絡(luò)表2.AIAI利用6G網(wǎng)絡(luò)的高帶寬和低延遲，（一）未來6G網(wǎng)絡(luò)中的傳感設(shè)備將成為大型模型訓(xùn)練和推（二）至PB級別，這種規(guī)模的數(shù)據(jù)量遠超傳統(tǒng)數(shù)據(jù)處理工具和單機系統(tǒng)的處理能力，同神經(jīng)網(wǎng)絡(luò)為代表的神經(jīng)網(wǎng)絡(luò)使用大量訓(xùn)練數(shù)據(jù)訓(xùn)練一個參數(shù)為千萬量級甚至上的算法擴展到多個計算單元（如UGPU服務(wù)器），護的DML適用于具有縱向劃分?jǐn)?shù)據(jù)集的場景。DML適用于縱向劃分的數(shù)據(jù)集DML實際上提供了隱私保護的多條思（B2C，DML在隱私保護領(lǐng)域?qū)τ谀骋环矫嫘枨蟮睦^承1）了Hadoop分布式系統(tǒng)的基礎(chǔ)架構(gòu)。在經(jīng)過接近20年的發(fā)展后，出現(xiàn)了大量成(1)Spark是一個具有代表性的基于數(shù)據(jù)流模型的分布式處理系統(tǒng)，雖然它主要2010年，Google2012年發(fā)布了一個為大規(guī)模分布式訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)設(shè)計的框架，即DistBeliefTensorflowGoogleBrain的團隊在DisBelief的基礎(chǔ)上研發(fā)了TensorFlow據(jù)流和參數(shù)服務(wù)器搭配使用，從而取得了更快的速度、更高的移植性和靈活性。wwEagerExecuio，從而使得默認情況下計Windows和CPU、GPU。Pytorch則更加適合于小規(guī)模的項目，它使用了動態(tài)計算圖。它的主要特點Numpy的N維tensor，從而在GPU加速上取得了杰出的成GPU和其他機器上。2)模的微調(diào)模型（如LoRA）捕捉效的收斂。（）6G網(wǎng)絡(luò)的低延遲特點，實現(xiàn)分布式節(jié)點與G網(wǎng)絡(luò)的高帶寬進行快速數(shù)據(jù)傳輸和梯度同步。數(shù)據(jù)并行通過以下過程實現(xiàn)：1）數(shù)據(jù)分割：將訓(xùn)練數(shù)據(jù)集分成若干子集，分配到不同的計算節(jié)點；）梯度匯聚：所有節(jié)點的梯度通過網(wǎng)絡(luò)進行匯聚（例如使用參數(shù)服務(wù)器或全局同步AI算法動態(tài)調(diào)整計算資源和任務(wù)分配，從而提高資4所示，分布式訓(xùn)練服務(wù)的部署和內(nèi)涵應(yīng)從如下步4.部署6GscalingG給K個參與訓(xùn)練的客戶端。模型參數(shù)。對每個客戶端K，訓(xùn)練的目標(biāo)是最小化其本地損失函數(shù):???1\????;?,

。其中，?, 是客戶端k上的數(shù)據(jù)樣本，?(?)是損 函數(shù)，w是模型參數(shù)，??是客戶端k權(quán)聚合來更新全局模型。最常用的聚合方法是FedAvg?= ???。其中，n是所有客戶端的數(shù)據(jù)總量，K?=1孤島（cross-silo）和跨設(shè)備（cross-device）聯(lián)網(wǎng)）silo中的服務(wù)器強大，這些設(shè)備之間通過無線網(wǎng)[6]道（5G中用戶體驗的數(shù)據(jù)速率）傳輸一次GPT2-XL（約5.8GB的中型LLM）470秒[7]GPU進行長達幾個月的連續(xù)訓(xùn)練。雖然5G及以上網(wǎng)絡(luò)有嚴(yán)格的延遲要求。目前尚不清楚將大模IIDPEFT方法[8]FedPETuning[9]；DiLoCo[10]；壓縮；量化等；算法層面可以采用更高效的聯(lián)邦OpenFedLLM[11]，或者傳輸內(nèi)容更少的其他優(yōu)化算法，如PEFT此外，針對內(nèi)存的優(yōu)化還可以采用混合精度訓(xùn)練、ZeRO零冗余優(yōu)化器[18]等技模型。FedIT[20]提出每個設(shè)備可以采用不同的Lora配置，即層級最優(yōu)秩(Layer-wiseOptimalRankAdaptation)思想。大模型的參數(shù)規(guī)模極為龐大，且各大廠商也在持續(xù)刷新大模型參數(shù)量的上GPT11.11.8萬[8]已成為利用大模型的主要方法[21]，但直接微調(diào)對算力、內(nèi)存都提出了更高的要求，AI硬件（U）I（UGPU、芯片NVLink和InfiniBand等。搜索、推薦等場景的模型往往5.然而，傳統(tǒng)公開的可用數(shù)據(jù)集無法滿足大模型微調(diào)的需求[22]AI處理，本地數(shù)據(jù)不足或微調(diào)和預(yù)訓(xùn)練數(shù)據(jù)集之為了解決隱私數(shù)據(jù)給用戶安全和模型泛化性能帶來的挑戰(zhàn)，聯(lián)邦學(xué)習(xí)（Federatedlearning，F(xiàn)L）[22]作為一種分布式框架被引入。其中，聯(lián)邦分割學(xué)習(xí)（Federatedsplitlearning，F(xiàn)SL）框架[23]將模型分割成多個部分，在型參數(shù)至服務(wù)器進行聚合，而無需共享原始數(shù)據(jù)。隨后，服務(wù)器訓(xùn)練的全局模型參數(shù)被發(fā)送回所有客戶。在聯(lián)邦分割學(xué)習(xí)框架下微調(diào)大模型，可以有效降低6.此外，JianyiZhang等人[24]將FL在一定程度上提升了模型性能。JingJiang等人[25]TaoFan等人[26]FATE-LLMoChen等人[27]考慮到計算和通信兩個方面，提出將參數(shù)高效微調(diào)方法整合到聯(lián)邦學(xué)習(xí)框架中，例如適配器微調(diào)、前綴微調(diào)、提示微調(diào)和低秩適應(yīng)。通過最小化這種方法在保留近似性能和顯著減少計算和通信負擔(dān)之間取得了平衡。（三）思維樹提示等練和推理的合理性與準(zhǔn)確性。另一方面，可以考慮人類反饋的強化學(xué)習(xí)（RLHF（四）AI服務(wù)s可以根據(jù)用戶所在位置生成更加精準(zhǔn)的提示（opt，這些提示隨后被傳輸?shù)皆贫?，結(jié)合云AI模型的高效部署提供了技術(shù)支AI服務(wù)。隨著技術(shù)的不斷進步，端邊云協(xié)同推理服務(wù)將在更多場景中展現(xiàn)GPT4的萬億參數(shù)，Kimi和豆包等，通常都部署在云端。這些大模型體積龐大，適用于復(fù)雜任務(wù)的10B以下，并且有些模型3BPC和手機中，這就是目前熱議的“AIPC”和“AI手機”6G時代，機器人、無際運行中依然存在很多挑戰(zhàn)。6G網(wǎng)絡(luò)正可以通過以邊助端，云邊端協(xié)同來提升6G需要逐個token進行計算輸出，效率比較低。為此，網(wǎng)絡(luò)可以提供推理效率提例如P定義的dCapabiit）大面向AIAgent7.（五）AI模型的生命周期管理方案采用的是外掛疊加式的AI任務(wù)，對于不同的任務(wù)需要額外添加監(jiān)控處理單6GAI任務(wù)場景需求；模型的重訓(xùn)練AI大模型的優(yōu)化服務(wù)，通過在基站端部署性能監(jiān)控和AI編排模塊來針對不同任務(wù)統(tǒng)一6G網(wǎng)絡(luò)AI任務(wù)場景多樣化的需求。8AI任務(wù)編排、性能監(jiān)控、算力檢查、信圖8內(nèi)生AIAI生成式AI生成式AI是一種利用深度學(xué)習(xí)模型來生成新內(nèi)容的人工智能技術(shù)。這種技AI模型能夠自主地生成全新的內(nèi)容，這些內(nèi)容可AI不是簡單地根據(jù)給定的規(guī)而形成了人工智能生成內(nèi)容（AI-GeneratedContent，AIGC）的概念。AIGC的AIGC在數(shù)字藝術(shù)、音樂創(chuàng)作、廣告設(shè)計和產(chǎn)品創(chuàng)新等多個領(lǐng)域具有廣泛的應(yīng)用AI的深度學(xué)習(xí)模型和算法，AIGC能夠快速生成高質(zhì)量的內(nèi)容，ereeralewkG（ialone，E、循環(huán)神經(jīng)網(wǎng)絡(luò)（etulewk，N）等。這些技術(shù)通過不同的機制學(xué)習(xí)數(shù)據(jù)的分布，并生成新的數(shù)據(jù)實例。生成式AIAIGCAIBingAIGPT-3,AIGCAIBingAIGPT-3,LSTM,CNN,RNN,GAN,VAE,,VQ-GAN,GAN,CNN,DALL-EDALL-E,RNN,Transformer,GAN,VAE,擴散模型Transformer,VAE,CNN,RNN,GAN,VAE,FCNMurfAI,CNN,LSTM,RNN,FCNX轉(zhuǎn)NIC,RNN,CloudVideoRNN,LSTM,Speak[31]。這種技術(shù)以任務(wù)為主體，遵循“先理解，后傳輸”生成式AI生成式AI大模型驅(qū)動的語義通信系統(tǒng)是一種將生成式AI模型與語義通信AI模型AIGC服務(wù)。無線終端設(shè)備可以上傳數(shù)據(jù)，并通過接入點AI模型進行預(yù)訓(xùn)練和微調(diào)，并將訓(xùn)練好的模型部署到相應(yīng)的無線終端設(shè)備上[34]。中央云服務(wù)AI模型的預(yù)訓(xùn)練和提供全局的AIGC服務(wù)。數(shù)據(jù)平面：AIGCGC進行恢復(fù)，以減少傳輸過程中的失真[31]。此外，數(shù)據(jù)平面還負責(zé)從任務(wù)完AIGC信息的有效性。式AIAI模型和語義通信模型的過程中，知識管理扮演新和可靠性[35]。網(wǎng)絡(luò)控制平面還承擔(dān)著網(wǎng)絡(luò)管理的職責(zé)，以適應(yīng)語義通信AIGC10.AI高效響應(yīng)。AI模型通過分析歷史網(wǎng)絡(luò)行為，利用機器學(xué)習(xí)算法預(yù)測未來的資作量，但對存儲的要求較高。AI模型能夠?qū)崟r監(jiān)控網(wǎng)絡(luò)狀態(tài)和應(yīng)用程序的資通信資源分配：在語義通信系統(tǒng)中，通信資源分配的策略也呈現(xiàn)出智能化、上下文感知和用戶中心化的特點[37]。傳統(tǒng)的通信資源分配主要關(guān)注數(shù)據(jù)吞AI大模型驅(qū)動的語義通信系統(tǒng)則更加關(guān)注數(shù)據(jù)的語義或含義，旨在實現(xiàn)更高效、更精準(zhǔn)的信息傳遞。為了I高置信度的數(shù)據(jù)得到優(yōu)先傳輸[38]。而在多模態(tài)提示方面，系統(tǒng)則會利用視性和準(zhǔn)確性[39]。此外，由于語義通信中不同的知識匹配程度會導(dǎo)致移動用[40]AI大模型驅(qū)動的語AI大模型在文獻[34]AI大模型驅(qū)動的語義通信系統(tǒng)進行了GAIAI圖像。語義通信部分則采用了深度卷積網(wǎng)絡(luò)和Transformer驅(qū)動的語義解碼器進行語義分割和恢復(fù)。0dB的AWGN300張不同內(nèi)容的圖像。使用Adam5×10-4。比AI語義通信生成式AI表4