汽車產(chǎn)業(yè)目前處于多項(xiàng)變革同時(shí)發(fā)生的時(shí)期，科技進(jìn)步推動變革產(chǎn)生，新變革催生新的需求。智能座艙作為汽車市場下個(gè)階段的競爭焦點(diǎn)，各主機(jī)廠正試圖通過產(chǎn)品差異化來占據(jù)市場優(yōu)勢。用戶對汽車座艙功能的需求維度也在不斷拓展，智能座艙開始成為消費(fèi)者日常生活的一個(gè)延伸，一個(gè)可移動的生活空間。未來的智能座艙將更多地兼顧“內(nèi)容”、“服務(wù)”甚至是“主動智能”的升級。那么，對于即將在未來投入應(yīng)用的前沿技術(shù)，以及那些已經(jīng)在實(shí)踐中得到應(yīng)用的技術(shù)成果，智能座艙領(lǐng)域又有著怎樣的期待和展望呢？一、虛擬現(xiàn)實(shí)

虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)，一度非?；鸨R技術(shù)給用戶提供一個(gè)交互式的虛擬三維空間，通過感知單元提供視覺，觸覺，聽覺等感官的模擬，讓人們進(jìn)入虛擬世界。VR需要用戶使用特定的頭盔形成一個(gè)密閉的虛擬空間。AR技術(shù)則不然，它是以現(xiàn)實(shí)世界為主體，通過全息投影鏡片把顯示內(nèi)容與現(xiàn)實(shí)世界疊加。戴上AR眼鏡，用戶將可以接收與真實(shí)世界相關(guān)的數(shù)據(jù)化信息。虛擬現(xiàn)實(shí)技術(shù)將為智能座艙提供更強(qiáng)大的沉浸式體驗(yàn)。為了支持虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)，智能座艙需要滿足如下的電子技術(shù)要求。1.出色的圖形渲染能力

虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)是通過人的眼睛，營造一個(gè)通過視覺而感知的虛擬世界。因此，出色的圖形渲染能力必然是VR和AR技術(shù)的首選要求。對于人眼的感知能力而言，當(dāng)顯示屏幕的像素密度達(dá)到60PPD（PixelPerDegree，即每度視場角包含的像素?cái)?shù)目）時(shí)，人眼便無法分辨出單個(gè)的像素顆粒，這種狀態(tài)通常被稱為“視網(wǎng)膜屏”效果。若一個(gè)VR/AR眼鏡的視場角（FOV）達(dá)到100°，那么為了在這個(gè)視場范圍內(nèi)都達(dá)到視網(wǎng)膜屏的效果，單眼的水平方向就需要至少6000個(gè)像素（這里假設(shè)視場是水平方向的，且PPD均勻分布）。另一方面，所謂的4K屏幕，其分辨率為3840*2160（UHD,超高清分辨率），雙眼就要求達(dá)到2*3840*2160的分辨率。因此，分辨率越高，用戶觀看VR/AR的體驗(yàn)效果就越好。

同時(shí)，由于VR/AR的顯示屏距離眼球太近，為了避免用戶產(chǎn)生眩暈不適，我們需要調(diào)節(jié)鏡片與眼部的瞳距，并提升刷新率。針對VR/AR眼鏡的顯示幀率，最好是能達(dá)到120幀/秒。這個(gè)圖形渲染的要求已經(jīng)超過了當(dāng)前手機(jī)SoC芯片的顯示分辨率。因此，智能座艙芯片要想能使VR和AR的體驗(yàn)效果達(dá)到最佳，就要提升CPU、GPU、VPU、DPU以及DDR帶寬和顯示接口的能力。一般SoC芯片采用的MIPIDSI接口無法滿足要求，需要考慮使用DP或者HDMI接口。2.多元的交互能力

VR/AR技術(shù)為用戶構(gòu)建了一個(gè)沉浸式的虛擬世界，而為了實(shí)現(xiàn)真正的交互和沉浸感，用戶與系統(tǒng)的交互方式顯得尤為重要。簡單的信息接收已不能滿足現(xiàn)代VR/AR體驗(yàn)的需求，用戶期望能夠更自然地與系統(tǒng)溝通。目前，手部交互和語音交互是兩種主流的人機(jī)溝通方式。用戶可以通過VR手柄、游戲搖桿等傳統(tǒng)設(shè)備與系統(tǒng)互動，這種方式雖然經(jīng)典但稍顯局限。為了更貼近真實(shí)世界的交互體驗(yàn)，穿戴式設(shè)備如手套、指環(huán)等逐漸受到青睞，它們?yōu)橛脩籼峁┝烁鼮橹庇^和自然的操作方式。而手勢識別技術(shù)的興起，更是為VR/AR交互帶來了新的革命。借助艙內(nèi)攝像頭，用戶的手部動作被精準(zhǔn)捕捉，進(jìn)而實(shí)現(xiàn)3D手勢識別。這種交互方式無需額外的物理設(shè)備，讓用戶能夠更自由地與系統(tǒng)溝通，大大增強(qiáng)了沉浸感和真實(shí)感。

當(dāng)然，未來的交互方式還有巨大的探索空間。隨著腦機(jī)接口等前沿科學(xué)研究的深入，我們或許可以期待一種更為直接和高效的交互方式的出現(xiàn)。那時(shí)，用戶只需通過意念即可與系統(tǒng)溝通，這將為VR/AR技術(shù)帶來前所未有的變革。3.超強(qiáng)的感知能力

座艙內(nèi)的虛擬現(xiàn)實(shí)技術(shù)，與普通VR/AR眼鏡相比，具有得天獨(dú)厚的優(yōu)勢，因?yàn)樗艹浞终虾屠密囕d傳感器的強(qiáng)大感知能力。舉例來說，架構(gòu)師可以巧妙地將車外攝像頭捕捉到的沿途美麗風(fēng)景實(shí)時(shí)投射到VR/AR眼鏡中，使用戶能夠在享受虛擬世界的同時(shí)，也不錯(cuò)過旅途中的任何一處迷人景致，從而實(shí)現(xiàn)旅行拍攝和記錄的獨(dú)特功能。更有趣的是，用戶在虛擬世界中的刺激冒險(xiǎn)也能被投射到車載屏幕上，讓家人和朋友一起分享游戲的歡樂和緊張刺激。這種互動不僅增強(qiáng)了用戶與家人之間的情感聯(lián)系，也讓虛擬現(xiàn)實(shí)的體驗(yàn)更加豐富多彩。而為了進(jìn)一步提升沉浸感，汽車的空氣懸掛系統(tǒng)、座椅的通風(fēng)和按摩功能、空調(diào)和香氛的控制系統(tǒng)，以及支持環(huán)繞立體聲的音頻系統(tǒng)，都被巧妙地融入到虛擬現(xiàn)實(shí)體驗(yàn)中。這些智能系統(tǒng)的聯(lián)動，讓用戶在虛擬世界中遨游時(shí)，能夠感受到更為真實(shí)和震撼的視聽觸感，從而獲得前所未有的沉浸式體驗(yàn)。4.強(qiáng)大的計(jì)算能力

智能座艙在VR/AR應(yīng)用中的計(jì)算能力是其核心優(yōu)勢之一。為了減少用戶戴上VR/AR設(shè)備后可能出現(xiàn)的眩暈感，智能座艙的計(jì)算單元會進(jìn)行一系列精密的計(jì)算和補(bǔ)償操作。例如，智能座艙的計(jì)算單元能夠通過攝像頭追蹤用戶的眼球注視焦點(diǎn)，然后計(jì)算并渲染針對用戶的顯示區(qū)域。這一功能對于調(diào)整VR/AR內(nèi)容的呈現(xiàn)方式至關(guān)重要，可以確保用戶所看到的內(nèi)容始終與其視線方向保持一致，從而減少視覺上的不適感。

為了提供更加自然的虛擬現(xiàn)實(shí)體驗(yàn)，智能座艙需要實(shí)時(shí)計(jì)算VR/AR設(shè)備的6Dof（6DegreesofFreedom，六個(gè)自由度）空間自由度。這意味著設(shè)備可以在X-Y-Z三個(gè)軸方向上轉(zhuǎn)動，具體分為YAW（繞Y軸）、Pitch（繞X軸）、Roll（繞Z軸）的旋轉(zhuǎn)，再疊加空間運(yùn)動的定位信息（在三個(gè)軸方向上的移動），從而實(shí)現(xiàn)6個(gè)自由度的精確控制。通過這種計(jì)算，智能座艙能夠精確地知道設(shè)備在空間中的位置和朝向，進(jìn)而對顯示屏投射進(jìn)行運(yùn)動補(bǔ)償，以消除因設(shè)備移動或用戶頭部運(yùn)動導(dǎo)致的畫面抖動或錯(cuò)位，從而大大減少用戶的不適感覺。圖1所展示的是一個(gè)面向未來的AR眼鏡應(yīng)用場景，其中，AR眼鏡被用于顯示導(dǎo)航信息。圖1AR眼鏡顯示導(dǎo)航信息二、車載游戲

第一個(gè)車載游戲的具體時(shí)間已經(jīng)難以考證，但據(jù)資料顯示，早在上個(gè)世紀(jì)80年代，一些汽車品牌如豐田和本田就開始嘗試在車載娛樂系統(tǒng)中加入簡單的電子游戲功能。這些游戲通常比較簡單，例如“貪吃蛇”、“俄羅斯方塊”等，目的是為了在長途旅行中給乘客帶來一些娛樂。然而，這些早期的車載游戲功能并沒有得到廣泛普及，因?yàn)楫?dāng)時(shí)的電子游戲技術(shù)還比較初級，而且車載娛樂系統(tǒng)的硬件和軟件也相對簡單。隨著智能座艙的普及，車載游戲開始與座艙的智能化技術(shù)相結(jié)合，產(chǎn)生了更加多樣化的游戲形式和體驗(yàn)。

在車載游戲領(lǐng)域，“3A大作”這一詞匯近來備受矚目。所謂“3A大作”，即指那些成本高、規(guī)模大且品質(zhì)卓越的單機(jī)游戲。它們以絢麗的畫面、充實(shí)的游戲內(nèi)容及深層次的體驗(yàn)吸引著無數(shù)玩家。特斯拉曾經(jīng)在ModelS車型上演示了3A游戲，例如《賽博朋克2077》、《巫師3：狂獵》、和《刺客信條：奧德賽》。在這些游戲中，玩家可以進(jìn)行角色扮演，探索廣闊的世界并完成任務(wù)。然而，引入這些游戲必須要考慮到軟硬件的生態(tài)問題。例如，這些游戲運(yùn)行在與SteamDeck（一個(gè)掌上游戲發(fā)行平臺）相同的Linux版本之上，其運(yùn)行硬件平臺是AMD公司的x86CPU和RDNAGPU（獨(dú)立顯卡）。一般基于ARM的SoC還不能運(yùn)行類似的游戲。1.車載3A游戲技術(shù)路線

在座艙中引入3A游戲大作，可以考慮如下3條技術(shù)路線：使用x86架構(gòu)的芯片構(gòu)建座艙SoC使用x86芯片平臺構(gòu)建座艙SoC是一種可行的方式。相比移動端的ARM架構(gòu)，x86芯片平臺具有強(qiáng)大的計(jì)算能力，可以滿足3A游戲大作的高性能需求。x86平臺搭配運(yùn)行的操作系統(tǒng)是Linux系統(tǒng)，這意味著基于Steam（一個(gè)電子游戲數(shù)字發(fā)行平臺）的大量游戲可以直接在這個(gè)系統(tǒng)上運(yùn)行。其龐大的游戲庫和持續(xù)的更新都為座艙提供了持續(xù)的游戲內(nèi)容。因此，x86的生態(tài)系統(tǒng)已經(jīng)滿足了許多3A游戲大作的要求，為游戲開發(fā)者提供了便利。運(yùn)行Android手機(jī)類游Android手機(jī)類游戲的崛起不容忽視。以《原神》為例，這款游戲憑借其精致的畫面、豐富的世界觀和深入的角色定制贏得了全球玩家的喜愛。它的受歡迎程度不僅僅在于游戲本身的品質(zhì)，更在于Android平臺為其提供了廣泛的用戶基礎(chǔ)和便捷的更新機(jī)制。與其他平臺相比，《原神》在Android上的表現(xiàn)更加出色，其優(yōu)化后的版本可以充分利用ARM平臺CPU和GPU的性能，為用戶提供流暢的游戲體驗(yàn)。

當(dāng)前，新能源車智能座艙采用ARM架構(gòu)和Android操作系統(tǒng)的比例很高。將手機(jī)上的3A游戲移植到座艙上，成本較低，花費(fèi)較少，具有廣泛的用戶基礎(chǔ)，是一條可行的道路。采用游戲機(jī)投屏方式還有一種可行的方式是采用游戲機(jī)投屏方式。這種方式可以利用已有的游戲機(jī)和游戲資源，不需要進(jìn)行大量的開發(fā)和移植工作。例如任天堂公司發(fā)布的Switch、索尼公司的PS5和微軟公司的Xbox等（以上三者都是流行的游戲機(jī)硬件設(shè)備）。這些主流游戲機(jī)都支持投屏功能。通過HDMI線纜或者DP線纜，這些機(jī)器可以將游戲畫面投屏到座艙內(nèi)部的中控大屏上。用戶可以在座艙內(nèi)享受到與家庭游戲機(jī)相似的體驗(yàn)。這些游戲機(jī)已經(jīng)擁有龐大的游戲庫，且持續(xù)更新，確保了游戲的多樣性和新鮮感。同時(shí)，由于是直接從游戲機(jī)投屏，所以在畫面質(zhì)量和流暢度上都有很好的保障。2.智能座艙SoC能力要求

為了直接通過座艙的計(jì)算平臺運(yùn)行3A游戲，智能座艙SoC需要滿足如下一些條件：出色的GPU渲染能力如果我們希望通過座艙SoC直接運(yùn)行3A級游戲，那么不論是選用x86平臺還是ARM平臺，高性能的GPU都是不可或缺的。通常情況下，在ARM平臺上，SoC內(nèi)部會直接集成嵌入式的GPUIP核；而x86平臺則往往會采用一塊獨(dú)立于SoC的GPU。x86平臺下的獨(dú)立GPU算力可以遠(yuǎn)超ARM架構(gòu)下的GPU，其從個(gè)人計(jì)算機(jī)環(huán)境繼承而來的桌面級GPU的圖形渲染管線更能為游戲場景增添驚艷的光影效果。然而，采用更強(qiáng)大的GPU也會帶來空間布局和散熱等更為復(fù)雜的挑戰(zhàn)。因此，在設(shè)計(jì)座艙域控制器時(shí)，必須全面權(quán)衡高性能GPU所帶來的利弊。有時(shí)會需要采用主動降溫方式，但這樣又增加了成本。

供電能力不同的座艙平臺在運(yùn)行3A游戲時(shí)會消耗不同的電能。ARM架構(gòu)通常配備嵌入式GPU，其供電功率一般約為十幾瓦。而x86架構(gòu)的獨(dú)立GPU在運(yùn)行游戲時(shí)，供電功率可能高達(dá)120瓦。對于外置式游戲機(jī)而言，三大游戲機(jī)的供電需求差異顯著。Switch作為一款掌上游戲機(jī)，可通過USBType-C線進(jìn)行快速充電，其供電功率為33瓦。PS5和Xbox則屬于家用游戲機(jī)類別，體積更大，對電源功率的要求也更高。PS5需通過電源插座供電，其額定功率為350瓦。Xbox則分為兩個(gè)版本：XboxSeriesS的電源功率為165瓦，而XboxSeriesX的電源功率高達(dá)330瓦。因此，若智能座艙內(nèi)需支持游戲機(jī)投屏功能，就必須考慮供電能力是否充足，以及是否配備了220V電源插座。這些因素將對車載供電能力的分配和座艙內(nèi)部布局產(chǎn)生影響。豐富的車載接口將家用游戲機(jī)的畫面投屏到座艙內(nèi)部大屏幕，這與將游戲機(jī)投屏到客廳的電視機(jī)或電腦顯示屏類似。Switch游戲機(jī)可以通過其殼體上的USBType-C接口直接輸出DP視頻信號，同時(shí)也可通過一個(gè)轉(zhuǎn)接底座，將DP信號轉(zhuǎn)換成HDMI信號輸出。而PS5和Xbox游戲機(jī)則都只支持HDMI視頻信號輸出。因此，座艙SOC需要配備DP或HDMI視頻輸入接口。這種有線投屏方式能夠?qū)崿F(xiàn)10ms以內(nèi)的視頻信號延遲，這對于動作交互類游戲的體驗(yàn)至關(guān)重要。圖2展示了特斯拉汽車在智能座艙內(nèi)支持3A游戲的場景。

圖2智能座艙支持3A游戲大作三、車手互聯(lián)最早的車機(jī)與手機(jī)互聯(lián)案例是利用藍(lán)牙技術(shù)撥打電話。由于相關(guān)法規(guī)禁止駕駛員在駕駛時(shí)使用手持電話進(jìn)行通話，但駕駛員在行車過程中又有通話的需求，因此，將車載麥克風(fēng)和音響通過藍(lán)牙技術(shù)與手機(jī)相連，便實(shí)現(xiàn)了非手持式通話功能。這種藍(lán)牙互聯(lián)的需求逐漸成為了剛性需求。隨后，車機(jī)和手機(jī)互聯(lián)的進(jìn)一步實(shí)現(xiàn)案例是蘋果公司的CarPlay。CarPlay于2013年首次推出，通過與汽車制造商的合作，使用戶的蘋果手機(jī)能夠與汽車儀表盤和中控臺無縫連接，從而提供了多樣化的功能。例如，通過CarPlay，用戶可以輕松使用電話、短信、導(dǎo)航、音樂和其他應(yīng)用程序，同時(shí)支持語音控制或觸控操作。除蘋果外，谷歌也推出了類似的系統(tǒng)——AndroidAuto，它可以將Android手機(jī)上的應(yīng)用投屏到汽車中控臺上。對于蘋果公司的CarPlay技術(shù)而言，它提供了兩種將蘋果手機(jī)與座艙系統(tǒng)互聯(lián)的方式：一是通過USB數(shù)據(jù)線進(jìn)行有線連接，二是利用藍(lán)牙和Wi-Fi技術(shù)進(jìn)行無線連接。在連接建立后，iOS設(shè)備的操作界面和各種應(yīng)用程序功能會投射到車載屏幕上，用戶便可通過車載屏幕和語音指令來操作iOS設(shè)備上的功能，例如導(dǎo)航、音樂播放和撥打電話等。CarPlay使用的互聯(lián)技術(shù)是一組包含iAP2（iOSAccessoryProtocol,version2）協(xié)議的協(xié)議族，這些協(xié)議共同負(fù)責(zé)建立和維護(hù)CarPlay會話（CarPlaySession）。從技術(shù)層面講，其無線連接的底層實(shí)現(xiàn)是基于Wi-FiP2P（點(diǎn)對點(diǎn)）協(xié)議的，這種協(xié)議使得兩個(gè)Wi-Fi設(shè)備無需通過接入點(diǎn)（如無線路由器）即可實(shí)現(xiàn)直接通信。

1.公有無線投屏協(xié)議

一般來說，車機(jī)與手機(jī)實(shí)現(xiàn)無線互聯(lián)的協(xié)議分為公有和私有兩大類。公有協(xié)議通常包括DLNA和Miracast兩種。DLNA（DigitalLivingNetworkAlliance，數(shù)字生活網(wǎng)絡(luò)聯(lián)盟）由索尼、英特爾、微軟等公司發(fā)起成立，旨在實(shí)現(xiàn)個(gè)人計(jì)算機(jī)、移動設(shè)備、消費(fèi)電器之間的無線網(wǎng)絡(luò)和有線網(wǎng)絡(luò)的互聯(lián)互通。DLNA技術(shù)主要以實(shí)現(xiàn)內(nèi)容分享功能為主，可以靈活地實(shí)現(xiàn)網(wǎng)絡(luò)文件鏈接和流媒體的推送，具有連接速度快、協(xié)議輕量的優(yōu)點(diǎn)。由于它只提供內(nèi)容分享功能，并不需要在發(fā)送端進(jìn)行屏幕捕獲、編碼等工作，因此對發(fā)送端的處理能力要求較低。DLNA也被稱為“PushMode”，即推送模式。在這種模式下，手機(jī)與座艙系統(tǒng)連接到同一個(gè)Wi-Fi網(wǎng)絡(luò)。當(dāng)需要互聯(lián)時(shí)，手機(jī)發(fā)送一個(gè)視頻資源的地址鏈接給座艙系統(tǒng)，后者通過該地址鏈接獲取視頻文件并開始在線播放。手機(jī)可以控制座艙系統(tǒng)的播放進(jìn)度、音量等。圖3展示了基于DLNA的無線投屏系統(tǒng)框架。圖3DLNA無線投屏系統(tǒng)框架從圖3可以看到，DLNA技術(shù)的底層協(xié)議可以通過Wi-Fi路由器實(shí)現(xiàn)手機(jī)和座艙SoC的互聯(lián)。此時(shí)手機(jī)甚至可以不在座艙內(nèi)部，可以遠(yuǎn)程將手機(jī)上的音視頻文件推送給智能座艙系統(tǒng)進(jìn)行播放。當(dāng)然DLNA也可以采用Wi-FiP2P作為點(diǎn)對點(diǎn)直聯(lián)方式，實(shí)現(xiàn)車機(jī)和手機(jī)之間的互聯(lián)。

Miracast是另一種用于無線投屏的技術(shù)，由Wi-Fi聯(lián)盟發(fā)布，也被稱為Wi-FiDisplay。它基于Wi-FiP2P（PeertoPeer，點(diǎn)對點(diǎn)）技術(shù)，實(shí)現(xiàn)了音視頻數(shù)據(jù)的無線傳輸與播放。自2012年10月起，Google發(fā)布的Android4.2版本開始支持Miracast功能。由于它是一個(gè)開放的標(biāo)準(zhǔn)，并且得到了Android平臺的支持，市面上支持Miracast的設(shè)備開始大量出現(xiàn)。在Miracast的R1版本中，僅實(shí)現(xiàn)了屏幕分享功能，并不支持通過網(wǎng)絡(luò)鏈接方式傳輸音視頻流文件。無論發(fā)送端播放的文件是何種格式，Miracast都會將抓取的屏幕內(nèi)容編碼為H.264格式后再進(jìn)行傳輸。這樣，發(fā)送端與接收端都采用固定的格式進(jìn)行編解碼，從而有效減少了兼容性問題。然而，屏幕的抓取與編碼過程需要消耗大量的計(jì)算資源，這不僅對發(fā)送端的性能和配置提出了較高要求，而且還需要發(fā)送端提供硬件編碼接口以提升編碼效率。在R2版本之后，Miracast開始支持“MirrorMode”和“PushMode”兩種模式。其中，“MirrorMode”，即鏡像模式，是直接抓取手機(jī)屏幕數(shù)據(jù)，編碼為H.264等流媒體格式后，再傳輸?shù)阶撓到y(tǒng)的投屏方式。圖4展示了基于Miracast的無線投屏系統(tǒng)框架。圖4Miracast無線投屏系統(tǒng)框架從圖4可以看到，Miracast技術(shù)的底層協(xié)議通過Wi-FiP2P協(xié)議實(shí)現(xiàn)車機(jī)和手機(jī)的互聯(lián)。它最重要的功能就是可以采用“MirrorMode”實(shí)現(xiàn)投屏。這樣的場景使用靈活性更高。

2.私有車手互聯(lián)協(xié)議

在進(jìn)行車機(jī)和手機(jī)互聯(lián)時(shí)，一個(gè)主要的應(yīng)用思路是將手機(jī)的計(jì)算能力擴(kuò)展到座艙系統(tǒng)上。由于汽車電子的特性，座艙系統(tǒng)的算力平臺必須符合車規(guī)要求，這通常意味著座艙內(nèi)的SoC芯片性能會弱于同時(shí)期的消費(fèi)類電子芯片。例如，智能手機(jī)芯片的算力逐年提升，而座艙SoC芯片卻只能以三年或更長的周期進(jìn)行更新?lián)Q代。鑒于這種算力分享的需求，汽車主機(jī)廠提出了新的要求，即通過私有協(xié)議實(shí)現(xiàn)手機(jī)和座艙系統(tǒng)的互聯(lián)互通。這種連接不僅實(shí)現(xiàn)了Wi-Fi無線投屏的功能，還能將座艙的計(jì)算需求發(fā)送到手機(jī)端，利用手機(jī)芯片的資源進(jìn)行計(jì)算，然后再將結(jié)果返回給座艙系統(tǒng)。這種私有協(xié)議的實(shí)施方式取決于各個(gè)廠家的具體實(shí)現(xiàn)途徑，但它能為用戶帶來更加優(yōu)質(zhì)的體驗(yàn)效果。以蔚來汽車的“NIOLink”協(xié)議為例，其目標(biāo)是構(gòu)建以車輛為中心的全景移動互聯(lián)技術(shù)，該技術(shù)融合了車輛和手機(jī)的多端軟硬件能力，旨在連接用戶、產(chǎn)品、服務(wù)和社區(qū)，為用戶帶來全新的移動互聯(lián)體驗(yàn)。具體來說，在蔚來設(shè)計(jì)的手機(jī)NIOPhone上，實(shí)現(xiàn)了一個(gè)實(shí)體按鍵，即“NIOLink”車控鍵。這個(gè)按鍵不僅能在車內(nèi)控制車輛功能，如空調(diào)調(diào)節(jié)、音樂控制、氛圍燈切換等，還能在車外進(jìn)行遠(yuǎn)程控制，如遠(yuǎn)程遙控空調(diào)、車輛召喚等功能。此外，NIOLink協(xié)議還支持天空視窗技術(shù)，該技術(shù)可以將手機(jī)屏幕的“第二畫面”投射到中控大屏上，從而實(shí)現(xiàn)手機(jī)和車機(jī)的雙應(yīng)用并行運(yùn)行，且可以左右靈活拖動。這種投屏技術(shù)適用于會議系統(tǒng)或手機(jī)游戲等場景，實(shí)現(xiàn)了手機(jī)資源與座艙資源的共享使用。四、多模態(tài)交互

人機(jī)交互模式在座艙內(nèi)部的表現(xiàn)，一直以來都是評判智能座艙的核心標(biāo)準(zhǔn)。在非智能時(shí)代，用戶只能通過各類按鈕來操控車內(nèi)功能。然而，隨著中控大屏的興起，大部分功能被整合到屏幕上，用戶開始通過觸摸屏來控制車輛功能。從觸覺的角度來看，觸摸屏與實(shí)體按鍵在操作感受上并無顯著區(qū)別。直到語音助手的誕生，座艙內(nèi)部的人機(jī)交互方式才實(shí)現(xiàn)了質(zhì)的飛躍。通過對話，車載智能語音助手能夠識別并執(zhí)行人的指令，從而部分實(shí)現(xiàn)了對人類操作的替代。之所以說“部分”，是因?yàn)樵趯?shí)際使用中，車載智能語音助手有時(shí)難以精確理解人類的需求。例如，當(dāng)用戶說出“打開空調(diào)通風(fēng)功能”時(shí)，智能語音助手可能會錯(cuò)誤地理解為打開車窗，而非啟動空調(diào)的通風(fēng)模式。

此外，車載智能語音助手還無法識別對話的上下文，也無法與座艙內(nèi)的多人同時(shí)展開對話。這種局限性使得語音助手顯得缺乏人性化。未來，智能座艙的演進(jìn)方向?qū)⑹悄軌蛉谌氕h(huán)境、像正常人一樣對話、并能協(xié)助乘客的智能機(jī)器人。如今，人們對座艙的人機(jī)交互模式提出了更高的要求，即實(shí)現(xiàn)多模態(tài)交互。最迫切的需求是將觸覺、聽覺和視覺相結(jié)合，以打造更加智能、精準(zhǔn)的交互方式。目前多模交互已經(jīng)鎖定了幾個(gè)研究的方向。1.面部情緒識別

情緒識別是一種新興的交互方式，可以通過識別駕駛員或者乘客的情緒來提供個(gè)性化的服務(wù)。研究方向包括情緒識別算法、生理信號分析等方面的技術(shù)，以提高情感識別的準(zhǔn)確性和可靠性。情緒識別的原理主要是基于對人類情感的理解和情感特征的提取。人類的情感通常會伴隨著一些生理反應(yīng)，如心率、呼吸、語音等的變化，這些生理反應(yīng)可以被檢測和識別。同時(shí)，人類的情感也會表現(xiàn)在面部表情、肢體動作等方面，這些也可以被用來識別情感狀態(tài)。情感識別技術(shù)通過綜合分析這些特征，來判斷一個(gè)人的情感狀態(tài)。情緒識別的算法可以分為兩類：一類是基于規(guī)則的方法，另一類是基于機(jī)器學(xué)習(xí)的方法?；谝?guī)則的方法是通過分析人的語音、表情等特征，來判斷其情感狀態(tài)。這種方法需要事先定義好各種情感的特征，因此準(zhǔn)確度有限。基于機(jī)器學(xué)習(xí)的方法則是通過訓(xùn)練大量的情感數(shù)據(jù)來讓計(jì)算機(jī)自動識別情感狀態(tài)。這種方法需要大量的標(biāo)注數(shù)據(jù)，但準(zhǔn)確度較高。

隨著Transformer模型（一種基于自注意力機(jī)制的深度學(xué)習(xí)模型）在越來越多的領(lǐng)域得到應(yīng)用，多模態(tài)識別可以采集人類面部圖像和語音數(shù)據(jù)，并使用Transformer模型來分析和識別人物的情感。舉一個(gè)例子，我們可以在智能座艙內(nèi)部使用DMS和OMS攝像頭采集駕乘人員的面部圖像，使用車載麥克風(fēng)采集語音對話數(shù)據(jù)。而后，使用適當(dāng)?shù)乃惴ê湍Ｐ蛷拿娌繄D像中提取情感相關(guān)的特征，例如使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行特征提取。對于語音數(shù)據(jù)，可以使用梅爾頻率倒譜系數(shù)（MFCC）等特征進(jìn)行提取。這些特征輸入到Transformer模型的Encoder（編碼器）部分進(jìn)行進(jìn)一步的處理和特征提取。在Decoder（解碼器）部分，可以使用情感分類任務(wù)的目標(biāo)函數(shù)來訓(xùn)練模型，使其能夠識別不同情感的特征。2.多人對話并發(fā)

在當(dāng)前已投入使用的智能座艙語音助手中，存在一個(gè)顯著的痛點(diǎn)，即無法支持多人同時(shí)對話。每當(dāng)座艙內(nèi)有其他用戶提出問題時(shí)，他們總是需要先使用特定的喚醒詞來激活語音助手，然后才能進(jìn)行對話。這種操作會打斷之前用戶的對話進(jìn)程，給用戶帶來不連貫的體驗(yàn)。為了解決這個(gè)問題，我們可以采用基于規(guī)則的對話管理和上下文管理策略來實(shí)現(xiàn)多人對話上下文的繼承。具體的實(shí)現(xiàn)途徑涵蓋以下幾個(gè)方面：上下文狀態(tài)跟蹤：我們需要構(gòu)建一個(gè)對話的上下文狀態(tài)模型，這個(gè)模型會記錄對話的參與者、當(dāng)前討論的話題以及歷史交流信息等。通過精細(xì)的對話管理，系統(tǒng)能夠追蹤每個(gè)參與者的交流意圖和需求，從而確保對話的流暢性和內(nèi)容上的連貫性。

上下文信息共享：必須確保所有對話參與者都能訪問和共享統(tǒng)一的上下文信息。這可以通過采用共享內(nèi)存或者云端存儲等技術(shù)手段來實(shí)現(xiàn)，以確保信息的準(zhǔn)確無誤和一致性。上下文繼承機(jī)制：我們需要根據(jù)對話的上下文狀態(tài)來制定合理的上下文繼承策略。例如，在多輪次的對話過程中，系統(tǒng)可以繼承前一輪對話中的關(guān)鍵信息和指令，以便于在接下來的對話中繼續(xù)使用。同時(shí)，隨著對話的深入和用戶需求的變化，我們需要靈活地調(diào)整上下文繼承的方式和內(nèi)容。自然語言理解：借助自然語言理解技術(shù)，我們可以對用戶輸入進(jìn)行深度語義分析。這有助于系統(tǒng)更準(zhǔn)確地把握用戶的意圖和需求，從而更好地維護(hù)對話的上下文狀態(tài)，并繼承相關(guān)信息。動態(tài)調(diào)整對話流程：系統(tǒng)應(yīng)根據(jù)上下文狀態(tài)和繼承策略，實(shí)時(shí)調(diào)整對話的進(jìn)程和交互模式。這可能包括基于歷史信息預(yù)測用戶的意圖，或根據(jù)話題的轉(zhuǎn)變來更新交互內(nèi)容，從而提升對話的針對性和效率?？傊?，以上所提的處理方式只是上下文管理眾多可能性中的一種。這個(gè)領(lǐng)域的研究仍處于前沿探索階段，各種解決方案都在不斷地演進(jìn)和優(yōu)化中。3.3D手勢操控

3D手勢識別是智能座艙中新興的操控方式之一。以后排娛樂屏為例，在一些乘用車車型中，車頂?shù)闹醒胛恢脮鋫湟粔K顯示屏幕，旨在為第二排和第三排的乘客提供優(yōu)質(zhì)的觀影體驗(yàn)。然而，如何操控這塊屏幕卻成為了一個(gè)體驗(yàn)上的挑戰(zhàn)。若采用觸摸屏方式，由于距離的限制，第三排乘客難以觸及；若采用語音控制，未經(jīng)訓(xùn)練的用戶可能會遇到下達(dá)指令的困難；而使用遙控器操控，則存在遺失設(shè)備的風(fēng)險(xiǎn)。針對上述各種不足，一種簡單方便的操控方式是采用3D手勢識別技術(shù)。

通過3D深度相機(jī)，我們可以采集用戶的手部動作數(shù)據(jù)。隨后，這些數(shù)據(jù)會經(jīng)過預(yù)處理并被分割成獨(dú)立的手勢。利用深度學(xué)習(xí)算法，我們從這些手勢中提取特征，并進(jìn)行持續(xù)的跟蹤和預(yù)測，從而準(zhǔn)確地識別用戶的手勢動作并判斷其意圖。最終，用戶的動作會被轉(zhuǎn)化為具體的控制指令，例如隔空點(diǎn)擊屏幕的某個(gè)圖標(biāo)或滑動屏幕進(jìn)行切換等。這種操控方式不僅有效避免了上述方法的各種弊端，而且為用戶帶來了極為自然和流暢的體驗(yàn)。4.多模融合

多模態(tài)交互是一個(gè)綜合性的技術(shù)，它融合了多種感知技術(shù)來提升人機(jī)交互的體驗(yàn)。例如，動作識別、目光追蹤、語音識別、觸摸控制等，都是多模態(tài)交互的重要組成部分。這些技術(shù)分別對應(yīng)了人類的五大感知：視覺、聽覺、觸覺、嗅覺和味覺。動作識別和目光追蹤與視覺：動作識別和目光追蹤技術(shù)可以捕捉和分析用戶的身體動作和眼球移動，從而實(shí)現(xiàn)更加自然和直觀的人機(jī)交互。這些技術(shù)類似于人類的視覺功能，能夠“看到”并理解用戶的動作和意圖。語音識別與聽覺：語音識別技術(shù)能夠識別和解析用戶的語音指令，為用戶提供了一種更加便捷和自然的交互方式。這與人類的聽覺功能相似，通過聲音來接收和理解信息。觸摸控制與觸覺：觸摸控制技術(shù)允許用戶通過觸摸屏幕或其他設(shè)備來進(jìn)行操作，提供了一種直觀和易用的交互方式。這與人類的觸覺功能相呼應(yīng)，通過觸摸來感知和操作物體。香氛系統(tǒng)與嗅覺：在座艙內(nèi)部，有一個(gè)重要的與人類的嗅覺相關(guān)的系統(tǒng)，即香氛系統(tǒng)。雖然人類的嗅覺在人機(jī)交互中不直接對應(yīng)某種操作，但香氛系統(tǒng)可以通過釋放不同的氣味來影響用戶的情緒和體驗(yàn)，從而提升交互的舒適度。至于味覺，目前在多模態(tài)交互中的應(yīng)用相對較少?；蛟S在未來，當(dāng)科技不斷發(fā)展，人工智能技術(shù)與腦機(jī)接口技術(shù)實(shí)現(xiàn)了融合之后，可以將人類的味覺引入到座艙的交互體系中來，這將為人機(jī)交互領(lǐng)域帶來新的可能性和創(chuàng)新點(diǎn)。

在多模態(tài)交互中，各種感知技術(shù)的融合為提升人機(jī)交互體驗(yàn)帶來了巨大的潛力。手勢識別技術(shù)和視覺識別技術(shù)作為計(jì)算機(jī)視覺技術(shù)的一部分，在數(shù)據(jù)融合技術(shù)的支持下，能夠顯著提升交互的智能性和準(zhǔn)確性。數(shù)據(jù)融合技術(shù)的關(guān)鍵作用在于，它能夠?qū)碜圆煌瑐鞲衅鞯臄?shù)據(jù)進(jìn)行整合，利用AI算法對這些數(shù)據(jù)進(jìn)行深度分析和處理。例如，通過融合視覺傳感器和音頻傳感器的數(shù)據(jù)，系統(tǒng)可以對人臉、動作、姿態(tài)、唇語、語音等多種信號進(jìn)行綜合辨識，進(jìn)而提高識別的準(zhǔn)確度。這種跨模態(tài)的數(shù)據(jù)融合不僅增強(qiáng)了系統(tǒng)的感知能力，還使得交互更加自然和智能化。圖5展示了視覺和聽覺融合技術(shù)的一個(gè)范例。圖5音視頻多模識別后融合范例從圖5可以觀察到，在一段視頻剪輯的處理流程中，圖像數(shù)據(jù)與聲音數(shù)據(jù)被分別送入預(yù)處理模塊。它們隨后通過專門的視覺與聽覺神經(jīng)網(wǎng)絡(luò)進(jìn)行分類處理。這些神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果被進(jìn)一步進(jìn)行后融合處理。在基于一定規(guī)則和權(quán)重的綜合推測下，多模系統(tǒng)最終輸出了該視頻的主題預(yù)測：森林。

五、大語言模型最早的車載語音助手功能相對簡單，只能識別人類語音，將其轉(zhuǎn)換為文本，并理解和執(zhí)行一些基礎(chǔ)指令。由于車載計(jì)算機(jī)的計(jì)算能力受限，這些任務(wù)通常由云端的AI算法處理。然而，這種模式在響應(yīng)的實(shí)時(shí)性和可靠性上存在明顯的限制。隨著ChatGPT（一款基于大語言模型的聊天機(jī)器人程序）的興起，公眾對車載語音助手的期待也隨之提升。人們期望車載語音助手能像ChatGPT一樣“智慧”，能進(jìn)行自然而流暢的對話，幫助用戶正確使用汽車的各種功能，甚至能與用戶進(jìn)行情感溝通，提供更加自然和溫馨的體驗(yàn)。這正是大語言模型（LLM，LargeLanguageModel）的魅力之所在，它推動著車載語音助手不斷走向智能化，越來越貼合人類的期待。1.什么是大語言模型

在給出大語言模型的定義之前，我們首先來看一下表1，它總結(jié)了大語言模型的發(fā)展歷程。表1大語言模型的發(fā)展歷程事件意義NLP（自然語言處理）NLP是一種讓計(jì)算機(jī)理解和分析自然語言的技術(shù)，包括詞法分析、句法分析、語義理解等。通過這些技術(shù)，NLP可以將輸入的問題進(jìn)行分詞、詞性標(biāo)注、句法分析等處理，從而理解問題的含義和上下文。初期NLP的工作原理在Transformer模型提出之前，NLP（自然語言處理）領(lǐng)域主要使用基于規(guī)則的方法和統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法進(jìn)行分析和處理?；谝?guī)則的方法主要是指人類手工編寫規(guī)則和模板，用于對語言進(jìn)行解析和生成。這些規(guī)則通常針對特定的語言現(xiàn)象或任務(wù)，需要語言學(xué)家和程序員共同協(xié)作?；谝?guī)則的方法雖然精度較高，但可擴(kuò)展性和靈活性較差，且需要大量的人力物力。LLM出現(xiàn)隨著神經(jīng)網(wǎng)絡(luò)模型的廣泛應(yīng)用，NLP進(jìn)入了LLM時(shí)代。LLM是指大規(guī)模的語言模型，通常使用大規(guī)模的文本數(shù)據(jù)對模型進(jìn)行訓(xùn)練，以學(xué)習(xí)語言的語法、語義和上下文信息。有多種類型的神經(jīng)網(wǎng)絡(luò)模型都可以支持LLM，如遞歸神經(jīng)網(wǎng)絡(luò)（RNN）、長短時(shí)記憶網(wǎng)絡(luò)（LSTM）和Transformer等。這些模型都能夠在大規(guī)模的文本數(shù)據(jù)上進(jìn)行訓(xùn)練，從而生成高質(zhì)量的語言表示，并應(yīng)用于各種NLP任務(wù)，如文本分類、情感分析、問答系統(tǒng)等。Transformer問世Transformer模型的出現(xiàn)，標(biāo)志著NLP設(shè)計(jì)邁向了一個(gè)新的里程碑。它由Google公司提出，在NLP中使用Transformer模型來生成回答。Transformer模型是一種基于自注意力機(jī)制的深度學(xué)習(xí)模型，通過多層的自注意力機(jī)制和注意力權(quán)重來捕捉輸入文本的上下文信息，從而生成更加準(zhǔn)確和相關(guān)的回答。在訓(xùn)練過程中，Transformer會使用大量的語料庫進(jìn)行訓(xùn)練，通過優(yōu)化目標(biāo)函數(shù)來最小化預(yù)測結(jié)果與真實(shí)結(jié)果之間的差異，從而不斷提高回答的準(zhǔn)確率和相關(guān)性。從此，大語言模型突破了參數(shù)和算力的限制，進(jìn)入了參數(shù)越多，數(shù)據(jù)越大，效果越好的狀態(tài)。GPT的產(chǎn)生隨著Transformer模型的成功應(yīng)用，OpenAI公司開始嘗試將其應(yīng)用于更大規(guī)模的訓(xùn)練數(shù)據(jù)，從而誕生了GPT（GenerativePre-trainedTransformer，生成式預(yù)訓(xùn)練Transformer模型）。GPT-1和GPT-2模型在更大的數(shù)據(jù)集上進(jìn)行訓(xùn)練，并使用無監(jiān)督學(xué)習(xí)進(jìn)行預(yù)訓(xùn)練，從而提高了模型的語言生成和理解能力。GPT-3模型進(jìn)一步擴(kuò)大了訓(xùn)練規(guī)模，使用更復(fù)雜的架構(gòu)和更大的數(shù)據(jù)集進(jìn)行訓(xùn)練，從而產(chǎn)生了更加豐富和準(zhǔn)確的語言生成能力。GPT被設(shè)計(jì)成可以支持多輪對話的模型，能夠根據(jù)上下文信息生成更有針對性的回復(fù)。這種能力有助于提高對話系統(tǒng)的自然度和交互質(zhì)量。承上啟下的InstructGPT隨著GPT模型的不斷發(fā)展，OpenAI公司在GPT-3的基礎(chǔ)上開發(fā)了InstructGPT模型。InstructGPT采用了與GPT-3相同的架構(gòu)和參數(shù)數(shù)量，但在訓(xùn)練過程中引入了人類專家指導(dǎo)，以提高模型的語言生成質(zhì)量。這種訓(xùn)練方式使得InstructGPT能夠生成更加準(zhǔn)確、清晰和有邏輯性的語言輸出。GPT讀代碼代碼訓(xùn)練能力的提升是GPT3到GPT3.5的重要迭代之一。在GPT3的基礎(chǔ)上，OpenAI增加了Codex模型，讓它閱讀大量的代碼，從而能夠理解和生成代碼。RLHF能力RLHF的全稱是reinforcementlearningfromhumanfeedback，通過構(gòu)建人類反饋數(shù)據(jù)集，訓(xùn)練一個(gè)reward（評估）模型，模仿人類偏好對結(jié)果打分，是GPT-3后時(shí)代LLM越來越像人類對話的核心技術(shù)。通過RLHF的訓(xùn)練，ChatGPT得以橫空出世。ChatGPT風(fēng)起云涌ChatGPT是OpenAI在GPT系列模型的基礎(chǔ)上開發(fā)的一種專門用于對話生成的模型。ChatGPT以InstructGPT和GPT3.5模型為基礎(chǔ)，在訓(xùn)練過程中使用了大量的對話數(shù)據(jù)，以提高模型的語言生成和對話生成能力。同時(shí)，ChatGPT還針對對話生成任務(wù)進(jìn)行了優(yōu)化，能夠更好地捕捉上下文信息，生成更加自然和個(gè)性化的對話回復(fù)。表1深刻地總結(jié)了大語言模型的發(fā)展歷程。大語言模型（LLM）是一種能夠理解和生成自然語言文本的深度學(xué)習(xí)模型，具備強(qiáng)大的語言處理和生成能力。

從最初的自然語言處理（NLP）開始，人們就希望計(jì)算機(jī)能理解人類的語言，并能實(shí)現(xiàn)像人類一樣的對話。神經(jīng)網(wǎng)絡(luò)模型的出現(xiàn)推動NLP技術(shù)進(jìn)入了大語言模型時(shí)代，隨后Transformer模型與GPT系列的誕生，更是讓大語言模型演變成了我們今天所看到的“智能”機(jī)器人對話程序。綜合來看，ChatGPT的出現(xiàn)，使大多數(shù)人深刻認(rèn)識到大語言模型將會改變?nèi)祟惿鐣腿祟惖纳罘绞?。ChatGPT是一種革命性的AI應(yīng)用，它為人類提供了一種全新的方式來調(diào)用算力和數(shù)據(jù)。在ChatGPT正常運(yùn)行的背后，GPT-3.5是其不可或缺的支撐力量。GPT-3.5的本質(zhì)是學(xué)習(xí)人類存放在互聯(lián)網(wǎng)上的知識，并將其整合成大型語言模型。只要模型足夠龐大，參數(shù)足夠豐富，它就能從中檢索出相關(guān)信息，并以此為基礎(chǔ)生成回答。2.大語言模型在車上的應(yīng)用方式

在車載智能語音助手中應(yīng)用大語言模型，有兩種不同的方式，一種是云端運(yùn)行，另一種是車端運(yùn)行。模型在云端運(yùn)行智能座艙會采集人類的語音，并通過車載無線模塊將這些語音數(shù)據(jù)傳輸?shù)皆贫恕Ｔ谠贫?，大語言模型會識別這些語音數(shù)據(jù)并生成相應(yīng)的回答，然后再將這個(gè)回答傳回車內(nèi)。只要數(shù)據(jù)傳輸速率足夠快，人們幾乎感覺不到對話中的任何延遲。這種實(shí)現(xiàn)方式相對簡單。汽車制造商可以選擇自建云端服務(wù)器，或者租用商業(yè)化的云服務(wù)。在云端部署大語言模型后，車載計(jì)算機(jī)系統(tǒng)就只需實(shí)現(xiàn)語音識別功能。這樣做可以減少車載系統(tǒng)的資源需求，進(jìn)而降低車輛成本。然而，這種方法也存在一些明顯的缺點(diǎn)。

在網(wǎng)絡(luò)信號不佳或網(wǎng)絡(luò)帶寬受限的情況下，智能語音助手的性能會大幅下降，可能出現(xiàn)響應(yīng)遲鈍或完全沒有回應(yīng)的情況。同時(shí)，從個(gè)人隱私和數(shù)據(jù)安全的角度來看，云端處理用戶語音數(shù)據(jù)存在一定的風(fēng)險(xiǎn)，這會引起部分用戶的擔(dān)憂。此外，當(dāng)在云端實(shí)現(xiàn)大型語言模型時(shí)，還需要考慮到多用戶并發(fā)訪問的性能和容量問題。如果不能及時(shí)擴(kuò)展計(jì)算和網(wǎng)絡(luò)資源，就可能無法滿足日益增長的用戶需求和數(shù)據(jù)規(guī)模。模型在車端運(yùn)行這種方法的構(gòu)想是，利用車載中央計(jì)算平臺的算力，在智能座艙域的計(jì)算芯片上直接部署大型語言模型。在此方案中，智能座艙會通過語音識別或多模態(tài)交互來收集用戶的問題，并直接在車端通過大語言模型進(jìn)行計(jì)算，從而生成回答。這種方法的主要優(yōu)勢在于其減少了對網(wǎng)絡(luò)的需求。由于所有的計(jì)算都在車端進(jìn)行，因此可以避免因網(wǎng)絡(luò)信號不足或帶寬受限而導(dǎo)致的響應(yīng)延遲或無法回答的問題。此外，車端計(jì)算還能更有效地保護(hù)用戶隱私和數(shù)據(jù)安全，因?yàn)橛脩舻恼Z音數(shù)據(jù)無需上傳到云端進(jìn)行處理。然而，這種方法面臨的最大挑戰(zhàn)是對車載中央計(jì)算平臺的算力有較高要求。部署大語言模型需要強(qiáng)大的計(jì)算能力，這意味著需要高配置的計(jì)算芯片以及高效的算法優(yōu)化。同時(shí)，為了維持大語言模型的性能和準(zhǔn)確性，必須定期更新模型和算法，這無疑會增加額外的維護(hù)成本。人們也找到了一些方法來解決面臨的問題，例如，采用OTA技術(shù)進(jìn)行模型的升級就是一種可行的方法。3.車端運(yùn)行大語言模型可行性探討

下面，我們來探討在車端實(shí)現(xiàn)大語言模型的可行性。盡管ChatGPT-3.5和ChatGPT-4的表現(xiàn)令人印象深刻，但OpenAI公司并未將其開源，這導(dǎo)致我們難以對ChatGPT進(jìn)行深入的量化分析。幸運(yùn)的是，Meta公司（原Facebook公司）將他們的大語言模型LLaMA（LargeLanguageModelFamilyofMetaAI）進(jìn)行了開源。這使得我們能夠根據(jù)模型的詳細(xì)信息和運(yùn)行結(jié)果，來探討在智能座艙內(nèi)部署LLaMA的可行性。

不論是ChatGPT還是LLaMA，大語言模型的基本處理流程都是相似的。假設(shè)我們向LLaMA模型提問：“床前明月光的下一句是什么？”我們來看看它是如何生成答案的。其推理過程和步驟詳見表2。表2

LLaMA模型的推理過程序列流程步驟說明1輸入數(shù)據(jù)LLM的輸入數(shù)據(jù)是一段文本，可以是一個(gè)句子或一段話。文本通常被表示成單詞或字符的序列。我們需要將問題轉(zhuǎn)化為機(jī)器可以處理的格式。這通常包括將文本分成一系列的詞（token）。在這個(gè)例子中，輸入數(shù)據(jù)將是“床前明月光的下一句是什么？”2分詞處理TokenizationTokenization

是一個(gè)在自然語言處理和文本分析中常用的術(shù)語，指的是將連續(xù)的文本（如句子、段落）拆分成一系列離散的詞素或標(biāo)記的過程。這些詞素或標(biāo)記被稱為“tokens”。它幫助將文本轉(zhuǎn)化為機(jī)器可以理解和處理的形式。在這個(gè)例子中，輸入數(shù)據(jù)被拆分成“床前”，“明月”，“光”，“的”，“下”，“一句”，“是”，“什么”。3Embedding

詞嵌入在Embedding過程中，每個(gè)Token（如“床前”）會被轉(zhuǎn)換為固定大小的向量。這個(gè)向量的具體值是由模型的訓(xùn)練過程確定的，是模型學(xué)習(xí)到的語義信息的表示。每一個(gè)Token對應(yīng)的嵌入向量，保存在模型的嵌入層權(quán)重文件中。這些權(quán)重文件通常在模型訓(xùn)練過程中保存，并在推理時(shí)用于計(jì)算嵌入向量。4添加位置編碼PositionEncoding由于Transformer模型需要知道每個(gè)token在句子中的位置信息，因此需要在每個(gè)token的嵌入向量上添加位置編碼（PositionEncoding）。位置編碼告訴模型每個(gè)token在句子中的位置，幫助模型理解上下文信息。5Transformer推理接下來，將帶有位置編碼的嵌入向量輸入到LLaMA模型的Transformer結(jié)構(gòu)中進(jìn)行推理。LLaMA模型由多個(gè)自注意力層和跨注意力層組成。這些層會對輸入進(jìn)行變換和更新，逐步生成輸出。6自回歸生成Autoregressive在Transformer模型中，每個(gè)token的生成依賴于之前的token。因此，我們使用自回歸的方式逐步生成輸出。這意味著我們先生成第一個(gè)token，然后使用這個(gè)token作為輸入來生成第二個(gè)token，以此類推，直到生成完整的答案。在這個(gè)例子中，我們從“床前明月光的下一句是”開始，然后逐步生成每個(gè)后續(xù)的詞，直到得到完整的詩句“疑是地上霜”。7輸出處理最后，我們需要對模型的輸出進(jìn)行處理，以獲得最終的答案。這可能包括去除停用詞、將輸出轉(zhuǎn)換為文本格式等。在這個(gè)例子中，最終的答案將是“疑是地上霜”。從表2的推理過程可以看到，一個(gè)大語言模型的推理過程，需要查詢“token”的權(quán)重。這就引出了大語言模型的一個(gè)重要指標(biāo)：參數(shù)大小。大語言模型的參數(shù)大小，指的是模型中用于學(xué)習(xí)和生成文本的權(quán)重參數(shù)的數(shù)量。參數(shù)大小是衡量模型復(fù)雜度及其所需存儲空間的關(guān)鍵指標(biāo)。當(dāng)我們提及大語言模型的參數(shù)大小為7B或13B時(shí)，“B”代表“Billion”，即十億。因此，7B意味著模型包含70億個(gè)參數(shù)，而13B則表示模型包含130億個(gè)參數(shù)。這些參數(shù)在訓(xùn)練過程中被學(xué)習(xí)，旨在描繪語言的復(fù)雜模式和生成有意義的文本。參數(shù)大小對模型的表現(xiàn)和性能具有重要影響。通常來說，更大的參數(shù)規(guī)模使模型能夠捕捉更復(fù)雜的語言模式和語義信息，但同時(shí)也提升了模型的復(fù)雜性和訓(xùn)練成本。在進(jìn)行Transformer推理時(shí)，這些參數(shù)權(quán)重文件需加載到NPU的計(jì)算單元中。模型參數(shù)越多，其回答往往更為精確。然而，相應(yīng)地，它對NPU計(jì)算資源和主存儲器（DDR）傳輸帶寬的要求也更高。（1）DDR帶寬需求

要計(jì)算DDR帶寬需求，首先需要了解不同參數(shù)規(guī)模的模型對DDR存儲空間的需求。表3總結(jié)了不同參數(shù)規(guī)模的LLaMA模型所需要的存儲空間。表3

LLaMA空間需求對照表參數(shù)大小(B)RAM空間需求

(fp32)RAM空間需求

(fp16)RAM空間需求

(int8)RAM空間需求

(int4)7B28GB14GB7GB3.5GB13B52GB26GB13GB6.5GB32.5B130GB65GB32.5GB16.25GB65.2B260.8GB130.4GB65.2GB32.6GB從表3可以看到，參數(shù)規(guī)模為7B的模型，假如參數(shù)精度為int4，那么每一個(gè)參數(shù)需要用到0.5字節(jié)來保存。70億*0.5=3.5GB。如果參數(shù)精度為fp32，那么每一個(gè)參數(shù)就需要使用4字節(jié)來保存，這時(shí)模型的大小就是70億*4=28GB。根據(jù)Transformer模型的自回歸機(jī)制，計(jì)算每個(gè)“Token”時(shí)，需要加載模型權(quán)重文件。由于NPU內(nèi)部用于高速計(jì)算的片內(nèi)隨機(jī)存取存儲器（RAM）空間有限，我們不可能將整個(gè)模型都完全加載到NPU的高速RAM空間中，而只能采用動態(tài)加載方式。比如說，我們?nèi)绻捎?B模型，精度為int4，那么每次計(jì)算都需要分批從主存儲器讀取3.5GB大小的模型參數(shù)文件到NPU中進(jìn)行計(jì)算。Token速率的計(jì)算公式為：在上述公式中，KVCache是NPU的片上緩沖區(qū)，它用于存儲在Transformer自注意力機(jī)制中計(jì)算得到的鍵-值對（key-value）。這些鍵-值對在自回歸解碼的后續(xù)時(shí)間步驟中被重復(fù)使用，這樣就避免了重復(fù)計(jì)算的開銷。與模型參數(shù)所占的空間比較，KVCache的數(shù)值相對較小。因此，在計(jì)算過程中我們可以忽略KVCache。在此前提下，再考慮到DDR的帶寬利用率通常設(shè)定為80%，其理論帶寬的計(jì)算公式為：假設(shè)我們希望做到每秒能計(jì)算30個(gè)Tokens，那么DDR理論帶寬就需要達(dá)到30(tokens/s)*3.5(GB)/0.8=131GB/s。如果將每秒Tokens降低到20，則DDR帶寬需求也就相應(yīng)地降低到20(tokens/s)*3.5(GB)/0.8=87.5GB/s。（2）NPU的算力需求

除了DDR帶寬的需求之外，我們再來看看如何計(jì)算LLaMA模型所需要的算力資源。FLOPS（FloatingPointOperationsperSecond），即每秒浮點(diǎn)運(yùn)算次數(shù)，是衡量計(jì)算速度的單位。它通常以MFLOPS（每秒一百萬次浮點(diǎn)運(yùn)算，即10^6次）、GFLOPS（每秒十億次浮點(diǎn)運(yùn)算，即10^9次）和TFLOPS（每秒一萬億次浮點(diǎn)運(yùn)算，即10^12次）等單位來表示。

根據(jù)資料，推理Transformer和大語言模型時(shí)，所需算力（FLOPS）的計(jì)算公式為：其中，T代表Tokens數(shù)目，P代表模型的參數(shù)數(shù)量。以7B模型為例，假設(shè)需要達(dá)到30tokens/s的推理速度，那么FLOPS=6*30*7*10^9=1260*10^9。也就是1.26TFLOPS。根據(jù)以上計(jì)算可以得出結(jié)論：如果我們要在智能座艙端側(cè)進(jìn)行大語言模型的推理，那么對SoC芯片的DDR帶寬和NPU算力都有一定的要求。這些要求與所采用的大語言模型的參數(shù)大小、參數(shù)精度以及推理速度需求都密切相關(guān)。相對而言，在車載環(huán)境中運(yùn)行大語言模型時(shí)，對DDR帶寬的性能要求比對NPU算力的要求更高。六、艙駕一體化在智能座艙的演進(jìn)過程中，艙駕一體化成為了一個(gè)極具現(xiàn)實(shí)意義的議題。眾多行業(yè)專家都認(rèn)為，艙駕融合代表著未來的發(fā)展趨勢。以中央集中式區(qū)域控制的EEA架構(gòu)為例，它在宏觀意義上已經(jīng)實(shí)現(xiàn)了艙駕融合。在分布式域控制器的EEA架構(gòu)中，智能座艙域控制器和自動駕駛域控制器被分別置于不同的“盒子”內(nèi)，二者之間通過以太網(wǎng)相連，雖然可以傳輸一些控制信息，但基本上是在各自獨(dú)立運(yùn)行。然而，在中央計(jì)算平臺的架構(gòu)下，智能座艙SoC和自動駕駛SoC被整合在同一個(gè)盒子中，并通過高速總線（例如PCIe）相連，其帶寬可達(dá)數(shù)十GB每秒。這樣的技術(shù)環(huán)境使得智艙SoC和自駕SoC能夠?qū)崿F(xiàn)一定程度的算力共享。簡而言之，它們可以相互配合，協(xié)同完成任務(wù)。這種做法不僅有效地實(shí)現(xiàn)了算力的共享，還能共享外部傳感器，從而推動了艙駕融合的實(shí)現(xiàn)。例如，車載前視攝像頭是自動駕駛域中用于視覺感知的關(guān)鍵傳感器，其采集的圖像被應(yīng)用于自動駕駛系統(tǒng)。在智能座艙域中，同樣需要一個(gè)前視攝像頭來捕獲圖像，以實(shí)現(xiàn)行車記錄儀的功能。若能實(shí)現(xiàn)艙駕融合，自動駕駛SoC可先處理車載前視攝像頭的圖像信息，隨后通過PCIe總線將其傳遞給智能座艙SoC，從而實(shí)現(xiàn)資源的共享使用。對于智能座艙域而言，這不僅能節(jié)省一顆攝像頭的成本，還能減少ISP的開銷。類似這種算力共享的應(yīng)用場景不勝枚舉，從成本降低的角度來看，艙駕融合具有顯著的實(shí)用價(jià)值和廣泛的客戶需求。

1.自動駕駛系統(tǒng)分級

在深入探討艙駕融合的功能之前，我們先來簡要回顧一下自動駕駛的功能及其所需的硬件架構(gòu)。首先，我們需要明確一個(gè)概念：目前所謂的自動駕駛技術(shù)，實(shí)際上仍屬于高級輔助駕駛系統(tǒng)（ADAS，AdvancedDriverAssistanceSystems）的范疇，在自動駕駛等級中位于L3級別以下。根據(jù)ADAS功能的不同，業(yè)界各廠家通常將自己的產(chǎn)品定位為從L2級別到L2+++級別。對于自動駕駛等級的劃分，業(yè)界已達(dá)成一定的共識，具體如表4所示。表4自動駕駛等級劃分分級L0L1L2L3L4L5稱呼無自動化駕駛支持部分自動化有條件自動化高度自動化完全自動化定義人類駕駛員全權(quán)駕駛汽車，在行駛過程中可以得到警告通過駕駛環(huán)境對方向盤和加減速中的一項(xiàng)操作提供支持，其余由人類來做通過駕駛環(huán)境對方向盤和加減速中的多項(xiàng)操作提供支持，其余由人類來做由無人駕駛系統(tǒng)完成所有的操作，根據(jù)系統(tǒng)要求，人類提供適當(dāng)?shù)膽?yīng)答由無人駕駛系統(tǒng)完成所有的操作，根據(jù)系統(tǒng)要求，在限定道路和環(huán)境條件下，人類不一定提供適當(dāng)?shù)膽?yīng)答由無人駕駛系統(tǒng)完成所有的操作，不限定道路和環(huán)境條件，人類無需提供應(yīng)答駕駛操作人類駕駛員人類駕駛員/系統(tǒng)系統(tǒng)周邊監(jiān)控人類駕駛員系統(tǒng)支援人類駕駛員系統(tǒng)系統(tǒng)作用域無部分全部表4為我們討論自動駕駛提供了分級的參考依據(jù)。我們必須認(rèn)識到，目前的自動駕駛系統(tǒng)仍處于L3級別以下，還無法保證完全實(shí)現(xiàn)有條件的自動駕駛目標(biāo)。當(dāng)討論L2+++級別的自動駕駛系統(tǒng)時(shí)，我們需要對其進(jìn)行分解，以便更清楚地了解在哪些具體情況下可以實(shí)現(xiàn)艙駕一體化。參考表5，它對ADAS系統(tǒng)的功能進(jìn)行了分解。表5

ADAS系統(tǒng)功能概述功能名稱說明分類L2NOPNOAACC自適應(yīng)巡航控制這是一種通過車載傳感器感知前方車輛的距離和速度，自動調(diào)節(jié)車輛的巡航速度，與前車保持安全的距離的技術(shù)自動駕駛類

YYYLKA車道保持輔助這是一種通過車載攝像頭或雷達(dá)監(jiān)測車輛的位置，并向駕駛員發(fā)出警告或主動糾正方向盤，確保車輛不偏離所在車道的系統(tǒng)YYYLCA車道變更輔助通過雷達(dá)和攝像頭等傳感器實(shí)時(shí)監(jiān)測車輛周圍的環(huán)境和障礙物，在側(cè)方和后方安全范圍內(nèi)為駕駛員提供提醒和警告，以輔助駕駛員進(jìn)行安全變道YYALC自主變道通過車輛上的傳感器和高級算法，自動駕駛系統(tǒng)可以實(shí)時(shí)檢測周圍的交通狀況，并判斷是否可以安全地進(jìn)行變道。如果條件允許，ALC系統(tǒng)會自動進(jìn)行轉(zhuǎn)向操作，輔助車輛完成變道。YYTSR交通標(biāo)志識別該系統(tǒng)通過攝像頭識別交通標(biāo)志和限速標(biāo)志，并發(fā)出提示信息YYTJA交通擁堵輔助一種在交通擁堵情況下自動控制車輛行駛的技術(shù)，包括加速、減速、轉(zhuǎn)向等操作。YYUDS城市道路駕駛輔助在城市道路上，UDS可以通過感知周圍環(huán)境，提供輔助駕駛功能，如自動避障、自動識別行人等。YDMS駕駛員狀態(tài)監(jiān)控通過傳感器監(jiān)測駕駛員的生理狀態(tài)，如疲勞、酒駕等，并在必要時(shí)發(fā)出警告安全監(jiān)控類YYYFCW前方碰撞預(yù)警通過傳感器來時(shí)刻監(jiān)測前方車輛，判斷本車與前車之間的距離、方位及相對速度，當(dāng)存在潛在碰撞危險(xiǎn)時(shí)對駕駛者進(jìn)行警告。YYYBSD盲點(diǎn)監(jiān)測該系統(tǒng)通過雷達(dá)或攝像頭檢測車輛盲區(qū)內(nèi)的物體，并在側(cè)后視鏡上顯示警示標(biāo)志或聲音警告YYLDW車道偏離預(yù)警LDW系統(tǒng)提供智能的車道偏離預(yù)警，在駕駛員無意識（未打轉(zhuǎn)向燈）偏離原車道時(shí)，發(fā)出警報(bào)YYYAEB自動緊急制動是基于環(huán)境感知傳感器，如毫米波雷達(dá)或攝像頭來感知前方可能與車輛、行人或其他交通參與者發(fā)生的碰撞風(fēng)險(xiǎn)，并通過系統(tǒng)自動實(shí)施制動的主動安全技術(shù)YYYAVM360環(huán)視監(jiān)控一種典型的L2級別功能，它可以監(jiān)測車輛四周的影像，并利用圖像畸變還原、視角轉(zhuǎn)化、圖像拼接、圖像增強(qiáng)等技術(shù)，形成全車周圍的一整套視頻圖像，讓駕駛員清楚查看車輛周邊是否存在行人、移動物體、非機(jī)動車、障礙物并了解其相對方位與距離。泊車類YYYAPA自動泊車輔助利用車載傳感器（一般為超聲波雷達(dá)或攝像頭）識別有效的泊車空間，并通過控制單元控制車輛進(jìn)行泊車YYRPA遙控泊車輔助在APA自動泊車技術(shù)的基礎(chǔ)之上發(fā)展而來的，可以通過手機(jī)遙控實(shí)現(xiàn)泊車入位，它解決了停車位狹窄，難以打開車門的問題YYHPP記憶泊車輔助HPP通過車輛的傳感器來學(xué)習(xí)、記錄、儲存我們平常上下車的位置、停車的操作、停車行進(jìn)路徑以及停車固定位置等，然后當(dāng)我們再次駕車到達(dá)這些地點(diǎn)時(shí)，可以實(shí)現(xiàn)車輛自動泊入終點(diǎn)附近已被HPP系統(tǒng)記憶的車位YAVP代客泊車AVP代客泊車功能主要依賴于傳感器、通信技術(shù)等，通過這些技術(shù)，車輛可以在不需要駕駛員干預(yù)的情況下，自動尋找停車位，并進(jìn)行泊車。當(dāng)駕駛員需要取車時(shí)，只需要通過手機(jī)等設(shè)備發(fā)出指令，車輛就會自動從停車位駛出，并停到指定的位置。Y從表5可以看出，入門級的L2ADAS系統(tǒng)能滿足最基礎(chǔ)的輔助人類駕駛員操控汽車的任務(wù)。它的主要作用是緩解駕駛員的疲勞，并為駕駛員提供必要的警告信息，從而有助于減少事故和意外的發(fā)生。NOP（NavigateOnPilot）指的是在導(dǎo)航輔助的情況下，車輛可以根據(jù)導(dǎo)航路徑自動巡航行駛，這包括自動進(jìn)出匝道、自動調(diào)整車速、智能變換車道等功能。NOP系統(tǒng)依賴于高精度地圖、導(dǎo)航系統(tǒng)以及各種車載傳感器來實(shí)現(xiàn)這些功能。NOA（NavigateonAutopilot）則更注重在整個(gè)駕駛過程中的自動化和智能化。與NOP相比，NOA在功能上可能更加全面和高級，它包括自動泊車、自動變道、自動超車、自動巡航等多種功能，并且能夠根據(jù)道路信息和交通狀況做出更加智能的駕駛決策。一般來說，NOA不依賴高精地圖，可以通過車載傳感器自主感知、決策和規(guī)劃，實(shí)現(xiàn)城區(qū)道路的自動駕駛，而NOP則通常只能在高速道路上應(yīng)用。2.ADAS系統(tǒng)對硬件資源的依賴

根據(jù)入門級L2系統(tǒng)、NOP系統(tǒng)和NOA系統(tǒng)在功能上的不同劃分，它們對硬件資源的需求也各不相同。表6展示了這三類ADAS系統(tǒng)所依賴的硬件資源條件。需要注意的是，由于各廠商采用的自動駕駛算法不同，對ADAS系統(tǒng)的理解也有所差異，因此他們在硬件資源的選擇上也會有所不同。所以，這個(gè)表格中所列舉的情況并不能適用于所有廠商，僅作為參考。表6

ADAS系統(tǒng)硬件資源依賴傳感器用途入門級L2NOPNOA攝像頭

(V)前視攝像頭1個(gè)廣角1個(gè)廣角+1個(gè)長焦1個(gè)廣角+1個(gè)長焦環(huán)視攝像頭4個(gè)魚眼(前后左右)4個(gè)魚眼(前后左右)4個(gè)魚眼(前后左右)側(cè)視攝像頭1個(gè)左前+1個(gè)右前(可選)1個(gè)左前+1個(gè)右前

+1個(gè)左后+1個(gè)右后后視攝像頭1個(gè)廣角1個(gè)廣角毫米波雷達(dá)(R)前雷達(dá)1個(gè)1個(gè)1個(gè)前角雷達(dá)2個(gè)(可選)2個(gè)后角雷達(dá)1個(gè)左后+1個(gè)右后2個(gè)激光雷達(dá)(L)前視雷達(dá)1個(gè)4D毫米波雷達(dá)(I)前視雷達(dá)1個(gè)

(替換激光雷達(dá))超聲波雷達(dá)(USS)前后環(huán)繞12個(gè)12個(gè)12個(gè)高精地圖用于高速道路需要需要不需要NPU算力(TOPS)20T100T以上200T以上總結(jié)5V1R（5個(gè)攝像頭+1個(gè)毫米波雷達(dá)）7V3R或者9V5R11V5R1L（11個(gè)攝像頭+5個(gè)毫米波雷達(dá)+1個(gè)激光雷達(dá)）從表6可以明顯看出，根據(jù)所需實(shí)現(xiàn)的目標(biāo)不同，ADAS系統(tǒng)的硬件資源需求也會有所不同。若我們考慮實(shí)現(xiàn)艙駕一體化，那么就需要深入探究在不同目標(biāo)下如何實(shí)現(xiàn)艙駕的有效融合。具體來說，各種目標(biāo)對于NPU算力的需求、接入攝像頭的數(shù)量，以及是否需要激光雷達(dá)的支持等方面都存在顯著差異。而這些硬件需求上的差異，進(jìn)一步導(dǎo)致了整個(gè)系統(tǒng)架構(gòu)的多樣性。3.艙駕一體化架構(gòu)探討

一般來說，艙駕一體化分為“One-Box”，“One-Board”，“One-Chip”這三種不同的架構(gòu)，如圖6所示。圖6

艙駕一體化架構(gòu)體系從圖6可以看到，在上述三種