信息技術(shù)：汽車自動(dòng)駕駛算法行業(yè)專題

1、自動(dòng)駕駛一數(shù)據(jù)驅(qū)動(dòng)下的算法迭代

1.1、自動(dòng)駕駛算法是感知、預(yù)測(cè)、規(guī)劃、控制的結(jié)合體

自動(dòng)駕駛算法反應(yīng)了工程師們根據(jù)人的思維模式，對(duì)自動(dòng)駕駛所需處理過(guò)程的思考。

通常包含感知、預(yù)測(cè)、規(guī)劃模塊，同時(shí)輔助一些地圖、定位等模塊，實(shí)現(xiàn)自動(dòng)駕駛功

能的落地。

1.1.1、感知：感知外部世界

感知模塊主要解決四類任務(wù)：（1）檢測(cè)：找出物體在環(huán)境中的位置；（2）分類：明確

對(duì)象是什么，如分辨不同類別交通標(biāo)志；（3）跟蹤：隨著時(shí)間的推移觀察移動(dòng)物體，

通常采用跨幀追蹤對(duì)象（將不同幀中檢測(cè)到的對(duì)象進(jìn)行匹配）、BEV加入時(shí)序信息等

實(shí)現(xiàn)；（4）語(yǔ)義分割：將圖像中的每個(gè)像素與語(yǔ)義類別匹配，如道路、天空、汽車

等，用于盡可能詳細(xì)了解環(huán)境。以Apollo感知算法框架為例，其算法包含預(yù)處理、神

經(jīng)網(wǎng)絡(luò)模型、后處理等模塊。首先圖像預(yù)處理主要是對(duì)圖像進(jìn)行調(diào)整、畸變校正等，

使之更符合機(jī)器學(xué)習(xí)的要求。其次分別對(duì)紅綠燈、車道線、障礙物等特征進(jìn)行檢測(cè)，

其中紅綠燈通過(guò)檢測(cè)邊框、顏色等進(jìn)行進(jìn)一步的識(shí)別：障礙物則經(jīng)過(guò)2D到3D的轉(zhuǎn)

換，得出真實(shí)的信息坐標(biāo)，再融合車道線檢測(cè)信息、外部傳感器信息等得出真實(shí)世界

的障礙物信息。該部分通常采用全卷積神經(jīng)網(wǎng)絡(luò)或者YOLO等算法實(shí)現(xiàn)。

1.1.2、預(yù)測(cè)：理解外部環(huán)境和當(dāng)前狀態(tài)

預(yù)測(cè)模塊實(shí)際上是算法對(duì)外部環(huán)境和自車狀態(tài)的理解。預(yù)測(cè)模塊首先收集感知模塊輸

入的車道線、障礙物、紅綠燈、地圖、定位等信息對(duì)主車的狀況進(jìn)行判斷。其次場(chǎng)景感

知模塊對(duì)外部障礙物的優(yōu)先級(jí)、路權(quán)等外部環(huán)境對(duì)主車的影響進(jìn)行感知。評(píng)估器則會(huì)根

據(jù)場(chǎng)景信息和障礙物信息判斷出障礙物的軌跡或意圖。預(yù)測(cè)器則根據(jù)短期的預(yù)測(cè)軌跡

和意圖判斷障礙物等外部環(huán)境相對(duì)長(zhǎng)期的軌跡。這將為未來(lái)汽車的規(guī)劃提供重要的參

考。算法層面通常以RNN為主。

圖3:百度Apollo的算法中，預(yù)測(cè)模塊包含場(chǎng)景理解、評(píng)估、預(yù)測(cè)等環(huán)節(jié)

感知信息容器場(chǎng)景感知評(píng)估器預(yù)測(cè)器

軌跡生成

--------------------------當(dāng)/向翦皤

1.1.3、規(guī)劃：思考如何行動(dòng)

規(guī)劃指找到合理路徑來(lái)到達(dá)目的地。規(guī)劃通常分為全局路徑規(guī)劃、行為規(guī)劃與運(yùn)動(dòng)規(guī)

劃幾個(gè)部分。其中，全局路徑規(guī)劃指智能汽車依靠地圖規(guī)劃出理想狀態(tài)下到達(dá)目的地

的路徑。行為規(guī)劃則是主車在實(shí)際行駛的過(guò)程中，面臨實(shí)時(shí)的交通環(huán)境，做出的各類

駕駛行為，如跟車、換道、避讓等。運(yùn)動(dòng)規(guī)劃生成與駕駛行為對(duì)應(yīng)的駕駛軌跡，包含

路徑規(guī)劃和速度規(guī)劃。最后再采用一些優(yōu)化方式讓變道加速等行為變得平順以滿足舒

適性要求。算法層面，通常采用基于規(guī)則的規(guī)劃決策算法，前沿的玩家也開(kāi)始引入機(jī)

器學(xué)習(xí)等方式，以提升決策效能。

1.2、數(shù)據(jù)：算法的養(yǎng)料，現(xiàn)實(shí)與虛擬的交織

算法、算力和數(shù)據(jù)是人工智能的三大要素，數(shù)據(jù)在模型訓(xùn)練中擁有不可忽視的影響。

一方面，Transformer等大模型在大體量數(shù)據(jù)集訓(xùn)練下才能表現(xiàn)更佳的特性帶來(lái)其對(duì)

訓(xùn)練端數(shù)據(jù)的要求激增，特斯拉在2022年AIDAY上曾表示，訓(xùn)練其占用網(wǎng)絡(luò)采用了

14億幀圖像數(shù)據(jù)。另一方面，由于自動(dòng)駕駛面臨的場(chǎng)景紛繁復(fù)雜，諸多長(zhǎng)尾問(wèn)題需要

在現(xiàn)實(shí)或虛擬場(chǎng)景中獲取。因此數(shù)據(jù)閉環(huán)在自動(dòng)駕駛領(lǐng)域彌足重要。亳末智行將數(shù)據(jù)

作為"自動(dòng)駕駛能力函數(shù)”的自變量，認(rèn)為是決定能力發(fā)展的關(guān)鍵，Momenta也曾表

示，L4要實(shí)現(xiàn)規(guī)模化，至少要做到人類司機(jī)的安全水平，最好比人類司機(jī)水平而一個(gè)

數(shù)量級(jí)，因此需要至少千億公里的測(cè)試，解決百萬(wàn)長(zhǎng)尾問(wèn)題。

數(shù)據(jù)挖掘和針對(duì)性的訓(xùn)練能顯著減少ComerCase。以特斯拉為例，在面臨一個(gè)看起

來(lái)像臨時(shí)停車但實(shí)際上是永久停車的場(chǎng)景時(shí)，最初算法會(huì)將其判定為臨時(shí)停車,當(dāng)特斯

拉通過(guò)數(shù)據(jù)挖掘在訓(xùn)練集中增加了1.4萬(wàn)個(gè)類似場(chǎng)景的視頻并訓(xùn)練模型后，神經(jīng)網(wǎng)絡(luò)

便理解了這輛車?yán)锩鏇](méi)有司機(jī)，將其判別為永久停車。

2、大模型橫空出世，自動(dòng)駕駛奇點(diǎn)來(lái)臨

早期自動(dòng)駕駛方案采用激光雷達(dá)+高精度地圖為主。早期市場(chǎng)以傳統(tǒng)計(jì)算機(jī)視覺(jué)和專家

系統(tǒng)為基礎(chǔ)構(gòu)建輔助駕駛功能，隨后人工智能的蓬勃發(fā)展讓深度學(xué)習(xí)在自動(dòng)駕駛領(lǐng)域

被廣泛使用，以waymo為代表的自動(dòng)駕駛先驅(qū)玩家開(kāi)創(chuàng)了激光雷達(dá)+高精度地圖的感

知范式，Cruise,百度等巨頭紛紛效仿。該方案中，對(duì)道路結(jié)構(gòu)、車道線等靜態(tài)環(huán)境元

素的感知強(qiáng)依賴高精度地圖，而實(shí)時(shí)的動(dòng)靜態(tài)障礙物信息則強(qiáng)依賴激光雷達(dá)。高精地

圖成為?項(xiàng)"基礎(chǔ)設(shè)施”，將很多在線難以解決的問(wèn)題提前存儲(chǔ)到地圖數(shù)據(jù)中，行車

時(shí)作為?項(xiàng)重要的感知數(shù)據(jù)來(lái)源，減輕傳感器和控制器的壓力。由于該方案只能在有

圖地區(qū)行駛，也被一些人形象的稱為“有軌電車"。

高昂的單車成本和高精度地圖成為自動(dòng)駕駛大規(guī)模推廣瓶頸。Robotaxi成本高昂

（Yole統(tǒng)計(jì)早期Waym。為代表的的自動(dòng)駕駛汽車改裝成本約為20萬(wàn)美元），高精

度地圖采集制作以及合規(guī)要求繁雜（量產(chǎn)落地過(guò)程中，高精度地圖面臨：采集成本

高；人工修圖制圖費(fèi)時(shí)費(fèi)力；地圖鮮度不足；國(guó)內(nèi)法規(guī)嚴(yán)格等困難），帶來(lái)該方案的

泛化性較差。經(jīng)過(guò)數(shù)十年的發(fā)展，Robotaxi的使用范圍仍被限制在特定區(qū)域，使用對(duì)

象也僅局限在商用車領(lǐng)域。市場(chǎng)亟待出現(xiàn)一種單車性能強(qiáng)大、成本低廉的自動(dòng)駕駛解

決方案。

2.1、BEV+Transformer橫空出世，大模型推動(dòng)自動(dòng)駕駛邁向普及

2021年特斯拉推出BEV+transformer、重感知輕地圖的自動(dòng)駕駛解決方案，開(kāi)啟了

自動(dòng)駕駛行業(yè)新的篇章。

2.1.1、BEV感知助力成為感知外部世界標(biāo)準(zhǔn)范式

BEV全稱為Bird'sEya-View（鳥(niǎo)瞰圖），即通過(guò)神經(jīng)網(wǎng)絡(luò)將各個(gè)攝像頭和傳感器獲

取的信息進(jìn)行融合，生成基于俯視的"上帝視角"的鳥(niǎo)瞰圖，同時(shí)加入時(shí)序信息，動(dòng)

態(tài)的對(duì)周邊環(huán)境進(jìn)行感知輸出，便于后續(xù)預(yù)測(cè)規(guī)劃模塊使用。正如人類一樣，駕駛行

為需要將各處觀察到的信息綜合到統(tǒng)一的空間中，來(lái)判別什么地方是可以行駛的區(qū)

域。究其原因，駕駛行為是在3D空間中的行為，而鳥(niǎo)瞰圖則是將2D的透視空間圖像

轉(zhuǎn)換為3D空間，不存在距離尺度問(wèn)題和遮擋問(wèn)題，使得算法可以直觀的判斷車輛在空

間中的位置以及與其他障礙物之間的關(guān)系。

2.1.2、Transformer大模型為構(gòu)建BEV空間提供最優(yōu)解

2021年特斯拉在AIDay上第一次將BEV+transformer的算法形式引入到自動(dòng)駕

駛，開(kāi)啟了自動(dòng)駕駛的嶄新時(shí)代。首先BEV空間的構(gòu)建，實(shí)際上就是尋找一種恰當(dāng)?shù)?/p>

方式，將多個(gè)2D的圖像和傳感器信息綜合轉(zhuǎn)化成為一個(gè)3D的向量空間。經(jīng)過(guò)多次嘗

試，特斯拉最終引入了Transformer大模型來(lái)實(shí)現(xiàn)這一轉(zhuǎn)換。Transformer大模型是

近年人工智能領(lǐng)域的熱門(mén)算法，其主要通過(guò)注意力機(jī)制來(lái)分析關(guān)注元素之間的關(guān)系進(jìn)

而理解外部世界。早年被應(yīng)用于自然語(yǔ)言處理領(lǐng)域，后續(xù)延展到計(jì)算機(jī)視覺(jué)等多個(gè)方

向。算法的優(yōu)勢(shì)顯著：

具有更好的全局信息感知能力：Transformer模型更關(guān)注圖像特征之間的關(guān)系，因此

會(huì)跟多關(guān)注整個(gè)圖像的信息，卷積神經(jīng)網(wǎng)絡(luò)更多關(guān)注固定大小區(qū)域的局部信息，因此

Transformer在面對(duì)圖像中長(zhǎng)程依賴性的問(wèn)題擁有更好的表現(xiàn)。

天花板高企適用于大規(guī)模數(shù)據(jù)訓(xùn)練場(chǎng)景：在圖像識(shí)別能力方面，Transformer?擁有更高

的上限，隨著訓(xùn)練數(shù)據(jù)量的增長(zhǎng)，傳統(tǒng)CNN模型識(shí)別能力呈現(xiàn)飽和態(tài)勢(shì)，而

Transformer則在數(shù)據(jù)量越大的情況下?lián)碛懈玫谋憩F(xiàn)。而自動(dòng)駕駛洽洽為面向海量

的數(shù)據(jù)場(chǎng)景，要求有足夠好的精度的場(chǎng)景。

擁有多模態(tài)感知能力：Transformer可實(shí)現(xiàn)多模態(tài)數(shù)據(jù)的處理，應(yīng)對(duì)圖像分類、目標(biāo)

檢測(cè)、圖像分割功能，并實(shí)現(xiàn)對(duì)3D點(diǎn)云、圖像等數(shù)據(jù)的融合處理。

靈活、較好的泛化性能：Transformer可適用于不同大小的輸入圖像，同時(shí)外部環(huán)境

包含擾動(dòng)的情況下仍能保持較好的檢測(cè)性能。

但CNN網(wǎng)絡(luò)在提取底層特征和視覺(jué)結(jié)構(gòu)方面有比較大的優(yōu)勢(shì)，而在高層級(jí)的視覺(jué)語(yǔ)義

理解方面，需要判別這些特征和結(jié)構(gòu)之間的如何關(guān)聯(lián)而形成一個(gè)整體的物體，采用

Transformer更加自然和有效。同時(shí)CNN也擁有更好的效率，可以采用更低的兌力

實(shí)現(xiàn)效果。因此業(yè)界通常會(huì)將CNN和Transformer結(jié)合來(lái)進(jìn)行物體識(shí)別。

2.1.3、特斯拉引領(lǐng)打開(kāi)自動(dòng)駕駛天花板

特斯拉的自動(dòng)駕駛算法結(jié)構(gòu)中，首先將攝像頭信息無(wú)損采集，送入卷積神經(jīng)網(wǎng)絡(luò)

Regnet來(lái)提取不同尺度的圖像特征，接著使用BiFPN進(jìn)行特征融合，然后將這些特

征送入Transformer模塊，利用Transformer中的多頭注意力機(jī)制來(lái)實(shí)現(xiàn)2D圖像特

征到三維向量空間的轉(zhuǎn)換和多攝像頭特征系信息的融合，之后接入不同的"頭"如交

通標(biāo)志檢測(cè)、障礙物檢測(cè)等，來(lái)實(shí)現(xiàn)不同任務(wù)的處落地，形成一套優(yōu)雅的，可完美實(shí)

現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的感知算法。由于不同的"頭”之間采用了共享的特征提取網(wǎng)絡(luò)，因此被

特斯拉起名為"九頭蛇"算法架構(gòu)。

特斯拉的BEV+Transformer算法中兩個(gè)環(huán)節(jié)尤為關(guān)鍵：

（1）2D圖像到3D空間的轉(zhuǎn)換以及圖像融合：在2D圖像到3D向量空間轉(zhuǎn)換的環(huán)

節(jié)，特斯拉在行業(yè)內(nèi)首次引入了Transformer。具體而言，先構(gòu)建一個(gè)想要輸出的三維

的柵格空間，并對(duì)其進(jìn)行位置編碼成為查詢向量（Query）,然后將每個(gè)圖像和自己的

特征輸出相應(yīng)的查詢健碼（Key）和值（Value）,最終輸入到注意力機(jī)制中輸出想要

的結(jié)果。類似于每個(gè)圖像中的特征都廣播自己是什么物體的一部分，而每個(gè)輸出空間

的位置像素像拼圖一樣，尋找對(duì)應(yīng)的特征，最終構(gòu)建巴希望輸出的向量空間。

（Query.Key、Value分別為T(mén)ransformer算法中的參數(shù)，通過(guò)將外部世界轉(zhuǎn)化為

參數(shù)而實(shí)現(xiàn)信息處理和任務(wù)輸出）

(2)加入時(shí)序信息，讓算法擁有“記憶"：為了讓自動(dòng)駕駛算法擁有類似一段時(shí)間內(nèi)

"記憶”的能力，特斯拉在感知網(wǎng)絡(luò)架構(gòu)中加入了時(shí)空序列特征層。通過(guò)引入慣性導(dǎo)

航傳感器獲取的包含速度和加速度等白車運(yùn)動(dòng)的信息，算法模型可獲取時(shí)間和空間的

記憶能力。具體而言，特斯拉給算法加入特征隊(duì)列模塊(FeatureQueue)，他會(huì)緩

存一些特征值(包含歷史幀的BEV特征、慣導(dǎo)傳感器信息等)，便于了解車輛行動(dòng)，

這個(gè)序列包含時(shí)間和空間記憶。然后引入視頻模塊(VideoModule)使用空間循環(huán)呻

經(jīng)網(wǎng)絡(luò)(SpatialRNN)/transformer等算法將前述緩存的特征進(jìn)行融合，關(guān)聯(lián)前后時(shí)

刻信息、，使得模型具有記憶能力，讓自動(dòng)駕駛汽車將同時(shí)能夠記住上一段時(shí)間和上一

段位置的檢測(cè)信息。

圖14:特斯拉為感知部分加入時(shí)序信息已增強(qiáng)其“記憶”

VelocityofDetectedCars

MultiomvideofMtures20x80x256

VideoModule時(shí)序信息融合

Featurequeue特征序列(存儲(chǔ)時(shí)序信息)

車輛運(yùn)動(dòng)學(xué)信息

KinematicsIMU

fwtvres20*00x256

Multi-camerafusion&BEVtransform多攝像頭融合及BEV視角轉(zhuǎn)換

共享骨干網(wǎng)絡(luò)提取圖像特征

2.1.4、BEV+Transformer大模型提供遠(yuǎn)強(qiáng)于傳統(tǒng)自動(dòng)駕駛算法的感知能力

（1）改善2D-3D空間轉(zhuǎn)換過(guò)程中深度預(yù)測(cè)難點(diǎn)，感知性能大幅提升

引入BEV+Transformer后，模型對(duì)于2D空間向3D空間轉(zhuǎn)換的精度大幅提高。構(gòu)建

BEV模型一大重要任務(wù)是實(shí)現(xiàn)2D圖片到3D空間的轉(zhuǎn)換，通常業(yè)內(nèi)有四大類方式實(shí)

現(xiàn)2D-3D視角轉(zhuǎn)換：早期通常以基于相機(jī)內(nèi)外參數(shù)（焦距、光芯、俯仰角、偏航角和

地面商度）的幾何變換的IPM（逆透視變換）實(shí)現(xiàn)，由于該方式基于地面純平、俯仰

角?定的假設(shè)，約束條件實(shí)現(xiàn)難度高；后續(xù)英偉達(dá)推出BEV行業(yè)的開(kāi)山之作LSS算

法,但由于其計(jì)算量龐大以及精度仍然有限，難以支撐BEV的真正落地；其后學(xué)界業(yè)

界探索了眾多方案，包含基于神經(jīng)網(wǎng)絡(luò)，通過(guò)監(jiān)督學(xué)習(xí)數(shù)據(jù)驅(qū)動(dòng)實(shí)現(xiàn)BEV空間構(gòu)建等

方式，但深度估計(jì)的精度均不盡人意。2021年，特斯拉首次將Transformer應(yīng)用于

BEV空間的構(gòu)建，在多攝像頭視角卜，相比傳統(tǒng)感知方式，大幅提升了感知精度，該

方案推山后也迅速被業(yè)界廣泛追捧。

（2）完美實(shí)現(xiàn)多攝像頭、多傳感器的信息融合，極大方便后續(xù)規(guī)控任務(wù)

BEV+Transformer實(shí)際上引入"特征級(jí)融合”（中融合）方式。通常自動(dòng)駕啾!汽車擁

有6-8個(gè)攝像頭以及其他多種傳感器，在感知過(guò)程中，需要將各類傳感器的信息進(jìn)行

融合。傳感器融合大體可分為幾大類：

數(shù)據(jù)級(jí)融合（前融合）：直接將傳感器采集的數(shù)據(jù)如圖像和點(diǎn)云融合。該方案優(yōu)勢(shì)在

于數(shù)據(jù)損失少，融合效果好，但時(shí)間同步、空間同步要求達(dá)到像素級(jí)別，難度較高，

需要對(duì)每個(gè)像素計(jì)算，對(duì)算力消耗大，目前少有使用。

目標(biāo)級(jí)融合（后融合）：將每個(gè)傳感器采集信息并處理后的目標(biāo)進(jìn)行融合。該方案是此

前自動(dòng)駕駛主流采用的方案，被廣泛應(yīng)用于攝像頭之間、不同傳感器之間的信息融

合。優(yōu)勢(shì)在于算法簡(jiǎn)單、解耦性好即插即用。但也存在致命問(wèn)題，由于融合前的處理

損失了大量關(guān)鍵信息，影響感知精度，融合結(jié)果容易沖突或錯(cuò)誤。此外后融合中的融

合算法仍然基于規(guī)則，無(wú)法進(jìn)行數(shù)據(jù)驅(qū)動(dòng)，存在局限性。

特征級(jí)融合（中融合）：則將原始傳感器采集的數(shù)據(jù)經(jīng)過(guò)特征提取后再將特征向量進(jìn)

行融合。該方案的優(yōu)勢(shì)在于，數(shù)據(jù)損失少、將目標(biāo)"分解"為特征，更容易在不同相

機(jī)和傳感器之間關(guān)聯(lián)，融合效果好。在BEV+transformer算法中實(shí)際上均采用中融合

的方式。

以路過(guò)大型卡車場(chǎng)景為例，障礙物某個(gè)時(shí)刻在5個(gè)攝像頭中同時(shí)出現(xiàn)，且每個(gè)攝像頭

只能觀察到車的某個(gè)部分。傳統(tǒng)算法通常會(huì)分別在每個(gè)攝像頭內(nèi)完成檢測(cè)，再融合各

攝像頭的結(jié)果。通過(guò)部分信息識(shí)別出卡車整體的特征及其困難，且一旦完成物體檢

測(cè)，相當(dāng)于“腦補(bǔ)”了看不到的部分，誤差較大拼接困難，經(jīng)常會(huì)識(shí)別為多個(gè)目標(biāo)或

漏檢。而B(niǎo)EV+Transformer通過(guò)特征級(jí)融合，完美生成鳥(niǎo)瞰視角下的場(chǎng)景，并且識(shí)

別精度更高。

（3）更易融入時(shí)序信息，模型擁有"記憶"，避免遮擋等問(wèn)題

感知算法中，時(shí)序融合能夠大幅提升算法連續(xù)性，對(duì)障礙物的記憶可解決遮擋問(wèn)題，

更好的感知速度信息，對(duì)于道路標(biāo)志的記憶可提升駕駛安全和對(duì)汽車車輛行為預(yù)測(cè)的

準(zhǔn)確度，增強(qiáng)算法的可靠性和精度。在BEV+transformer算法中，由于所有的感知被

統(tǒng)一到3D鳥(niǎo)瞰圖空間，通過(guò)將不同時(shí)間和不同位置的特征關(guān)聯(lián)可很容易的實(shí)現(xiàn)時(shí)序信

息的融合。如在面對(duì)遮擋場(chǎng)景時(shí)，帶有時(shí)序信息的自動(dòng)駕駛算法感知效果遠(yuǎn)優(yōu)于基于

單幀圖像感知的算法。同時(shí)也更便于下游的規(guī)劃控制算法實(shí)現(xiàn)對(duì)障礙物的追蹤。

（4）汽車擁有實(shí)時(shí)建圖能力，擺脫對(duì)高精度地圖的依賴

BEV+Transformer算法可在車端實(shí)時(shí)構(gòu)建媲美高精地圖的高精度局部地圖，能夠在任

意常規(guī)道路條件下，實(shí)現(xiàn)自動(dòng)駕駛所需的靜態(tài)場(chǎng)景深刻理解，然后以此為基礎(chǔ)，端到

端的輸出障礙物的軌跡和速度、車道線信息等，實(shí)現(xiàn)包雜場(chǎng)景下的自動(dòng)駕駛應(yīng)用，而

不需要依賴高精地圖。使得算法的泛化性大幅提升，成本也大幅下降。

2.2、占用網(wǎng)絡(luò)提供3D世界感知，形成通用障礙物識(shí)別能力

占用網(wǎng)絡(luò)構(gòu)建通用障礙物感知體系，提升對(duì)未知物體感知效果。直接在矢量空間產(chǎn)生

統(tǒng)?的體枳占用數(shù)據(jù)，對(duì)于車子周圍任意的?個(gè)3D位置，它預(yù)測(cè)了該位置被占用的概

率，對(duì)每個(gè)位置它還會(huì)產(chǎn)生一定的語(yǔ)義信息比如路邊、汽車、行人、或者路上的碎片等

等，用不同的顏色標(biāo)出，同時(shí)觀測(cè)速度信息，形成"占用柵格"+"柵格流（描述速度

信息）"+弱語(yǔ)義的表達(dá)形式。對(duì)特斯拉而言，即將原有Transformer算法輸出的

2DBEV+時(shí)序信息的向量空間增加高度信息，形成3DBEV+時(shí)序信息的4D空間表達(dá)形

式。網(wǎng)絡(luò)在FSD上每10ms運(yùn)行一次，即以100FPS的速度運(yùn)行，模型檢測(cè)速度大幅

提升。

占用網(wǎng)絡(luò)優(yōu)勢(shì)顯著：（1）其改變了神經(jīng)網(wǎng)絡(luò)算法先"認(rèn)識(shí)"才能"識(shí)別"的特性，形

成了動(dòng)靜態(tài)物體統(tǒng)一的障礙物感知方式，可大幅減少Comercase,提升安全性。

（2）擺脫檢測(cè)框的約束，對(duì)不規(guī)則外形障礙物的感知能力大大增強(qiáng)。（3）對(duì)特斯拉

來(lái)說(shuō)，通用障礙物感知能力可以復(fù)用到其他產(chǎn)品如機(jī)器人上，形成了統(tǒng)一的算法框

架。

占用網(wǎng)絡(luò)的構(gòu)建并非單獨(dú)算法上得演進(jìn)，而是休系能力的提升。3D空間的距離直值費(fèi)

取實(shí)際上較為困難，即使擁有激光雷達(dá)，其稀疏的點(diǎn)云信息仍然難以滿足占用網(wǎng)絡(luò)的

訓(xùn)練需求，而由于仿真環(huán)境中距離真值信息可以直接獲取，因此占用網(wǎng)絡(luò)的構(gòu)建幾乎

和強(qiáng)大的仿真場(chǎng)景構(gòu)建用輔相成。

2.3、規(guī)控算法由基于規(guī)則邁向基于神經(jīng)網(wǎng)，大模型開(kāi)始嶄露頭角

2.3.1、人工智能逐步滲透進(jìn)入規(guī)控算法

發(fā)力安全性、舒適性和效率，規(guī)控算法成為當(dāng)前頭部玩家主攻方向。人能夠基于非常

有限的感知信息完美實(shí)現(xiàn)駕駛行為，很大程度因?yàn)槿祟悡碛袕?qiáng)大的"規(guī)控”能力。對(duì)

自動(dòng)駕駛而言，采取一種讓安全性、舒適性和效率都達(dá)到最大化的駕駛策略無(wú)疑是各

大廠商不懈追求的目標(biāo)。而該環(huán)節(jié)也直接決定了自動(dòng)駕駛功能的消費(fèi)者體驗(yàn)，目前頭

部玩家已經(jīng)將主攻方向與移到規(guī)控算法領(lǐng)域。

圖24:自動(dòng)駕駛的目標(biāo)：安全、舒適、效率

Safety

ComfortEfficiency

"擬人化"、強(qiáng)泛化性，人工智能推動(dòng)自動(dòng)駕駛“老司機(jī)"上線。規(guī)控算法的難度較

高，存在諸多非確定（如輔路與干道沒(méi)有綠化帶隔離，輔路的車輛可隨時(shí)進(jìn)入干

道）、強(qiáng)交互（如多個(gè)物體在同一場(chǎng)環(huán)境下決策會(huì)相互影響，存在一定博弈性）、強(qiáng)

主觀（如駕駛員的駕駛風(fēng)格，很難用有限標(biāo)準(zhǔn)量化表示）的場(chǎng)景。同時(shí)涉及交通法規(guī)

等一系列問(wèn)題。早年的算法通常采用基于專家知識(shí)和規(guī)則的模式為主，由于基于規(guī)則

的系統(tǒng)需要不斷補(bǔ)充新R勺規(guī)則以實(shí)現(xiàn)對(duì)各類環(huán)境的良好應(yīng)付，日積月累代碼量龐大，

占用算力資源，且不易維護(hù)。因此依靠數(shù)據(jù)驅(qū)動(dòng)的基丁人工智能的規(guī)控算法日益走向

臺(tái)前。面對(duì)復(fù)雜的外部環(huán)境，人工智能模型能夠更加平滑的以"類人"的方式對(duì)駕駛

行為進(jìn)行處理，泛化能力強(qiáng)、舒適性好，應(yīng)對(duì)復(fù)雜場(chǎng)景的能力大幅提升。

兼顧"安全"和"性能”，神經(jīng)網(wǎng)絡(luò)和基于規(guī)則結(jié)合有望成為一段時(shí)期內(nèi)規(guī)控算法的

主流。小鵬汽車自動(dòng)駕帙負(fù)責(zé)人吳新宙曾表示，基于大數(shù)據(jù)和深度學(xué)習(xí)的第法在規(guī)控

領(lǐng)域的滲透會(huì)越來(lái)越深，預(yù)計(jì)未來(lái)整個(gè)框架都將基于深度學(xué)習(xí)為基礎(chǔ)，但基于規(guī)則的

算法也會(huì)長(zhǎng)期存在，因?yàn)橐?guī)控算法的可解釋性很重要。基于神經(jīng)網(wǎng)絡(luò)的規(guī)控算法有諸多

優(yōu)勢(shì)，但目前如訓(xùn)練過(guò)程中數(shù)據(jù)的清洗、一致性；面向一些小場(chǎng)景特定的算法調(diào)整；

可解釋性差等問(wèn)題仍客觀存在。因此諸多玩家FI前仍采用以人工智能和基于規(guī)則結(jié)合

的方式來(lái)部署規(guī)控算法，制定一些規(guī)則來(lái)對(duì)人工智能產(chǎn)生的行為進(jìn)行兜底，實(shí)現(xiàn)較好

的規(guī)控效果，未來(lái)隨著人I：智能能力的提升，規(guī)控算法人【:智能化已經(jīng)成為大勢(shì)所

趨。交互搜索+評(píng)估模型，特斯拉規(guī)控算法行止有效。在規(guī)控方面，特斯拉采用交互搜

索+評(píng)估模型的方式實(shí)現(xiàn)舒適、有效以及傳統(tǒng)搜索算法和人工智能的結(jié)合的算法。具體

如下：（1）決策樹(shù)生成：首先根據(jù)車道線、占用網(wǎng)絡(luò)、障礙物等得到候選目標(biāo)，生成

一些候選目標(biāo)；（2）軌跡規(guī)劃：通過(guò)傳統(tǒng)搜索和神經(jīng)網(wǎng)絡(luò)的方式同步構(gòu)建抵達(dá)上述目

標(biāo)的軌跡；（3）交互決策：預(yù)測(cè)自車以及場(chǎng)景中其他參與者之間的相互作用，形成新

的軌跡，經(jīng)過(guò)多次評(píng)估選擇最后軌跡。在軌跡生成階段，特斯拉采用了基于傳統(tǒng)搜索

算法和基于神經(jīng)網(wǎng)絡(luò)兩種形式，之后根據(jù)碰撞檢查、舒適性分析?、駕駛員接管可能性

和與人的相似程度等對(duì)生成的軌跡打分，決定走哪條路線?；谶@種方式有效的將道

路參與者的博弈考慮在內(nèi)，同時(shí)完美將基于規(guī)則和基于人【：智能結(jié)合，呈現(xiàn)出強(qiáng)大競(jìng)

爭(zhēng)力。

2.3.2、大模型賦能，車道線預(yù)測(cè)等復(fù)雜任務(wù)得以實(shí)現(xiàn)

復(fù)雜道路的車道拓普結(jié)構(gòu)識(shí)別難度較高。自動(dòng)駕駛車輛在行駛過(guò)程中需要明確自車的

道路情況和車道線拓?fù)淝闆r，以此來(lái)決定如何規(guī)劃自己的行駛軌跡。但當(dāng)車道線模

糊，或者十字路口等場(chǎng)景下，需要算法自己計(jì)算出車道線情況，來(lái)指導(dǎo)自身的自動(dòng)駕

駛行為。我們看到一些玩家針對(duì)這樣的場(chǎng)景做出了優(yōu)化，來(lái)完美應(yīng)對(duì)各類突發(fā)情況，

產(chǎn)業(yè)算法不斷進(jìn)化和成熟。

特斯拉采用訓(xùn)練語(yǔ)言模型的形式來(lái)訓(xùn)練車道線網(wǎng)絡(luò)模型。車道線網(wǎng)絡(luò)實(shí)際上是嫁接在

感知網(wǎng)絡(luò)上的?個(gè)Transformer的解碼器（Decoder）。參考自然語(yǔ)言處理任務(wù)中的

形式，讓模型用自回歸（綜合上個(gè)環(huán)節(jié)的結(jié)果輸出下個(gè)環(huán)節(jié)的內(nèi)容）的方式輸出車道

線的預(yù)測(cè)結(jié)果。具體而言，將車道線包含節(jié)點(diǎn)位置、節(jié)點(diǎn)屬性（起點(diǎn)、終點(diǎn)、中間點(diǎn)

等）、分義點(diǎn)、交叉點(diǎn)等進(jìn)行編碼，形成類似語(yǔ)言模型中單詞的屬性，輸入

Transformer■解碼器中，將信息轉(zhuǎn)化成為“車道線語(yǔ)言"，去生成下個(gè)階段的結(jié)果，進(jìn)

而形成整個(gè)路網(wǎng)的車道線的拓?fù)浣Y(jié)構(gòu)。

理想汽車在理想家庭日上也展示了其用于增強(qiáng)路口性能的算法NPN神經(jīng)先驗(yàn)網(wǎng)絡(luò)。為

了解決大模型在十字路口不穩(wěn)定的問(wèn)題，對(duì)復(fù)雜路口，提前進(jìn)行路口的特征提取和存

儲(chǔ)，當(dāng)車輛再次行駛到路口時(shí)刻，將過(guò)去提取好的特征和BEV感知大模型融合，形成

更加完美的感知結(jié)果。

2.4、端到端（感知決策一體化）：大模型為自動(dòng)駕駛徹底實(shí)現(xiàn)帶來(lái)希望

2.4.1、回歸自動(dòng)駕駛第一性原理，端到端自動(dòng)駕駛成為市場(chǎng)遠(yuǎn)期共識(shí)

模塊化的自動(dòng)駕駛算法設(shè)計(jì)存在諸多問(wèn)題。前述文章中提到的感知、預(yù)測(cè)、規(guī)劃等環(huán)

節(jié)的算法稱為模塊化算法設(shè)計(jì)，這些方案中每個(gè)模塊獨(dú)立負(fù)責(zé)單獨(dú)的子任務(wù)，這種方

案具備簡(jiǎn)化研發(fā)團(tuán)隊(duì)分工，便于問(wèn)題回溯，易于調(diào)試迭代等優(yōu)點(diǎn)。但由于將不同任務(wù)

解耦，各個(gè)模塊之間容易產(chǎn)生信息損失問(wèn)題，且多個(gè)模塊間優(yōu)化目標(biāo)不一致，最后模

塊間產(chǎn)生的誤差會(huì)在模型中傳遞。端到端白動(dòng)駕駛解決方案回歸自動(dòng)駕駛第一性原理,

因此業(yè)界也一直在探索端到端的自動(dòng)駕駛算法形式，即設(shè)計(jì)一個(gè)算法模型，直接輸入

傳感器感知的信息，輸出控制結(jié)果。端到端的自動(dòng)駕駛算法擁有非常明顯的優(yōu)勢(shì)：

（1）其遵循了自動(dòng)駕馭的第一性原理：即無(wú)論感知、規(guī)劃、決策模塊如何設(shè)計(jì)，最終

是為了實(shí)現(xiàn)更好的自動(dòng)駕駛效果，因此現(xiàn)有的方法聚焦單獨(dú)某個(gè)模塊的優(yōu)化，對(duì)整體

的效果提升未必有效。（2）端到端的方式可避免極聯(lián)誤差，去掉冗余信息，提升視覺(jué)

信息的表達(dá)。（3）傳統(tǒng)模塊化的算法中需要面臨模型之間的多個(gè)編解碼環(huán)節(jié)，帶來(lái)的

計(jì)算的冗余浪費(fèi)。（4）規(guī)則驅(qū)動(dòng)徹底轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng).理想狀態(tài)下讓汽車自動(dòng)駕駛模

型訓(xùn)練變得簡(jiǎn)潔。

2.4.2、工業(yè)界已經(jīng)開(kāi)啟探索，邁向完全自動(dòng)駕駛

目前全球無(wú)論學(xué)術(shù)界還是工業(yè)界均對(duì)該方案進(jìn)行了不懈探索。如英偉達(dá)2016年即提出

端到端的自動(dòng)駕駛解決方案，而Uber更多次發(fā)相關(guān)的論文探索有關(guān)算法。最新的

CVPR2023I?商湯、OpenDriveLab,地平線等聯(lián)合發(fā)布的端到端的自動(dòng)駕駛算法

UniAD,獲得了當(dāng)年的最佳論文。其采用Transformer將感知、決策、規(guī)劃、控制模

塊都融入到一個(gè)模型中，端到端的處理自動(dòng)駕駛問(wèn)題，能夠呈現(xiàn)出最佳的運(yùn)行效果。

目前英國(guó)初創(chuàng)公司W(wǎng)ayve亦致力于開(kāi)發(fā)端到端的自動(dòng)駕駛系統(tǒng)，致力于讓汽車通過(guò)芻

己的計(jì)算機(jī)視覺(jué)平臺(tái)"自己看世界"，同時(shí)可以根據(jù)它所看到的東西做出自己的決

定。馬斯克也曾在推特上表示，其FSDV12版本將是一個(gè)端到端的自動(dòng)駕駛模型。

2.4.3、大模型的思考，自動(dòng)駕駛或許并非終點(diǎn)

通識(shí)知識(shí)和強(qiáng)泛化能力助力人類輕松學(xué)會(huì)駕駛。人類可以在短時(shí)間內(nèi)學(xué)會(huì)駕駛，但機(jī)

器則需要海量的數(shù)據(jù)和訓(xùn)練?？赡艿脑蛟谟谌祟愒趯W(xué)習(xí)駕駛之前就已經(jīng)充分對(duì)整個(gè)

世界有了全面的認(rèn)知，并可以將這些認(rèn)識(shí)泛化到各類場(chǎng)景下。如在學(xué)校附近應(yīng)該減

速、遇到老人應(yīng)當(dāng)小心等，面對(duì)形狀怪異的紅綠燈人類幾乎不加思考就可理解其想表

達(dá)的意思。通識(shí)知識(shí)，強(qiáng)泛化能力可以對(duì)自動(dòng)駕駛行為產(chǎn)生重大幫助。GPT受到市場(chǎng)追

捧，也引發(fā)了自動(dòng)駕駛界對(duì)模型構(gòu)建方式的思考。前文提到的英國(guó)公司W(wǎng)ayve亦在嘗

試構(gòu)建一個(gè)世界模型，通過(guò)使用與駕駛本身無(wú)關(guān)的數(shù)據(jù)，如一些文本數(shù)據(jù)預(yù)訓(xùn)練模型

進(jìn)而提升模型的駕駛性能。此外，公司亦在嘗試將自動(dòng)駕駛模型和自然語(yǔ)言結(jié)合，讓

自動(dòng)駕駛模型能夠描述自己的行為，進(jìn)而增強(qiáng)模型的性能和可解釋性。國(guó)內(nèi)亳末智行等

也在做出相應(yīng)的嘗試，建立大參數(shù)的模型，并將海量駕駛場(chǎng)景編碼成語(yǔ)料，投喂給模

型進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，接著再加入人類反饋強(qiáng)化學(xué)習(xí)幫助其掌握駕駛員的行為，進(jìn)而讓

模型擁有接近人的自動(dòng)駕駛能力。大語(yǔ)言模型的風(fēng)靡乜讓市場(chǎng)對(duì)自動(dòng)駕駛模型構(gòu)建的

方式有了新的想象空間，DriveGPT未嘗不是一種可以嘗試的方向。

圖38:GPT帶來(lái)了業(yè)界對(duì)自動(dòng)駕駛算法構(gòu)建的新思考

InstructionGPT的訓(xùn)練范式

海?文本6摳人工瘋寫(xiě)問(wèn)答對(duì)

自動(dòng)/位加訓(xùn)等監(jiān)ta竽習(xí)

海?多槽態(tài)故應(yīng)子任根塊Imitation

RL(HF)

自動(dòng)范甘孜訓(xùn)媒監(jiān)行訓(xùn)煉Learning

端到端自動(dòng)駕駛的il慘范式

->--}---f7/cri[J:

當(dāng)差，絲來(lái)非智庫(kù)

世界模型浮上水面，面向通用場(chǎng)景，解決通用問(wèn)題。在最新的CVPR2023會(huì)議上，特

斯拉提出了世界模型，即構(gòu)建一個(gè)模型，可觀察所有需要觀察的事物，并將其轉(zhuǎn)化為

向量空間，鏈接各類豐富的卜游任務(wù)。該模型不止用于汽車，還可用于機(jī)器人等等嵌

入式人工智能場(chǎng)景。通過(guò)該模型可預(yù)測(cè)未來(lái)、構(gòu)建仿真場(chǎng)景，通過(guò)語(yǔ)言提示，讓它生

成各類場(chǎng)景如直行、向右變道等。

2.5、數(shù)據(jù)端：大模型推動(dòng)數(shù)據(jù)閉環(huán)和仿真落地

神經(jīng)網(wǎng)絡(luò)只決定了算法的上限，而是否能讓神經(jīng)網(wǎng)絡(luò)發(fā)揮其效能，數(shù)據(jù)起到了決定性

的作用，因此如何尋找純凈且多樣化的海量數(shù)據(jù)集相比算法而言同等重要。

2.5.1、數(shù)據(jù)閉環(huán)：自動(dòng)化運(yùn)行，降本增效推升規(guī)模是關(guān)鍵

完整的數(shù)據(jù)閉環(huán)系統(tǒng)，通經(jīng)常包含數(shù)據(jù)采集、數(shù)據(jù)挖掘、數(shù)據(jù)標(biāo)注、模型訓(xùn)練等環(huán)

節(jié)。其對(duì)自動(dòng)駕駛功能實(shí)現(xiàn)的重要性不言而喻，但當(dāng)前自動(dòng)駕駛車型傳感器越來(lái)越高

端,據(jù)dSPACE的數(shù)據(jù)，若采用4k800萬(wàn)像素的攝像頭，每秒產(chǎn)生的數(shù)據(jù)將達(dá)到

3GB,疊加激光雷.達(dá)毫米波雷達(dá)等傳感器，整車每秒將產(chǎn)生的40G數(shù)據(jù)，每小時(shí)產(chǎn)生

19Tb數(shù)據(jù)，對(duì)整車廠的數(shù)據(jù)處理能力提出考驗(yàn)。

數(shù)據(jù)采集：通常自動(dòng)駕駛算法會(huì)采取一定的觸發(fā)（Trigger）機(jī)制來(lái)開(kāi)啟數(shù)據(jù)上傳。如

出現(xiàn)人類駕駛和自動(dòng)駕駛不一致的情況，或不同傳感器之間一致性不同的情況，或者

不同算法出現(xiàn)沖突，以及某些指定的特殊場(chǎng)景如近距離跟車、加塞、光照急劇變化、

陰影車道線等等。特斯拉在2022AIDAY上表示其擁有221種觸發(fā)器。數(shù)據(jù)清洗/挖

掘：數(shù)據(jù)清洗和挖掘?qū)嶋H上是數(shù)據(jù)處理的過(guò)程，通常采集的數(shù)據(jù)包含大量的無(wú)用數(shù)

據(jù)，這里需要算法將訓(xùn)練模型所需要的數(shù)據(jù)提取出來(lái)，以實(shí)現(xiàn)有效的數(shù)據(jù)收集，同時(shí)

修正部分錯(cuò)誤數(shù)據(jù)。這其中對(duì)于數(shù)據(jù)處理的“內(nèi)功”要求深厚。數(shù)據(jù)標(biāo)注：挖掘到有價(jià)

值的數(shù)據(jù)后，需要采用人工標(biāo)注或自動(dòng)標(biāo)注的方式，疊加部分仿真數(shù)據(jù)，形成數(shù)據(jù)集

來(lái)實(shí)現(xiàn)對(duì)算法的訓(xùn)練和迭代。這其中涉及2D標(biāo)注、3D標(biāo)注、車道線標(biāo)注、語(yǔ)義分割

等，工作量大，同時(shí)影響著車企自動(dòng)駕駛算法的迭代，是數(shù)據(jù)閉環(huán)中的重中之重。

數(shù)據(jù)閉環(huán)收益顯著但成本不可忽視，降本增效是關(guān)鍵。數(shù)據(jù)標(biāo)注方面，據(jù)特斯拉AI

DAY描述公司曾經(jīng)組建了超過(guò)千人的團(tuán)隊(duì)，早期通過(guò)人工在2D圖片上進(jìn)行精細(xì)標(biāo)

注，但效率低下；后改進(jìn)為在向量空間完成標(biāo)注，再通過(guò)投影投射到8個(gè)攝像機(jī)里

面，效率大幅提升；再之后特斯拉即建立了自動(dòng)標(biāo)注系統(tǒng)，通過(guò)離線大模型實(shí)現(xiàn)自動(dòng)

標(biāo)注，大幅提升標(biāo)注效率。此外特斯拉通過(guò)多車輛聯(lián)合優(yōu)化等方式來(lái)提升標(biāo)注的精確

度，起到了良好的效果。行業(yè)其他玩家亦開(kāi)發(fā)自動(dòng)標(biāo)注工具以降本增效，據(jù)小鵬汽車

描述，采用自動(dòng)化標(biāo)注工具后，公司能夠在17天內(nèi)完成原本需要200個(gè)人年才能完

成的標(biāo)注任務(wù)。數(shù)據(jù)閉環(huán)方面，特斯拉、小鵬、理想汽車均提到了各白的白動(dòng)化數(shù)據(jù)

閉環(huán)體系，能夠全自動(dòng)完成數(shù)據(jù)的采集、挖掘、標(biāo)注、存儲(chǔ)等環(huán)節(jié)，大大提升模型的

訓(xùn)練和迭代效率C

2.5.2、仿真：從提升效率到不可或缺

仿真是自動(dòng)駕駛系統(tǒng)構(gòu)建不可或缺的環(huán)節(jié)。將數(shù)據(jù)采集過(guò)程中的實(shí)車數(shù)據(jù)經(jīng)過(guò)聚類、

場(chǎng)景提取、泛化與篩選，構(gòu)筑用于測(cè)試的虛擬世界，自動(dòng)駕駛算法控制車輛，與虛擬

世界產(chǎn)生交互，并將交互結(jié)果輸出，在自動(dòng)駕駛領(lǐng)域優(yōu)勢(shì)明顯：（1）當(dāng)數(shù)據(jù)極端難以

獲取的時(shí)候，仿真可以生成大量的場(chǎng)景供模型訓(xùn)練；（2）天然帶有標(biāo)注信息。當(dāng)數(shù)據(jù)

難以標(biāo)注的時(shí)候，如幾百萬(wàn)人過(guò)馬路，標(biāo)注成本極高且效率低下容易產(chǎn)生錯(cuò)誤，但仿

真場(chǎng)景下不存在上述難點(diǎn)：（3）仿真可以給規(guī)控算法以安全的實(shí)驗(yàn)環(huán)境；（4）仿真的

價(jià)格低廉，效率高。埋論上完美的仿真能夠取代實(shí)車測(cè)試，進(jìn)而以較低成本達(dá)到安全測(cè)

試效果，縮短自動(dòng)駕駛算法研發(fā)周期，是自動(dòng)駕會(huì)開(kāi)發(fā)迭代的重要環(huán)節(jié)。

不同的算法對(duì)仿真環(huán)境的構(gòu)建提出不同要求。通常自動(dòng)駕駛核心算法包括感知算法、

決策規(guī)劃算法、控制算法三大環(huán)節(jié)，其中感知算法仿真需要高還原度的三維重建場(chǎng)景

和精準(zhǔn)的傳感器模型；決策規(guī)劃算法仿真需要大量的場(chǎng)景庫(kù)為支撐；控制算法需要引

入精準(zhǔn)的車輛動(dòng)力學(xué)模型。虛擬場(chǎng)景構(gòu)建方面，通常需要模擬出與真實(shí)世界?致的靜

態(tài)、動(dòng)態(tài)交通運(yùn)行場(chǎng)景。靜態(tài)場(chǎng)景通常包含道路、車道線、減速帶、交通標(biāo)志、路

燈、車站、周圍建筑等等，通常使用高精度地圖和三維重建技術(shù)構(gòu)建（通常需要回執(zhí)

高精度地圖并進(jìn)行三維建模）；動(dòng)態(tài)場(chǎng)景包含動(dòng)態(tài)指示設(shè)施、機(jī)動(dòng)車行為、非機(jī)動(dòng)車

行為、行人行為、通信環(huán)境、氣象變化、時(shí)間變化等。感知系統(tǒng)仿真方面，包含攝像

頭仿真（生成逼真的圖像并添加色彩和光學(xué)屬性等通常采用游戲引擎來(lái)構(gòu)建，如百度

阿波羅采用Unity3D、騰訊TADSim引入了虛幻引擎）、亳米波雷達(dá)仿真、激光雷達(dá)

仿真。車輛動(dòng)力學(xué)仿真方面，通?；诙囿w動(dòng)力學(xué)搭建模型，其中包含車體、懸架系

統(tǒng)、轉(zhuǎn)向系統(tǒng)、制動(dòng)系統(tǒng)、動(dòng)力系統(tǒng)、傳動(dòng)系統(tǒng)等多個(gè)真實(shí)部件的車輛模型。

對(duì)仿真工具而言，其能夠覆蓋的場(chǎng)景范圍越大，自動(dòng)駕駛可行駛邊界就越廣泛。因此評(píng)

價(jià)自動(dòng)駕駛算法最重要的標(biāo)準(zhǔn)就是測(cè)試其是否能夠處理足夠多的場(chǎng)景庫(kù)。通常仿真模

型會(huì)以真實(shí)采集的數(shù)據(jù)、模擬數(shù)據(jù)、以及根據(jù)真實(shí)場(chǎng)景合成的仿真數(shù)據(jù)為數(shù)據(jù)源，對(duì)

場(chǎng)景的幾何形狀、物理運(yùn)動(dòng)規(guī)律、以及場(chǎng)景中各個(gè)元素如車流、行人等符合邏輯規(guī)律，

以實(shí)現(xiàn)更好的仿直效果.

自動(dòng)駕駛仿真平臺(tái)市場(chǎng)競(jìng)爭(zhēng)激烈，促使平臺(tái)仿真性能提升。自駕仿真平臺(tái)布局主體眾

多，可以劃分為科技公司、自駕解決方案商、仿真軟件企業(yè)、車企、高校及科研機(jī)構(gòu)

五大類。科技公司擁有大數(shù)據(jù)優(yōu)勢(shì)，軟件開(kāi)發(fā)經(jīng)驗(yàn)豐富：自駕解決方案商多針對(duì)自研

發(fā)需要，較少對(duì)外提供仿真服務(wù)：不同仿真軟件企業(yè)經(jīng)驗(yàn)積累程度不同，傳統(tǒng)企業(yè)積

累深厚，初創(chuàng)企業(yè)積累薄弱：車企能夠?qū)⒙窚y(cè)和仿真測(cè)試同步結(jié)合，但限于自身軟件

開(kāi)發(fā)能力，多與外部仿真平臺(tái)提供商合作進(jìn)行自動(dòng)駕駛汽車開(kāi)發(fā)；高校及科研機(jī)構(gòu)主

要對(duì)自駕仿真軟件進(jìn)行前瞻、基礎(chǔ)性研究。自駕仿真平臺(tái)參與者眾，市場(chǎng)競(jìng)爭(zhēng)激烈，

具備更快迭代速度、更強(qiáng)仿真能力、更完善服務(wù)支持的仿真平臺(tái)將快速成長(zhǎng)。

DRIVESim：Nvidia自動(dòng)駕駛研發(fā)生態(tài)體系重要一環(huán)。DRIVESim是由英偉達(dá)開(kāi)發(fā)的

端到端仿真平臺(tái)，能夠進(jìn)行大規(guī)模多傳感器仿真。DRIVESim功能強(qiáng)大，能夠提供核

心模擬和渲染引擎，生成逼真的數(shù)據(jù)流，創(chuàng)建各種測(cè)試環(huán)境，模擬暴雨和暴雪等各種

天氣條件，以及不同的路面和地形，還可以模擬白天不同時(shí)間的眩目強(qiáng)光以及晚上有

限的視野，達(dá)到”照片級(jí)逼真且物理精確”的傳感器優(yōu)真。

DRIVESim具有完善的工具鏈支持，融入英偉達(dá)自動(dòng)駕駛開(kāi)發(fā)生態(tài)。DRIVESim可以

在Omniverse云平臺(tái)上運(yùn)行，也可以在OVX服務(wù)器組成的本地?cái)?shù)據(jù)中心甚至單顆

RTX3090上運(yùn)行。DRIVESim具有開(kāi)放式、模組化分特點(diǎn)，擁有良好的可拓展性：

（1）支持神經(jīng)重建引擎（NER）,該AI工具可以將真實(shí)世界的數(shù)據(jù)直接帶入仿真中，

開(kāi)發(fā)者可在仿真環(huán)境中修改場(chǎng)景、添加合成對(duì)象，并應(yīng)用隨機(jī)化技術(shù)，大大增加真實(shí)

感并加快生產(chǎn)速度。（2）使用NVIDIAOmniverseKitSDK,DRIVESim允許開(kāi)發(fā)

人員構(gòu)建自定義模型、3D內(nèi)容和驗(yàn)證工具，或與其他模擬進(jìn)行交互。（3）支持

DRIVEReplicator生成與合成傳感器數(shù)據(jù)對(duì)應(yīng)的真值數(shù)據(jù)，用于訓(xùn)練自動(dòng)駕駛汽車

DNNoDRIVESim已融入英偉達(dá)完整的軟硬協(xié)同生態(tài)，支持從概念到部署的自動(dòng)駕駛

汽車開(kāi)發(fā)及驗(yàn)證。

51Sim-One：本土仿真系統(tǒng)助力中國(guó)自動(dòng)駕駛量產(chǎn)落地。Sim-One是51World全棧

自研的云原生仿真平臺(tái)。（1）場(chǎng)景方面，Sim-One具有豐富的場(chǎng)景生成方式，特別

是能基『語(yǔ)義泛化工具鏈能夠?qū)崿F(xiàn)場(chǎng)景的快速定義：與第三方場(chǎng)景庫(kù)達(dá)成合作，擴(kuò)充

場(chǎng)景數(shù)量，提高仿真測(cè)試質(zhì)量。（2）平臺(tái)方面，Sim-One具有豐富的功能，包括靜

態(tài)和動(dòng)態(tài)數(shù)據(jù)導(dǎo)入、測(cè)試場(chǎng)景案例編輯、各類仿真、測(cè)試與回放、虛擬數(shù)據(jù)集生成以

及各類在環(huán)測(cè)試：Sim-One基于原生云架構(gòu)仿真平臺(tái)，支持大規(guī)模并發(fā)仿真技術(shù)，H

測(cè)試?yán)锍炭蛇_(dá)十萬(wàn)公里。（3）評(píng)價(jià)方面，Sim-One具備豐富的指標(biāo)庫(kù)可供用戶自行

選擇進(jìn)行評(píng)價(jià)，涵蓋安全性、違規(guī)性、舒適性、高效性、經(jīng)濟(jì)能耗性、控制準(zhǔn)確性等

多個(gè)維度，并且支持多場(chǎng)景并發(fā)評(píng)價(jià)。

AI應(yīng)用于仿真系統(tǒng)，能夠有效輔助自動(dòng)駕駛系統(tǒng)升級(jí)。（1）在場(chǎng)景庫(kù)構(gòu)建方面，從傳

感器數(shù)據(jù)中利用AI進(jìn)行自動(dòng)化、大規(guī)模三維重建，構(gòu)建現(xiàn)實(shí)世界對(duì)象和背景的幾何形

狀、外觀和材料屬性；使用大量路采數(shù)據(jù)訓(xùn)練AgentAI,使之模仿道路場(chǎng)景中的主

體，賦予虛擬場(chǎng)景強(qiáng)交互性；利用已有場(chǎng)景庫(kù)與生成式AI,自動(dòng)生成無(wú)需標(biāo)注的各種

交通場(chǎng)景數(shù)據(jù)。（2）在車輛仿真測(cè)試過(guò)程中，使用A］識(shí)別自動(dòng)駕駛系統(tǒng)的弱點(diǎn)，并

自動(dòng)創(chuàng)建對(duì)抗性場(chǎng)景，同時(shí)自駕系統(tǒng)使用AI算法自動(dòng)從錯(cuò)誤中學(xué)習(xí)，自動(dòng)迭代更新，

無(wú)需密集手動(dòng)調(diào)整算法，適應(yīng)更快節(jié)奏、更大規(guī)模的訓(xùn)練。AI能使仿真系統(tǒng)更有針對(duì)

性，使自動(dòng)駕駛算法調(diào)整自動(dòng)化，加速自駕技術(shù)在現(xiàn)實(shí)世界落地。

3、自動(dòng)駕駛算法變革引領(lǐng)產(chǎn)業(yè)鏈變化

3.1、兵馬未動(dòng)糧草先行，云端算力軍備競(jìng)賽開(kāi)啟

對(duì)自動(dòng)駕駛而言，大量的數(shù)據(jù)處理、訓(xùn)練、自動(dòng)標(biāo)注、仿真等工作需要完成，算力成

為車企打造自動(dòng)駕駛能力的核心，決定著車企的算法迭代效率和上限。特斯拉表示其

總算力在2024年將沖列l(wèi)OOEFIops,而國(guó)內(nèi)領(lǐng)先玩家亦不遑多讓，紛紛構(gòu)建自有的

數(shù)據(jù)中心，自動(dòng)駕駛的算力軍備競(jìng)賽從車端蔓延到云端。

3.1.1、特斯拉自研算力平臺(tái)Dojo,2024年沖刺lOOEFIops算力

特斯拉在應(yīng)對(duì)海量訓(xùn)練和仿真需求時(shí)構(gòu)建了龐大的算力體系。據(jù)特斯拉在2021年AI

DAY介紹，特斯拉為了移除自動(dòng)駕駛系統(tǒng)對(duì)毫米波雷達(dá)的依賴，從250萬(wàn)個(gè)視頻剪輯

中生成了超過(guò)100億個(gè)標(biāo)簽，需要龐大的離線神經(jīng)網(wǎng)絡(luò)和引擎。而硬件方面，特斯拉

在2021年AIDAY期間就擁有接近1萬(wàn)塊GPU,2022年AIDAY上這一數(shù)字提升

到1.4萬(wàn)片，其中約50%的負(fù)載用來(lái)實(shí)現(xiàn)云端自動(dòng)標(biāo)注和車載占用網(wǎng)絡(luò)的訓(xùn)練。

自研D1芯片和Doj。超級(jí)計(jì)算機(jī)布局算力。為了進(jìn)一步提升算力水平，2021年起特

斯拉開(kāi)始自研D1人工智能芯片和Dojo超級(jí)計(jì)算機(jī)。將25顆自研的D1芯片封裝成

Dojo訓(xùn)練模塊，再將120個(gè)訓(xùn)練模塊結(jié)合Dojo接口處理器等組件融合形成Doj。主