特斯拉FSD自動(dòng)駕駛方案深度解析

特斯拉FSD架構(gòu)詳解

FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動(dòng)駕駛軟硬件架構(gòu)

FSD架構(gòu)：在數(shù)據(jù)、算法、算力等各個(gè)層面打造了一套包含感知、規(guī)控、執(zhí)行在

內(nèi)的全鏈路自動(dòng)駕駛軟硬件架構(gòu)。規(guī)劃(Planning):本質(zhì)是解決多物體關(guān)聯(lián)路徑

規(guī)劃問(wèn)題，處理自我和所有對(duì)象的行進(jìn)軌跡，指導(dǎo)汽車完成相應(yīng)的執(zhí)行動(dòng)作。神

經(jīng)網(wǎng)絡(luò)(NeuralNetworks):通過(guò)分析視頻流等信息，輸出完整的運(yùn)動(dòng)學(xué)狀態(tài)

(位置/速度/加速度/顛簸)控制車輛。訓(xùn)練數(shù)據(jù)(TrainingData):通過(guò)最新

的4D自動(dòng)標(biāo)注技術(shù)、升級(jí)模擬仿真及云端計(jì)算資源，形成數(shù)據(jù)閉環(huán)。訓(xùn)練基礎(chǔ)

設(shè)施(TrainingInfra)包括CPU、GPU、神經(jīng)網(wǎng)絡(luò)加速器單元(NeuralNetv/ork

Accelerator)、AI編譯器等，其中AI編譯器能夠支持神經(jīng)網(wǎng)絡(luò)所需的新操作,

將它們映射到最佳的底層硬件資源上。AI編譯與推理(AICompiler&

Inference):即如何在計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)。當(dāng)前的推理引擎能夠?qū)蝹€(gè)神經(jīng)

網(wǎng)絡(luò)的執(zhí)行分配到兩個(gè)獨(dú)立的芯片系統(tǒng)上執(zhí)行，可以理解為有兩臺(tái)獨(dú)立的計(jì)算機(jī)

在同一臺(tái)自動(dòng)駕駛計(jì)算機(jī)內(nèi)相互連接。

基于VectorSpace的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)解

具體解次路徑：從一組視覺(jué)測(cè)量開(kāi)始，包括車道、占用率、移動(dòng)物體等(這些都

表現(xiàn)為稀疏的抽象和潛在特征)，感知得到的VectorSpace,通過(guò)Vector

Space規(guī)劃出后續(xù)潛在目標(biāo)狀態(tài)，進(jìn)一步考慮細(xì)分互動(dòng)，得到?jīng)Q策規(guī)劃的路徑。

對(duì)于未知及不確定性(cornercase)的決策----通過(guò)OccupancyNetwork對(duì)

可視區(qū)域進(jìn)行建模用來(lái)處理未知不可見(jiàn)場(chǎng)景。需要根據(jù)這些假想的參與者做相應(yīng)

的保護(hù)性駕駛，將控制反應(yīng)與存在可能性函數(shù)相協(xié)調(diào)，得到非常類似人的行為。

至此，特斯拉FSD最終架構(gòu)浮出水面：首先，通過(guò)視覺(jué)感知網(wǎng)絡(luò)生成三維向量

空間，對(duì)于僅有唯一解的問(wèn)題，可直接生成明確的規(guī)控方案，而對(duì)于有多個(gè)可選

方案的復(fù)雜問(wèn)題，使用向量空間和感知網(wǎng)絡(luò)提取的中間層特征，訓(xùn)練神經(jīng)網(wǎng)絡(luò)規(guī)

劃器,得到軌跡分布。其次，融入成本函數(shù)、人工干預(yù)數(shù)據(jù)或其他仿真模擬數(shù)據(jù)，

獲得最優(yōu)的規(guī)控方案。最終生成轉(zhuǎn)向、加速等控制指令，由執(zhí)行模塊接受控制指

令實(shí)現(xiàn)自動(dòng)駕駛。

HydraNets(九頭蛇網(wǎng)絡(luò))為視覺(jué)感知網(wǎng)絡(luò)的基fit結(jié)構(gòu)

網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)一九頭蛇網(wǎng)絡(luò)(HydraNets)由主干(Backbone)、頸部(Neck))

與多個(gè)分支頭部(Head)共同組成。主干層將原始視頻數(shù)據(jù)通過(guò)殘差神經(jīng)網(wǎng)絡(luò)

(RugNut)及多尺度特征融合結(jié)構(gòu)(BiFPN)完成端到端訓(xùn)練，提取出頸部層的多尺

度視覺(jué)特征空間(multiscalefeatures)，最后在頭部層根據(jù)不同任務(wù)類型完成

子網(wǎng)絡(luò)訓(xùn)練并輸出感知結(jié)果。優(yōu)勢(shì)一：特征共享(FeatureSharing),使用同一

主干網(wǎng)絡(luò)提取特征并共享給頭部使用，可以在測(cè)試階段分?jǐn)傇谲嚿线\(yùn)行的前向

判斷，避免不同任務(wù)之間重復(fù)計(jì)算現(xiàn)象，提升網(wǎng)絡(luò)運(yùn)行效率。優(yōu)勢(shì)二：任務(wù)解

耦(De-CouplesTasks)。不同類型子任務(wù)之間可以進(jìn)行解耦,這樣可以單獨(dú)

處理每一項(xiàng)任務(wù),對(duì)單項(xiàng)任務(wù)的升級(jí)不必驗(yàn)證其他任務(wù)是否正常，升級(jí)成本更

低。優(yōu)勢(shì)三：特征緩存(RepresentationBottleneck)。因?yàn)檫@里存在頸部，

可以將特征緩存到硬盤(pán)，具有較強(qiáng)的擴(kuò)展性。

通過(guò)端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出

Stepl圖像輸入(ImageInput):校準(zhǔn)每個(gè)相機(jī)的圖片，將原始12位RGB圖

像(而非典型的8位)輸送給網(wǎng)絡(luò)。多了4位信息能夠使得動(dòng)態(tài)范圍提升16倍，

同時(shí)減少延遲(無(wú)需在循環(huán)中運(yùn)行圖像信號(hào)處理ISP)。Step2圖像校準(zhǔn)

(Rectify):通過(guò)不同的汽車采集到的數(shù)據(jù)共同構(gòu)建一個(gè)通用感知網(wǎng)絡(luò)架構(gòu)，不

同汽車由于攝像頭安裝外參的差異，可能導(dǎo)致采集的數(shù)據(jù)存在微小偏差，為比特

斯拉在感知框架中加入了一層"虛擬標(biāo)準(zhǔn)相機(jī)(virtualcamera)",引入攝像頭標(biāo)定

外參將每輛車采集到的圖像數(shù)據(jù)通過(guò)去畸變、旋轉(zhuǎn)等方式處理后，統(tǒng)一映射到同

一套虛擬標(biāo)準(zhǔn)攝像頭坐標(biāo)中，從而實(shí)現(xiàn)各攝像頭原始數(shù)據(jù)校準(zhǔn)，消除外參誤差，

確保數(shù)據(jù)一致性，將校準(zhǔn)后的數(shù)據(jù)傳輸給主干神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。Step3特征提

取(ImageFeaturizers):用一組RegNet(特定殘差網(wǎng)絡(luò)，specificclassof

resnets)和BiFPN(加權(quán)雙向特征金字塔網(wǎng)絡(luò))作為提取圖像空間特征的主干。

Step4構(gòu)造空間位置(SpacialAttention):將攝像頭采集到的數(shù)據(jù)通過(guò)［BEV

空間轉(zhuǎn)換層】構(gòu)造一組3D位置，同時(shí)將圖像信息作為鍵(key)值(value),輸入

給一個(gè)注意力模型(核心模塊是【Transformer神經(jīng)網(wǎng)絡(luò)】)。注意力模型的輸

出是高維空間特征，這些高維空間特征與車輛上的里程數(shù)據(jù)進(jìn)行暫時(shí)協(xié)調(diào)，來(lái)推

導(dǎo)出運(yùn)動(dòng).該方案厲害之處在于可以將地面坡度、曲率等幾何形狀的變化情況內(nèi)

化進(jìn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)中。Step5時(shí)間對(duì)齊(TemporalAlignment):上

述高維空間暫時(shí)特征經(jīng)過(guò)一組反卷積,產(chǎn)生最終的占用率和占用率流輸出。它們

生成的是固定尺寸塊的網(wǎng)格,為了提高精度,模型還生成了pervolexfeature

MAP輸入到MLP中，借助3D空間點(diǎn)查詢(query)來(lái)獲取任意點(diǎn)的位置和語(yǔ)

義信息

基于3DOccupancy迭代車道線及障礙物感知模型

早期，將車道檢測(cè)問(wèn)題建模為一個(gè)圖像空間內(nèi)實(shí)時(shí)分割的任務(wù)，只能從幾種不同

的幾何形狀中辨別車道。具體而言，可以分別出當(dāng)前車道、相鄰車道，能特別處

理一些交叉和合并的情況，然后用粗略的地圖數(shù)據(jù)對(duì)其進(jìn)行增強(qiáng)。這種簡(jiǎn)化模型

對(duì)高速這種高度結(jié)構(gòu)化的路是有效的。當(dāng)前，引入MapComponent,使用了

低精度地圖中關(guān)于車道線幾何/拓?fù)潢P(guān)系的信息(車道線數(shù)量/寬度、特殊車道屬

性等)，并將這些信息整合起來(lái)進(jìn)行編碼，與視覺(jué)感知到的特征信息一起生成車

道線(DenseWorldTensor)給到后續(xù)VectorLane模塊。

由2D手工標(biāo)注逐步升級(jí)為4D自動(dòng)標(biāo)注，數(shù)據(jù)閉環(huán)趨于完善

做法：在2D圖像上標(biāo)注出各種物體，具體表現(xiàn)為在單個(gè)物體上繪制出一些多邊

形和折線，用以描繪出邊界框(BoundingBoxes)。缺點(diǎn)：數(shù)據(jù)量很大的情況

下，工作量極大，標(biāo)注效率低。

含義：在三維或四維空訶中，為不同的時(shí)間點(diǎn)和空間位置賦予獨(dú)特的標(biāo)簽或標(biāo)識(shí)

符。做法：直接在向量空間中進(jìn)行標(biāo)注，將其投影到相機(jī)圖像中。優(yōu)點(diǎn)：能夠

支持大量數(shù)據(jù)標(biāo)注；由于只需要在空間中標(biāo)注一次，然后自動(dòng)投影，標(biāo)注效率大

幅提升。

如何進(jìn)行仿真模擬？一一五大步驟

Step1準(zhǔn)確的傳感器仿真(AccurateSensorSimulation):由于FSD的感知系

統(tǒng)是基于純攝像頭，因此需要對(duì)攝像頭的各種屬性進(jìn)行軟硬件建模，如傳感器噪

聲、曝光時(shí)間、光圈大小、運(yùn)動(dòng)模糊、光學(xué)畸變等。Step2逼真的視覺(jué)渲染

(PhotorealisticRendering):為了更真實(shí)的模擬現(xiàn)實(shí)世界場(chǎng)景，需要仿真渲

染盡可能做到逼真。特斯拉利用神經(jīng)網(wǎng)絡(luò)視覺(jué)技術(shù)提升視覺(jué)渲染效果，同時(shí)用光

線追蹤的方法模擬逼真的光照效果。Step3多元化的交通參與者與地理位置

(DiverseActors&Locations):為了避免仿真環(huán)境過(guò)于單一，導(dǎo)致感知系統(tǒng)

過(guò)擬合的問(wèn)題，特斯拉對(duì)仿真環(huán)境參與物進(jìn)行了充分建模，包括多元化的交通參

與者和靜態(tài)物體。

Step4大規(guī)模場(chǎng)景生成(ScalableSensorGeneration):由計(jì)算機(jī)通過(guò)調(diào)整參

數(shù)生成不同的場(chǎng)景形態(tài)。同時(shí)由于大量的仿真場(chǎng)景可能是的無(wú)用的，為了避免浪

費(fèi)計(jì)算資源，引入MLB等神經(jīng)網(wǎng)絡(luò)尋找故障點(diǎn)，重點(diǎn)圍繞故障點(diǎn)進(jìn)行仿真數(shù)據(jù)創(chuàng)

建，反哺實(shí)際規(guī)劃網(wǎng)絡(luò)，形成閉環(huán)。Step5場(chǎng)景重現(xiàn)(SensorRecontruction):

在完成真實(shí)世界片段的自動(dòng)標(biāo)注重建后，疊加視覺(jué)圖像信息，生成與真實(shí)世界"攣

生”的虛擬世界，復(fù)現(xiàn)真實(shí)世界中FSD失敗的場(chǎng)景，實(shí)現(xiàn)在仿真環(huán)境下的優(yōu)化迭

代后再反哺汽車算法模型，實(shí)現(xiàn)"數(shù)據(jù)閉環(huán)二

FSDV12展望

FSDV12或?qū)⑼耆D(zhuǎn)向端到端自動(dòng)駕駛技術(shù)方案

23年8月26日，特斯拉CEO馬斯克開(kāi)啟了一場(chǎng)路測(cè)特斯拉FSDV12的直播。

直播全程45分鐘，馬斯克只有一次駕駛干預(yù)，這發(fā)生在一個(gè)繁忙的十字路口，

馬斯克所駕駛的特斯拉試圖闖紅燈，他立即控制了車輛。直播中儀表盤(pán)中的實(shí)時(shí)

道路場(chǎng)景可以看出，V12保留了當(dāng)前FSD輸出的感知結(jié)果。以UniAD為例，

利用多組query實(shí)現(xiàn)了全棧Transformer的端到端模型。圖中UniAD由2個(gè)

感知模塊，2個(gè)預(yù)測(cè)模塊以及一個(gè)規(guī)劃模塊組成。其中感知和預(yù)測(cè)模塊是通過(guò)

Transformer架構(gòu)進(jìn)行預(yù)測(cè)，每個(gè)模塊輸出的特征會(huì)傳遞到之后的模塊來(lái)輔助下

游任務(wù)，這樣的模型結(jié)構(gòu)實(shí)現(xiàn)了端到端可導(dǎo)，顯著提升了模型的可解釋性。

端到端方案中神經(jīng)網(wǎng)絡(luò)是關(guān)鍵，有望實(shí)現(xiàn)全局最優(yōu)解

原理：與模塊化方案相比，端到端自動(dòng)駕駛方案將感知、規(guī)劃、控制各環(huán)節(jié)一體

化，去除了各模塊基于規(guī)則的代碼,將傳感器收集到的信息直接輸入神經(jīng)網(wǎng)絡(luò)，

經(jīng)過(guò)處理后能夠直接輸出自動(dòng)駕駛指令，使得整個(gè)系統(tǒng)端到端可導(dǎo)。優(yōu)點(diǎn)：能夠

降低對(duì)激光雷達(dá)、高精地圖、人工的依賴，減少中間環(huán)節(jié)的成本；模型上限高，

可以得到近似全局最優(yōu)解。缺點(diǎn)：模型能力起步較慢，解釋簡(jiǎn)單場(chǎng)景不如模塊化

架構(gòu)，模型下限低；中間"黑盒"解釋性差。

感知端率先落地，BEV本質(zhì)上是一種端到端感知解決方案

傳統(tǒng)感知模型：2D圖像被輸入感知模塊以生成2D結(jié)果，然后利用傳感器融合對(duì)

多個(gè)攝像機(jī)的2D結(jié)果進(jìn)行推理，并將其提升為3D。生成的3D對(duì)象隨后被發(fā)

送到下游組件，例如預(yù)測(cè)和規(guī)劃。BEV感知：應(yīng)用鳥(niǎo)瞰圖感知模型能夠直接在

BEV空間中感知環(huán)境，其感知堆棧將兩個(gè)獨(dú)立的組件組合成一個(gè)解決方案，本質(zhì)

上就是一種端到端的感知解決方案。當(dāng)前應(yīng)用端到端感知模型的典型企業(yè)為特斯

拉和小鵬。特斯拉率先引入BEV+transformer;小鵬2021年初開(kāi)始試驗(yàn)XNet

深度視覺(jué)神經(jīng)網(wǎng)絡(luò)，是國(guó)內(nèi)首個(gè)且唯一量產(chǎn)的BEV感知。

報(bào)告節(jié)選：

01概要

二.行業(yè)拒告陰見(jiàn)泥

■I.——，g，舟?■??一~c.~(*??■,

IABSTRACT概要軟~

FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動(dòng)駕駛軟硬件架構(gòu)

Planning

現(xiàn)劃一我該怎么走

Occupancy

—現(xiàn)什么？如何分布

蜘NeuralNetworicsBAR

一■為什么要這么走

Lanes&Objects

-一周圈的物體下一名去賽里

TrainingData

—這么走是正逢的瑪

AutoLabelingSimulationDataEngine

―數(shù)據(jù)標(biāo)注一仿U模擬一數(shù)據(jù)引擎

TrainingInfraAlCompiler&Inference

硬件平臺(tái)打硬耦合

—拿什么運(yùn)算-0-TO何在計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)

*JI.TESiA2022AJ<Uy,,O3ug二一行西".告陰先院

■■■■,?.11■4in——axg**>?一M.一~=7-ySaM

02特斯拉FSD架構(gòu)詳解

匯二行上兌，告訴究泥

----------------------------------------------------------1.■,/一――<l4>C?dC."*?**..--?-

!v2iVIBIiEW

IFSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動(dòng)駕駛軟硬件架構(gòu)a一一

■FSD架構(gòu):SfitS.算法、算力等各個(gè)H面打造了一套包含感知、授控、執(zhí)行在內(nèi)的全色28自動(dòng)國(guó)峽款硬性架構(gòu)

＞規(guī)劃(Planning):本質(zhì)出1決多物體關(guān)以路徑I｛瀏間IS.處里自我IC所有有象的行進(jìn)機(jī)跡,瘠導(dǎo)汽車完成相應(yīng)的執(zhí)行動(dòng)作

，tmm(NeuralNetworks):通過(guò)分析做流等信息,喻出越的運(yùn)動(dòng)學(xué)狀態(tài)(位?/3廈/&!速陵/NI.)按制車輛

，WIWRW(TrainingData):通過(guò)■新的4。自動(dòng)標(biāo)注》術(shù).升般畏抑仿■及云洗計(jì)黃羽海，形成數(shù)據(jù)閉環(huán)

,UHiSSttifitt(TrainingInfra):SJSCPU,GPU.喇(2網(wǎng)絡(luò)加速Hm元(NcwolNetworkAccelerator).AMS閑B等，值中AMS逐fiSHE懦

支持神百絡(luò)所需的新搠乍,將它們映射到最佳的客居硬件資Alt

“AUfi逢與旭hAlCompiler&Inference):卻如何在計(jì)11機(jī)上近行裨經(jīng)硼8.當(dāng)附的推理引擎施林樁單個(gè)肄及網(wǎng)絡(luò)的執(zhí)行￡配封的個(gè)技立的芯

片系統(tǒng)上執(zhí)行,可以理解價(jià)酒臺(tái)獨(dú)立的討算機(jī)在同一國(guó)自動(dòng)與就計(jì)貨機(jī)內(nèi)相互連攝

C/二一：'：”.

n-w

t

Vn0atKfvwwtt

'H一二-j-:一

t

iwwniCWB

,AflftoUMugSmsWUMDMA|

即叩：TESLA2022Alday,youluZ.AWR研

5

自動(dòng)駕駛規(guī)劃(Planning)

2.1一我該怎么走？

二一行也強(qiáng)省陰為泥

比制聞?wù)桃脖罄?EU4；F6

|基于VectorSpace的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)自回

，。體解決路日:從一組挽姓M■開(kāi)始.蝮車道、占用率、輅動(dòng)物體等(這些整駛現(xiàn)，決策倒生成

為稱斑的油象和滑在椅征),感知將到的VectorSpace,通過(guò)VectorSpec流劃出?IR初用經(jīng)典的優(yōu)化方法來(lái)g律現(xiàn)圮路徑.

后續(xù)潛在目除狀態(tài),迸f考慮細(xì)分互動(dòng)，得到?jīng)Q策規(guī)劃的跆徑

mmsM4nai.*)fnRwi-

5msM時(shí)間

?超削立了回MB可童詢R皓.

【Tesla車隊(duì)中人類行幽飛笠數(shù)據(jù)】

4WVS【魂陽(yáng)訶約束的閽線;V:下系統(tǒng)規(guī)

劃的金?時(shí)路徑］,麗不斷進(jìn)行時(shí)

比小隊(duì)能夠在lOOus內(nèi)4成一人侯選

T??云?飛-It*

X修順路徑

；：：：、&t"QCtwe

:t,?濃tblx>

4AT?4V”-決策宙剪校/評(píng)分

笊令人9。

?「：:」

溪領(lǐng)》6硼儂合,畫(huà)他

紂@戊分新lAA^et?r?tR個(gè)方法進(jìn)行俵選器往淬牯［誠(chéng)

03-9Y7■“**>7”明枝

.TULA2022M(teyycututwflNfflmMIZ行龍近告5.

w?**???

8

MSB

基于VectorSpace的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)解??■????■?■?

□對(duì)于未JE及不埠定性(cornercase)的決策——遇過(guò)至此,衿幡拉FSD收接般構(gòu)浮出水面：

OccupancyNetwork對(duì)可檢區(qū)域進(jìn)例睢用來(lái)處理未知■先，通醴城《知網(wǎng)絡(luò)生成三?向■空間，對(duì)于僅m-耐問(wèn)?,可■勝

不可見(jiàn)場(chǎng)景成明確的雙控方案,而對(duì)于為多個(gè)可選方家的■雜問(wèn)出，使可向■空間和感颯

?1mm4MoffifiMUPttim,mm培耀取的中間層特征，訓(xùn)攜神經(jīng)網(wǎng)絡(luò)規(guī)劃H，灣為軌法分布

反應(yīng)與存在可幅謂數(shù)科分源.將到非常類似人的行為具次.收入成本的數(shù).人工干預(yù)由《或其他仿U模擬致密.決附加的規(guī)控方靠

?理生躁向、加速等控制指臺(tái)，由執(zhí)行橫埃接受控制指合,現(xiàn)自動(dòng)駕裝

TESLA和22Ald?y,ygiuW.■呷5WM

神經(jīng)網(wǎng)絡(luò)(NeuralNetworks)

2.2為什么要這么走?

;行業(yè)強(qiáng)為陰見(jiàn)泥

i—?“—CV1OA■?*v*7*■??

一邦!2劣

占用網(wǎng)絡(luò)(OccupancyNetwcrk)

我周圍有什么？如何分布

-：,行業(yè)拒告陰無(wú)泥

升級(jí)至Occupancy能夠有效優(yōu)化障礙物識(shí)別問(wèn)題

Wert

ge-fnu43mw^.g

WM”Ruerml?lcap*“i|w

FwJRecungiesvtWvmei

rcorrvjM^

e血ztg

tnxk

gWAP1INKAUTONCWOUSBR,.臨研究所行業(yè)能告胡允沅

■舒明MUEUJS初I,.工也y

jHydraNets(九頭蛇網(wǎng)絡(luò))為視覺(jué)感知網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)胃~

網(wǎng)絡(luò)基踐結(jié)構(gòu)一九頭蛇網(wǎng)絡(luò)(Hydra、et$)由主干

(Backbone).?B(Necl<))MS4分支頭都

(Head)其同切以主干層將肥B班如8通過(guò)理總神

經(jīng)對(duì)京RegNH雙多尺9用征收合組K&FPN浣成就

雕忖㈱,H取出頸部百多尺展發(fā)笠得征空間(multi-

walefeatures),?后在頭部層根據(jù)下網(wǎng)任務(wù)類一

成子鋼絡(luò)說(shuō)施并帕出感知結(jié)梟

優(yōu)劣一：18W^?(Fe*tureSharirrnj)使用網(wǎng)一生干

網(wǎng)絡(luò)例取1輒并共享培頭部便用，可$謝試前線分!|

在車上運(yùn)行的前向判昕..訪小ZMXitlUBB

象,防碘運(yùn)欣事

優(yōu)丹二：任務(wù)XIX(DeCouplesTas(s).不牌類武

于任務(wù)之強(qiáng)可以送行H耀，這擇可以Q--項(xiàng)任

務(wù),對(duì)收頁(yè)任務(wù)的升鍛不必驗(yàn)證K妁“為是西正謝，升

檢入原始數(shù)據(jù).*￡?本更低

通過(guò)backbone優(yōu)為三：的緣存(RepresentationBottleneck).

進(jìn)行特征提取因?yàn)檫@里存碎i郎，可以痔椅1迎|存至理食，具有酸煽

的于晨怪

責(zé)F儲(chǔ)R：T6SLA2021Alday.youtube.部細(xì)的A3上行業(yè)報(bào)告陰覺(jué)院

I通過(guò)端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出胃55眄

口S8p1MM入《ImageInput);校制個(gè)相機(jī)的■片,將*12過(guò)取涮M(而等典型的維)臉加期6?多了4位皿窿使，

動(dòng)態(tài)范圖握升1*8,同時(shí)延源退(無(wú)需在循環(huán)中運(yùn)行窗像信號(hào)處凰SP)

□Step2BB像校準(zhǔn)(Rectify):通過(guò)不向的汽車采集到的數(shù)明共同構(gòu)建一通用感知阿絳黎梅，不同汽車由于8S◎頭安裝外i?的是異，可

髭領(lǐng)I采堂的敬據(jù)存在寅小電6.為此特班拉在魅知修架中1QA了一層?颯標(biāo)準(zhǔn)相機(jī)(virtudcamera)",引入圖像頭標(biāo)定的將的銬車

采集到的3E像初8通過(guò)去豌交、卷外等方式處理后.皖一茨射到同一重虛擬標(biāo)謝像頭坐標(biāo)中,從而實(shí)現(xiàn)各輯像頭飄的數(shù)據(jù)交灌,消除外

“淇&,強(qiáng)保COSTS飪,畤歌漉忌的效，0超主干部紇網(wǎng)絡(luò)進(jìn)行就的

□Step3將征提取(ImageFeaturizers):用一組RegNet(特定殘裝網(wǎng)絡(luò),specificclassofresnets)和BiFPN(詞權(quán)雙司特征金字塔

網(wǎng)絡(luò))作為攝取圖像空間特怔的主干

S?:⑻3snwnMS用0PWSW

燙八來(lái)》TESLA2021AIday.youZb..■呻的二行龍拒告陰死沅

I通過(guò)端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出■邨江—寺??

□Step4構(gòu)造空獻(xiàn)”1(SpacedAttention):將圖像頭采集胤的散堀通過(guò)【BEV空期弱海】構(gòu)造電3M■.悶時(shí)將冰陵信息作為

Q(key)值(value).%入洽一個(gè)注電力橫生(核心鎮(zhèn)塊也【Transformer燧對(duì)箔)).注意力橫型的輸出是高雄空向精征，X些高堆空

間特征與車幫上的般秘?cái)?shù)據(jù)法行事時(shí)砂閑，來(lái)推導(dǎo)出運(yùn)動(dòng).該方案厲在于可以桁城而坡度、的軍號(hào)幾何膨狀的變化情況口化進(jìn)神蛀

網(wǎng)絡(luò)的機(jī):填口故中

□Step5m?n(TemporalAlignment):上述松I空⑻也時(shí)桁征經(jīng)過(guò)一指反卷聯(lián)，產(chǎn)生■終的占用積0占用軍藻輸出,刁們生成的

是31定尺寸塊的用恪,為7姐精度，模里還生成了pervolexfeatureMAP輸入到Ml阱,借的3D空間點(diǎn)景潸(quety)來(lái)支取任意點(diǎn)

的色■和語(yǔ)義信息

:8EV?Tr?nsfomie

TESLA2021AJ”號(hào).ywwbe,03的案謀”?任公2021AlSy.

.wA4c-i"~17—4—

扁窮3H正義海的也日，?3砌＞一16

?那II另

車道線及障礙物感知(Lanes&Cbjects)

2.2.2周圍的物體下一步去往哪里？

二一.行衛(wèi)拒告的為泥

展%1圖8.11X2六0-B&JWF

基于3DOccupancy迭代車道線及障礙物:知模型

□早期.將車道梏賽同這1*橫為一個(gè)國(guó)像空間內(nèi)實(shí)時(shí)分初的任覺(jué),只能從幾阱不同的幾何形狀中帆車遒.具體而IL可以

分別出當(dāng)前車源相鄰車道，隱特別處理一和合并的情況，然后用粗路的地a瞰察對(duì)其進(jìn)行增濕這種閽圖理對(duì)

高速這種高度結(jié)構(gòu)化的跑是有效的

□當(dāng)?shù)?引入MapComponent,使用渡地圖中關(guān)于車道線幾何力5撲關(guān)系的值患(車遍線知/寬度.將限三iM性

等),并將這些旗!整合起來(lái)進(jìn)行編碼,與颯蜘利的桁征信患一起生成年雌(Dens。WorldTensor)蛤*后續(xù)

VectorLane?Q^

型囊：車!1則to*蛔!g

告所允院

問(wèn)題一：如何預(yù)測(cè)車道？

KILA2O?AJdayyoutubw.行業(yè)強(qiáng)匍形涉

???—~**?><*-7-r??**■?

時(shí)hems義2后的19

I問(wèn)題二：如何預(yù)測(cè)道路上其他對(duì)象的未來(lái)行為胃--

□頻器所壽猊體的屬性,在實(shí)行系維上造成了

TM體MM??讓SMtUe分實(shí)

理“率Ai大化.自動(dòng)“城才場(chǎng)變化的環(huán)境

做出快速反應(yīng).?7S?D延遲,崢紋坷

勢(shì)幡分為兩個(gè)船輪：

?#T酸，曲定時(shí)能在3D3間中的位■

?Mmm,在曲3Mz?即瞰量,觀眸

WU的聯(lián)外敏卿0T其他JH?

O這個(gè)規(guī)也步驟使蹲澗及阿格學(xué)注于計(jì)??關(guān)

mstt.1帆聞財(cái)賽I幽成本聯(lián)用優(yōu)

方峰》：副的防工.行業(yè)布告胡見(jiàn)品

TESLA2022AJtk?y.youtube,?■????.?*?>******、-<一.?■■■

MW0Aai￡X2?mia*BOyA?ia?.20

訓(xùn)練數(shù)據(jù)(TrainingData)

——為什么這么走是正確的？

二一行也摳告的孔沅

，——CMC.—'M--^■?am*

"9mLi

號(hào)，■為12男

2.3.1自動(dòng)數(shù)據(jù)標(biāo)注(AutoLabeling)

j由2D手工標(biāo)注逐步升級(jí)為4D自動(dòng)標(biāo)注，數(shù)據(jù)閉環(huán)趨于完善胃--

[外包第三方進(jìn)行敷據(jù)標(biāo)注I:如超io。。人團(tuán)隊(duì)送行手工標(biāo)注[自a南注

BHL:麗自,主

期根源:TESLA2021Alday.youtube.的