1、Learning a Driving SimulatorGeo Hot摘要摘要Comma.ai的方法：VAE(變分自動編碼器) + GAN(生成式對抗網(wǎng)絡(luò)) 核心思想：根據(jù)提供的訓(xùn)練數(shù)據(jù)，給定當(dāng)前的狀態(tài)，預(yù)測和模擬訓(xùn)練數(shù)據(jù)中司機的行為分段學(xué)習(xí)函數(shù)F，以便能分塊對其進(jìn)行debug調(diào)試。實驗過程實驗過程駕駛模擬器（駕駛模擬器（Driving simulator）不不編碼器降維 轉(zhuǎn)換模型（轉(zhuǎn)換模型（transition model）RNN:遞歸神經(jīng)網(wǎng)絡(luò)即輸出再作為輸入，不斷訓(xùn)練提高優(yōu)化測試結(jié)果測試結(jié)果A圖GAN網(wǎng)絡(luò)，B圖使用MSE神經(jīng)網(wǎng)絡(luò)只能在直道上檢測，無法應(yīng)用于彎道上。調(diào)整代價函數(shù)。GAN在學(xué)習(xí)

2、繪制彎道標(biāo)示線的速度慢。學(xué)習(xí)帶有汽車轉(zhuǎn)向角信息的像素進(jìn)行編碼。感想與總結(jié)感想與總結(jié)1、自動駕駛技術(shù)可以劃分為兩類：1）一種是感知-決策-控制然后不斷閉環(huán)，每個模塊用不同的方法力爭最好，很多情況下需要專家提供基于經(jīng)驗的規(guī)則。2）是 Geo Hot 正在采用的辦法，叫做End-to-End，端到端方法，指以攝像頭的原始圖像作為輸入，直接輸出車輛的速度和方向，中間用某種數(shù)學(xué)模型來擬合逼近最優(yōu)駕駛策略，目前常用的就是深度學(xué)習(xí)模型。2、目前深度學(xué)習(xí)用于自動駕駛可以大概分為兩類：1）是收集駕駛數(shù)據(jù)，離線訓(xùn)練模型，不斷逼近人類駕駛員；2）是在模擬器中，利用Q函數(shù)，不斷自我決策和試錯來提高駕駛技術(shù)。由于真正圖片的復(fù)雜以及輸出命令的連續(xù)性，使得現(xiàn)實世界中能夠得到好結(jié)果比較困難，所以我們目前見到的很多都是在模擬器中嘗試。代碼及復(fù)現(xiàn)過程：http:/ learning這里也存有疑問。這樣任務(wù)無關(guān)的學(xué)習(xí)方式雖然讓可以利用數(shù)據(jù)量大大上升，但是很可能會損失一些對駕駛決策很有幫助的細(xì)節(jié)特征。3、最后一點，由于VAE本身的限制，輸入圖像大小被限制在了16080這樣非常低的分辨率上，這使得一些小物體變得難以辨認(rèn)，會對整個系統(tǒng)的正確性和穩(wěn)定性造成影響。綜上三點考慮，