面向無人機自主飛行深度加強學(xué)習(xí)算法的研究與實現(xiàn)目錄選題背景(來源、目的和意義)1相關(guān)研究2研究內(nèi)容(創(chuàng)新點、難點和預(yù)期目標(biāo))3研究方案(平臺、模型和算法)4進度安排5

無人飛行器(UnmannedAerialVehicle,UAV)是指有動力、可控制、能攜帶多種任務(wù)設(shè)備、執(zhí)行多種任務(wù),且能重復(fù)使用的無人駕駛飛行器,很多人也把這種飛行器稱為無人機。它的發(fā)展己有一百多年的歷史,早期主要應(yīng)用在軍事領(lǐng)域。

進入21世紀后,無人機向著小型化、造價低、使用方便、飛行時間長和便于隱蔽等方向發(fā)展,而且無人機己經(jīng)發(fā)展成為武器裝備中的最大亮點,因此世界各個國家都在大力開發(fā)各種用途的無人飛行器。

近些年來,隨著計算機與控制技術(shù)的高速發(fā)展,無人機在民用方面也有了廣泛的應(yīng)用。課題來源”

另外無人機還可用于科學(xué)考察、公路勘測、生態(tài)環(huán)保、森林防火、精準農(nóng)業(yè)、災(zāi)況評估、氣象探測、電力線路巡查、公路和城市交通的空中巡查、核能、減害、消防與地質(zhì)等各個領(lǐng)域,因此，無人機的民用市場前景也非常廣闊,必定會產(chǎn)生巨大的經(jīng)濟效益。CONTINUE森林防火精準農(nóng)業(yè)城市交通巡查選題的目的與意義

無人直升機的自動飛行控制器研究包括硬件系統(tǒng)開發(fā)與自動控制算法設(shè)計,硬件系統(tǒng)包括傳感器數(shù)據(jù)采集模塊與控制器輸出驅(qū)動模塊等,這些硬件平臺都是服務(wù)于自動控制算法;而自動飛行控制算法的性能在很大程度上決定著無人直升機自主飛行的效果與飛行任務(wù)的完成質(zhì)量,因此研究自動飛行控制算法具有十分重要的應(yīng)用價值?！薄啊痘谀：窠?jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)及其在機器人導(dǎo)航中的應(yīng)用》作者：段勇，徐心和構(gòu)成的系統(tǒng)：模糊神經(jīng)網(wǎng)絡(luò)與強化學(xué)習(xí)理論相結(jié)合解決的導(dǎo)航問題：一種是避障且接近目標(biāo)行為；第二種機器人的沿墻走行為是指機器人能以一定的距離沿著墻壁前進，在運動過程中既不發(fā)生碰壁，也不遠離墻壁。通過兩種行為控制器的相互切換，能使機器人成功地完成復(fù)雜環(huán)境的導(dǎo)航任務(wù)《基于生物啟發(fā)模型的AUV三維自主路徑規(guī)劃與安全避障算法》作者：朱大奇，孫兵，李利平臺：水下機器人算法：基于生物啟發(fā)模型的三維路徑規(guī)劃和安全避障算法。建立三維生物啟發(fā)神經(jīng)網(wǎng)絡(luò)模型，利用此模型表示AUV的三維工作環(huán)境，神經(jīng)網(wǎng)絡(luò)中的每一個神經(jīng)元與柵格地圖中的位置單元一一對應(yīng)，然后，根據(jù)神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的活性輸出值分布情況自主規(guī)劃AUV的運動路徑。并進行了靜態(tài)和動態(tài)仿真均達到要求。相關(guān)研究”“《GeometricReinforcementLearningforPathPlanningofUAVs》作者：張寶昌，毛志林，劉萬全，劉建壯算法：幾何強化學(xué)習(xí)算法。（1）它利用一種特殊的報酬矩陣，能夠簡單有效的運用到無人機群的路徑規(guī)劃，在該區(qū)域中被選中的候選點是從當(dāng)前點到目標(biāo)點的幾何路徑。（2）計算的收斂獎勵矩陣理論證明，路徑的長度和風(fēng)險度量可以計算。（3）在幾何強化算法中，獎勵矩陣是基于幾何距離和自適應(yīng)更新風(fēng)險信息并與其他無人機共享。CONTINUE《Multi-AgentPathPlanningforUnmannedAerialVehicleBasedonThreatsAnalysis》作者：LEIGang,DONGMin-zhou,XUTao,WANGLiang算法：Q學(xué)習(xí)算法。文中將傳統(tǒng)的Q學(xué)習(xí)算法調(diào)整為動態(tài)強化學(xué)習(xí)算法通過引入當(dāng)前的值和回報紅利的探索。用全球視野考慮路徑長度約束和信息收集器代理處理區(qū)域的路徑規(guī)劃的威脅來搜索路徑。提出了基于得分函數(shù)分析威脅的屬性并指出路徑規(guī)劃過程是多主體合作動態(tài)和非平穩(wěn)環(huán)境。CONTINUE

瑞士聯(lián)邦研究所的一組研究員目前正在研究開發(fā)一種可獨立運作的無人機，使用的是三維地圖避障技術(shù)，能夠?qū)崿F(xiàn)自主導(dǎo)航。這一研究小組將地圖測繪與數(shù)據(jù)傳感技術(shù)相結(jié)合，制造出了世界上第一例自動化無人機。該無人機已于2015年進行過測試，有關(guān)該新系統(tǒng)的報告曾在國際智能機器與系統(tǒng)大會上進行過演示。他們下一步的計劃是讓這套系統(tǒng)更為成熟，這樣無人機就能更好地監(jiān)測到運動中與靜止的所有事物，從而避免在飛行過程中與地圖上未標(biāo)明的對象(如鳥、其他設(shè)備或路人)發(fā)生碰撞事故。

2015年12月11日，中國百度“無人車”成功完成道路測試，標(biāo)志著國內(nèi)無人駕駛（無人機）技術(shù)取得突破性進展。

CONTINUE三維地圖實現(xiàn)避障創(chuàng)新點1.適用于無人機自主飛行的深度增強算法（控制）2.適用于城市交通干道動態(tài)飛行路徑規(guī)劃（應(yīng)用）3.環(huán)境自適應(yīng)的飛行決策”“1.使用加強學(xué)習(xí)算法去找到一個能使運行結(jié)果的模型和報酬函數(shù)達到最優(yōu)的學(xué)習(xí)機。2.在學(xué)習(xí)機中，要在所有特性中正確的衡量“好”然后給權(quán)值獎勵。3.對于那些突然改變動作的處罰，要找到一個合適的算法來懲罰。難點”“1.能夠把傳感器上的信息和拍攝的圖片傳送到服務(wù)器上顯示；2.無人機組之間能夠?qū)崿F(xiàn)信息交換；3.實現(xiàn)無遙控自動飛行。性能評估即預(yù)期目標(biāo)”“搭建的平臺所需元器件：arduino和二氧化碳傳感器，PM2.5傳感器和4g通訊模塊，藍牙模塊，大疆公司提供的無人機Matrice100andGuidance.”“Q-Learning算法

觀察生物(特別是人)為適應(yīng)環(huán)境的學(xué)習(xí)過程可以發(fā)現(xiàn)它有兩個特點，一是人從來不是靜止地被動等待而是主動對環(huán)境作試探,二是從環(huán)境對試探動作產(chǎn)生的反饋信號看,多數(shù)情況下是評價性(獎或罰)的，而不是象監(jiān)督學(xué)習(xí)那樣給出正確答案。生物在行動—評價的環(huán)境中獲得知識,從而改進行動方案以適應(yīng)環(huán)境，達到預(yù)定的目的。具有上述特點的學(xué)習(xí)就是強化學(xué)習(xí)(ReinforcementLearning,或稱再勵學(xué)習(xí)，加強學(xué)習(xí)，簡記為RL)，把具有學(xué)習(xí)能力的系統(tǒng)稱之為學(xué)習(xí)機或Agent。強化學(xué)習(xí)的主要算法為Q-learning和自適應(yīng)啟發(fā)AHC(AdaptiveHeuristicCritic)算法?！薄癚-Learning算法

適設(shè)環(huán)境是一個有限狀態(tài)的離散馬爾科夫過程，Agent每步可在有限動作集合中選取并執(zhí)行某一動作，環(huán)境接受該動作后狀態(tài)發(fā)生轉(zhuǎn)移，同時給出評價r。例如，在時刻t選擇動作at，環(huán)境由狀態(tài)st轉(zhuǎn)移到st+1，給出評價rt，rt及st+1的概率分布取決于a及st。基于Q-learning離散動作的強化學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)如下圖所示?！薄癚-Learning算法

對于標(biāo)準Q-learning，Q單元實質(zhì)上是一張狀態(tài)-動作的二維表格,表格的內(nèi)容為Q(si,aj),其中，si∈S(狀態(tài)空間)，aj∈A(動作集)。標(biāo)準Q-learning中，Agent的經(jīng)歷包括一系列不同的階段，在單個階段，其學(xué)習(xí)步驟如下：(1)觀察現(xiàn)在的狀態(tài)st；(2)選擇并執(zhí)行一個動作at；(3)觀察下一個狀態(tài)st+1；(4)收到一個立即強化信號rt；(5)調(diào)整Q值?！薄癚-Learning算法

這里采用向前網(wǎng)絡(luò)實現(xiàn)Q-learning。網(wǎng)絡(luò)的輸入節(jié)點個數(shù)取決于傳感器的個數(shù)；網(wǎng)絡(luò)輸出節(jié)點決定產(chǎn)生的動作.每次學(xué)習(xí)時,隨機動作選擇器根據(jù)Borlzman分布隨機選取一個動作,被選擇的動作對應(yīng)的誤差為”“

γ為折扣因子,s為當(dāng)前狀態(tài)。前執(zhí)行的動作的效果由強化信號反映,如果r為正獎勵,則對應(yīng)的Q(s,ai)應(yīng)向1逼近(修正誤差正),?Q的調(diào)整的幅度與r成正比；反之，Q(s,ai)應(yīng)向0逼近(修正誤差為負),它的調(diào)整的幅度與r成正比，x值確定的思想如下:考慮到動作之間存在共性的動作之間存在對立性,因此，可以在每一次增加所調(diào)整Q值個數(shù)，對于共性的兩個動作，同方向調(diào)整，其中被選擇的動作的調(diào)整大一些。反之亦然，然后根據(jù)梯度法對網(wǎng)絡(luò)權(quán)值進行調(diào)整。進度安排

第一階段：2015.10-2015.12根據(jù)本人的研究方向及興趣，有針對性的收集資料、閱讀文獻，初步形成自己的想法，撰寫開題報告。第二階段：2015.12-2016.5搭建arduino傳感器平臺，能夠把所測數(shù)據(jù)通過4G網(wǎng)絡(luò)傳輸?shù)降孛?。學(xué)習(xí)無人機的控制算法-加