國家級虛擬仿真實驗教學(xué)一流本科課程《無人機(jī)集群技術(shù)》第七章

無人機(jī)集群協(xié)同搜索目錄7.1無人機(jī)集群協(xié)同搜索任務(wù)7.2無人機(jī)集群協(xié)同搜索任務(wù)描述7.3無人機(jī)集群協(xié)同搜索控制架構(gòu)7.4無人機(jī)集群協(xié)同搜索算法7.5本章小結(jié)無人機(jī)集群協(xié)同搜索任務(wù)7.1協(xié)同搜索概述提出背景：實際環(huán)境的復(fù)雜性和多樣性使得單無人機(jī)無法在短時間內(nèi)完成協(xié)同搜索任務(wù)；單無人機(jī)容易受到不確定因素的干擾，如突發(fā)故障，被敵軍擊落等導(dǎo)致任務(wù)失敗，而重新派出無人機(jī)則會延誤軍情；基于多目標(biāo)搜索的場景，單無人機(jī)的搜查效率和情報回傳效率較低；單無人機(jī)獲取信息有限，容易陷入局部最優(yōu)解；無人機(jī)集群協(xié)同搜索：無人機(jī)通過集群方式對協(xié)同目標(biāo)進(jìn)行搜索決策，建立起對環(huán)境與目標(biāo)的認(rèn)知，從而快速、全面地獲取信息。47.1協(xié)同搜索概述分布式協(xié)同方式多目標(biāo)搜索決策與規(guī)劃問題：區(qū)域覆蓋目標(biāo)監(jiān)視協(xié)同搜索障礙物規(guī)避無人機(jī)集群協(xié)同搜索示意圖57.1協(xié)同搜索目標(biāo)分類靜止目標(biāo)在區(qū)域中位置相對固定，不會隨著時間發(fā)生改變?？煞譃閮煞N情況：1.目標(biāo)在初始狀態(tài)下已經(jīng)產(chǎn)生并且不會繼續(xù)生成；全覆蓋區(qū)域搜索；目標(biāo)存在概率圖+智能優(yōu)化；2.目標(biāo)位置固定，會隨著時間隨機(jī)生成；運動目標(biāo)在給定區(qū)域內(nèi)位置和數(shù)量隨機(jī)變化。動態(tài)智能規(guī)劃；7.16協(xié)同搜索算法評價指標(biāo)優(yōu)化目標(biāo)評價指標(biāo)：

1.使無人機(jī)集群發(fā)現(xiàn)目標(biāo)概率最大；2.使無人機(jī)集群搜索信息不確定性降到最小；

3.使無人機(jī)協(xié)同搜索花費代價最??；對應(yīng)搜索效能函數(shù)：

1.目標(biāo)發(fā)現(xiàn)收益JT；

2.環(huán)境搜索收益JE；

3.搜索代價JS

；7.17協(xié)同搜索算法評價指標(biāo)目標(biāo)發(fā)現(xiàn)收益JT機(jī)載傳感器在[k,k+Nv-1]時間內(nèi)探測到的累積目標(biāo)發(fā)現(xiàn)概率：pkmn（k）：第i架無人機(jī)的搜索圖Rni范圍內(nèi)的目標(biāo)存在概率，與搜索圖上位置xp（k）相關(guān)；bimn（k）：用來確定可能發(fā)現(xiàn)的目標(biāo)；7.18協(xié)同搜索算法評價指標(biāo)7.1機(jī)載傳感器在[k,k+Nv-1]時間內(nèi)探測區(qū)域Rni目標(biāo)信息不確定性減少量：ei（k）：第i架無人機(jī)對當(dāng)前目標(biāo)信息的不確定程度。根據(jù)k時刻的搜索圖其信息的確定性程度為

imn（k），信息熵ei（k）定義為：9環(huán)境搜索收益JE協(xié)同搜索算法評價指標(biāo)7.110無人機(jī)集群協(xié)同過程中的時間或燃油消耗：0<wi

<1，i=1,2,3，wi為權(quán)重，反映目標(biāo)搜索收益、環(huán)境搜索收益和搜索代價分別在搜索效能函數(shù)中不同影響程度。搜索代價JS總搜索效能無人機(jī)集群協(xié)同搜索任務(wù)描述7.2環(huán)境搜索圖模型搜索環(huán)境分類已知環(huán)境：由無人機(jī)自身所維護(hù)的一種特殊數(shù)據(jù)，描述了無人機(jī)對當(dāng)前環(huán)境信息的理解和認(rèn)知。未知環(huán)境：通常采用概率模型來描述目標(biāo)的位置狀態(tài)，針對多無人機(jī)協(xié)同搜索過程中的環(huán)境不確定性引入多種搜索圖：概率圖：表征任務(wù)區(qū)域內(nèi)目標(biāo)分布情況，提高發(fā)現(xiàn)目標(biāo)可能性；不確定圖：描述無人機(jī)對環(huán)境認(rèn)知程度，提高目標(biāo)搜索效率；信息素圖：表示無人機(jī)集群的搜索狀態(tài)，提高無人機(jī)的協(xié)同效率。7.212概率地圖模型柵格化地圖針對搜索環(huán)境任務(wù)的特點，一般采用概率模型描述目標(biāo)的位置狀態(tài)，但連續(xù)的概率地圖不利于對信息進(jìn)行處理，因此往往需要柵格化處理。7.213概率地圖模型概率地圖初始化

7.214概率地圖模型概率地圖更新

搜索圖的初值反映了目標(biāo)先驗信息，這些信息可以通過外部情報偵察獲得。7.215概率地圖模型

考慮到傳感器觀測的不確定性，其目標(biāo)存在概率更新方程為：7.216概率地圖模型隨著對某個網(wǎng)格探測次數(shù)的增加，無人機(jī)對該網(wǎng)格處的信息不斷了解，因此確定度也是不斷變化的，其更新方程為：

7.217傳感器探測模型傳感器探測模型傳感器性能優(yōu)劣，直接影響了無人機(jī)集群搜索目標(biāo)的效果。通過對傳感器建模，建立無人機(jī)探測范圍和探測精度的關(guān)系，能夠進(jìn)一步建立無人機(jī)對未知環(huán)境下目標(biāo)搜索的概率地圖。機(jī)載傳感器探測模型7.218傳感器探測模型無人機(jī)搭載傳感器高分辨率攝像頭：通過深度學(xué)習(xí)等技術(shù)進(jìn)行目標(biāo)識別。合成孔徑雷達(dá)：分辨率高，用于遙感和測繪。激光雷達(dá)：識別精度高，在夜晚仍能保持較好的識別率。機(jī)載傳感器探測模型7.219傳感器探測模型

7.220狀態(tài)空間模型無人機(jī)航向編碼

無人機(jī)航向示意圖7.221狀態(tài)空間模型

7.222狀態(tài)空間模型

7.223無人機(jī)集群協(xié)同搜索控制架構(gòu)7.3集中式搜索控制架構(gòu)由中心節(jié)點對無人機(jī)集群的統(tǒng)一控制，從全局角度對集群搜索問題進(jìn)行協(xié)調(diào)和優(yōu)化。無人機(jī)執(zhí)行搜索任務(wù)時，將傳感器的數(shù)據(jù)進(jìn)行簡單處理發(fā)送給控制中心，并由控制中心判斷和指導(dǎo)控制無人機(jī)的下一步行動。集中式控制架構(gòu)無人機(jī)集群協(xié)同搜索的集中式交互7.325集中式搜索控制架構(gòu)MPC核心思想是滾動時域控制思想（RecedingHorizonControl,RHC），使無人機(jī)機(jī)集群能夠?qū)崟r動態(tài)調(diào)整其任務(wù)和航跡，尤其是在動態(tài)變化和未知的環(huán)境中執(zhí)行搜索任務(wù)模型預(yù)測控制算法（MPC）無人機(jī)集群決策搜索決策過程滾動優(yōu)化求解7.326集中式搜索控制架構(gòu)搜索決策過程①系統(tǒng)狀態(tài)預(yù)測：結(jié)合當(dāng)前時刻k系統(tǒng)的狀態(tài)和系統(tǒng)動態(tài)模型，來預(yù)測系統(tǒng)未來N階段的狀態(tài)；②優(yōu)化任務(wù)決策：利用步驟①得到預(yù)測狀態(tài)來確定優(yōu)化控制的N個序列，然后將其中第一項作為當(dāng)前優(yōu)化決策；③實時航跡規(guī)劃：根據(jù)先前步驟②得到的優(yōu)化決策，實時規(guī)劃無人機(jī)執(zhí)行下一時刻搜索任務(wù)的航跡。優(yōu)化決策過程采用在時域滾動的方式迭代進(jìn)行，在不同時刻內(nèi)不斷更新系統(tǒng)狀態(tài)，直至無人機(jī)完成所有的搜索任務(wù)。7.327集中式搜索控制架構(gòu)滾動優(yōu)化求解設(shè)k+q時刻系統(tǒng)狀態(tài)為x(k+q|k)，控制輸入預(yù)測為u(k+q|k)。用X(k)表示k時刻N步預(yù)測狀態(tài)，U(k)表示控制輸入，在N步預(yù)測后系統(tǒng)的搜索效能記為：在k時刻，求解系統(tǒng)最優(yōu)任務(wù)決策優(yōu)化模型表示為：7.328分布式搜索控制架構(gòu)分布式搜索控制架構(gòu)取消了控制中心，無人機(jī)之間相互平等，可以相互通信協(xié)作；具有一定的智能性和自主能力，能夠刺激響應(yīng)和協(xié)商決策；計算代價小、魯棒性好，能夠?qū)崟r通信與決策，適用于解決大規(guī)模集群和實時處理要求較高的任務(wù)場景。7.329分布式搜索控制架構(gòu)分布式模型預(yù)測控制算法（DMPC）將大規(guī)模的集中式在線優(yōu)化問題轉(zhuǎn)化分布式優(yōu)化問題，并通過每架無人機(jī)來獨立控制和優(yōu)化決策建立預(yù)測模型實時滾動優(yōu)化設(shè)計反饋校正無人機(jī)集群分布式控制架構(gòu)圖7.330分布式搜索控制架構(gòu)分布式模型預(yù)測控制算法的具體步驟如下：將一個大規(guī)?？刂葡到y(tǒng)劃分為M個子系統(tǒng)，對其當(dāng)前時刻下最優(yōu)控制增量進(jìn)行初步的預(yù)測求解，得到：

：系統(tǒng)k時刻的控制增量；i：第i個子系統(tǒng)；l：第l時刻針對劃分完成后的子系統(tǒng)，各自求解相應(yīng)的性能指標(biāo)，獲取當(dāng)前時刻的迭代最優(yōu)解利用納什最優(yōu)策略的思想，判斷前后兩個迭代周期內(nèi)最優(yōu)解的差值是否滿足納什迭代的精度。若滿足，進(jìn)行下一步。否則令求解該時刻下的即時控制律并將該控制量作用于各個子系統(tǒng)。滾動優(yōu)化到下一個時刻，重復(fù)以上步驟，完成整個系統(tǒng)過程的優(yōu)化控制。7.331集散式搜索控制架構(gòu)集散式搜索控制架構(gòu)有機(jī)結(jié)合了分布式和集中式兩種控制架構(gòu)，滿足現(xiàn)階段集群技術(shù)發(fā)展現(xiàn)狀，將成為未來常態(tài)的實用化架構(gòu)。需對無人機(jī)集群進(jìn)行分簇，簇內(nèi)的無人機(jī)間采用分布式控制架構(gòu)，通過簇頭與其他各個簇進(jìn)行通信，中心節(jié)點與各個簇頭之間采用集中式控制架構(gòu)。基于自治協(xié)同的集散式控制架構(gòu)圖7.332集散式搜索控制架構(gòu)集散式控制架構(gòu)遠(yuǎn)程操作層：對無人機(jī)集群的搜索情況下達(dá)指令，對無人機(jī)進(jìn)行遠(yuǎn)程控制任務(wù)計劃層：將無人機(jī)群分成若干組，按照一定規(guī)則從每組中選出一架無人機(jī)作為組長，無人機(jī)群從領(lǐng)隊中按照相關(guān)規(guī)則或隨機(jī)選取領(lǐng)導(dǎo)者來執(zhí)行任務(wù)規(guī)劃層的職能任務(wù)協(xié)調(diào)層：各個無人機(jī)組的組長負(fù)責(zé)成員間的信息交流和協(xié)調(diào)任務(wù)執(zhí)行層：利用內(nèi)部的功能模塊對搜索信息進(jìn)行處理，再由決策模塊自主決策，最后經(jīng)過協(xié)調(diào)層優(yōu)化決策結(jié)果后執(zhí)行搜索目標(biāo)任務(wù)7.333集散式搜索控制架構(gòu)協(xié)同分區(qū)搜索：提高多無人機(jī)集群協(xié)同搜索效率支持無人機(jī)的動態(tài)加入和退出，有利于無人機(jī)在不同任務(wù)之間進(jìn)行靈活轉(zhuǎn)換，面對地面站與無人機(jī)之間的通信中斷仍能夠自組織完成搜索任務(wù)，因此對無人機(jī)智能化程度要求高無人機(jī)集群協(xié)同分區(qū)搜索過程7.334無人機(jī)集群協(xié)同搜索算法7.4無人機(jī)集群協(xié)同搜索算法無人機(jī)集群協(xié)同搜索算法無人機(jī)集群協(xié)同搜索方法分類7.436傳統(tǒng)優(yōu)化算法貪婪算法在每個階段進(jìn)行局部最優(yōu)選擇，以求全局最優(yōu)未考慮整體搜索效率，在合理的時間內(nèi)通常得到局部最優(yōu)解，但是一般難以產(chǎn)生全局最優(yōu)解隨機(jī)搜索以隨機(jī)方式在候選解中選擇出下一步無人機(jī)航向在區(qū)域搜索目標(biāo)時未考慮目標(biāo)實時探測情況以及集群內(nèi)無人機(jī)之間的協(xié)同7.437傳統(tǒng)優(yōu)化算法車道搜索將搜索區(qū)域劃分為一組車道，每架無人機(jī)都被分配一個唯一的車道。在搜索過程中，當(dāng)一個目標(biāo)被探測到時，無人機(jī)開始執(zhí)行長機(jī)任務(wù)。當(dāng)集群形成時，集群成員將當(dāng)前位置存儲在各自的車道上作為返回點。當(dāng)一個車道上的搜索任務(wù)完成時，無人機(jī)將被分配一個新的車道。隨機(jī)搜索將任務(wù)區(qū)域離散化為一組均等大小柵格，每個柵格標(biāo)記初始值均標(biāo)記相同值，當(dāng)柵格在無人機(jī)的傳感器覆蓋范圍內(nèi)，柵格值發(fā)生變化7.438基于概率融合的協(xié)同目標(biāo)搜索算法基于概率融合的協(xié)同目標(biāo)搜索算法將搜索區(qū)域劃分為具有M個均等大小的柵格，用m=(x,y)標(biāo)記位置。在整個搜索任務(wù)中，將目標(biāo)占用概率建模為服從貝努利分布，當(dāng)xc=1時表示目標(biāo)出現(xiàn)在柵格c中，概率為Pc，而當(dāng)xc=0時表示柵格c中不存在目標(biāo)，概率為1?Pc。當(dāng)Pc=1表示柵格c中一定存在目標(biāo)，當(dāng)Pc=0則表示一定不存在目標(biāo)。無人機(jī)可以移動到不同的柵格并進(jìn)行獨立觀察記為UAVi，在時間步t處搜索地圖柵格坐標(biāo)表示為ci,t=(xi,t,yi,t)。將UAVi在t時刻柵格c中的獨立傳感器觀測值表示為Oi,c,t，為每個柵格定義兩個觀測結(jié)果，即Oi,c,t=0或Oi,c,t=1。利用參數(shù)p和q分別表示傳感器的探測概率和虛警概率，P(Oi,c,t=1|xc=1)=p和P(Oi,c,t=1|xc=0)=q。每當(dāng)UAVi訪問柵格時在搜索地圖中更新與該單元Pc相關(guān)的信息。7.439基于概率融合的協(xié)同目標(biāo)搜索算法基于概率融合的協(xié)同目標(biāo)搜索算法任務(wù)開始時，將初始數(shù)值設(shè)置為Pic0=0.5，表示未探測前無人機(jī)完全不確定狀態(tài)。每架無人機(jī)開始觀測，基于傳感器觀測Oi,c,t=0和當(dāng)前柵格ci中的先驗概率Pi,c,t-1，更新自身維護(hù)的搜索地圖中占用概率為Pi,c,t。無人機(jī)集群協(xié)同搜索信息融合7.440基于概率融合的協(xié)同目標(biāo)搜索算法基于概率融合的協(xié)同目標(biāo)搜索算法無人機(jī)在時間t時刻最多有N個訪問ci值。每架無人機(jī)根據(jù)移動到搜索區(qū)域中的下一個柵格并在新柵格繼續(xù)融合過程。當(dāng)探測概率大于設(shè)定探測閾值時無人機(jī)將停止搜索。無人機(jī)集群協(xié)同搜索信息融合7.441基于概率融合的協(xié)同目標(biāo)搜索算法基于概率融合的協(xié)同目標(biāo)搜索算法每架無人機(jī)在每個時間步進(jìn)行兩種不同觀測地圖的更新：獨立地圖更新和協(xié)同地圖融合。獨立地圖更新只需要局部信息。協(xié)同地圖融合將無人機(jī)自身的本地獨立概率與其他無人機(jī)的信息結(jié)合起來，并計算存儲在搜索地圖中的實際概率Pi,ci。

符號ci：UAVi的位置；

Pi,cj：UAVj在UAVi位置處的占用概率（j=1,2,…,N）多無人機(jī)的局部4×4搜索地圖與融合地圖多無人機(jī)信息搜索地圖融合7.442基于概率融合的協(xié)同目標(biāo)搜索算法獨立搜索地圖更新使用貝葉斯規(guī)則更新當(dāng)前柵格c中的概率，該規(guī)則使用傳感器特征（p和q）、傳感器觀測Oi,c,t和柵格c中先驗概率，搜索地圖更新如下式所示：Pi,c,0,p,q均∈(0,1)；若Pi,c,0=1，則Pi,c,t=1；若Pi,c,0=0，t>0，則Pi,c,t=0；若p=0，UAVi獲得等于1的傳感器觀測值，則Pi,c,t為0，無論將來觀測值如何都保持不變7.443基于概率融合的協(xié)同目標(biāo)搜索算法地圖融合策略信息更新UAVi計算柵格ci的占用概率并共享給其他無人機(jī)。所有接收到此信息的無人機(jī)替換其搜索地圖中ci處的先前概率值。UAVi從其他無人機(jī)接收更新信息并更新其搜索地圖表示為：j=1，2，…，N，假設(shè)集群內(nèi)無人機(jī)不會同時訪問同一個柵平均值UAVi將信息共享給定柵格的UAVj。否則，UAVi根據(jù)自身搜索地圖和UAVj提供的信息求平均。UAVi通過以下方式更新其地圖：7.444基于概率融合的協(xié)同目標(biāo)搜索算法地圖融合策略式中n取決于通信范圍，如果通信范圍受限，本地搜索地圖中cj的概率值可能不同，n等于通信范圍內(nèi)具有不同cj值的無人機(jī)數(shù)量。如果通信范圍不受限制，則所有UAV都擁有其本地搜索地圖中以cj表示的概率值的最新認(rèn)知。7.445基于粒子群算法的協(xié)同搜索PSO算法

7.446基于粒子群算法的協(xié)同搜索PSO算法將每個粒子視為一個可行的搜索決策輸入,UAVi的控制輸入為uiv(k)=[vi(k),Δφi(k)]，粒子編碼方式如下圖所示粒子的每一維中數(shù)值取值為[-1,1]范圍內(nèi)實數(shù)，分別表示為rφ和rv，為保證控制輸入決策變量的取值在可行范圍之內(nèi)，滿足下式約束條件：解碼后可得到一組無人機(jī)的飛行方向調(diào)整角度指令，計算出對應(yīng)的目標(biāo)點序列，只要限制粒子的取值范圍，就可使相鄰狀態(tài)滿足最大偏轉(zhuǎn)角、飛行速度等性能約束，有效提高優(yōu)化決策效率。決策變量到PSO粒子結(jié)構(gòu)的映射7.447基于粒子群算法的協(xié)同搜索滾動優(yōu)化過程在RHC中，當(dāng)前控制動作是通過在線求解每個采樣時刻的有限水平最優(yōu)控制問題，以系統(tǒng)當(dāng)前狀態(tài)為初始狀態(tài)，優(yōu)化產(chǎn)生一個最優(yōu)控制序列，且只有該序列中的前幾個控制輸入被實施到系統(tǒng)中。通過在線優(yōu)化和滾動，使得無人機(jī)集群在搜索過程中快速響應(yīng)環(huán)境變化?；赑SO算法解決多無人機(jī)協(xié)同區(qū)域搜索的關(guān)鍵是確定適應(yīng)度函數(shù)，對于基于RHC的協(xié)同搜索問題，目標(biāo)函數(shù)與每架無人機(jī)的當(dāng)前位置和跟蹤點的后續(xù)位置相關(guān)。最優(yōu)控制序列7.448基于并行螞蟻群算法的協(xié)同搜索蟻群算法選擇機(jī)制：信息素濃度越高，則被選中的概率就越大；更新機(jī)制：路徑上的信息素濃度會隨著螞蟻的經(jīng)過而變化；協(xié)調(diào)機(jī)制：所有信息基本都以不同種類信息素的方式呈現(xiàn)。蟻群算法示意圖7.449基于并行螞蟻群算法的協(xié)同搜索蟻群算法在算法初期階段，人工螞蟻執(zhí)行隨機(jī)搜索，并在搜索過的路徑上留下信息素。由于正反饋機(jī)制，人工螞蟻逐漸傾向于濃度更高的信息素路徑，并找到接近于最優(yōu)解的解。每只螞蟻在搜索過程中相互獨立，彼此之間僅通過釋放的信息素進(jìn)行通信，最終實現(xiàn)從無序到有序的過程。正反饋機(jī)制有助于蟻群優(yōu)化算法快速找到最優(yōu)解，隱式并行性能夠防止算法陷入局部最優(yōu)解，有利于進(jìn)一步搜索解空間并尋找更好的解，具有較高的可靠性以及強(qiáng)大的全局搜索能力。7.450基于并行螞蟻群算法的協(xié)同搜索通過構(gòu)建無人機(jī)集群之間的協(xié)同信息，增強(qiáng)對任務(wù)環(huán)境的全局認(rèn)知情況，提升系統(tǒng)整體搜索效能。無人機(jī)集群協(xié)同搜索與并行蟻群覓食行為有著很大相似作用，兩者映射關(guān)系如下表所示內(nèi)容無人機(jī)集群協(xié)同搜索并行蟻群覓食行為行為主體無人機(jī)螞蟻行為空間任務(wù)區(qū)域覓食空間具體行為搜索目標(biāo)尋找食物無人機(jī)集群協(xié)同搜索與蟻群覓食行為映射關(guān)系7.451基于并行螞蟻群算法的協(xié)同搜索每只螞蟻對應(yīng)一架無人機(jī)，具備感知、交流、移動和更新的能力。無人機(jī)的搜索決策對應(yīng)螞蟻的狀態(tài)轉(zhuǎn)移，螞蟻之間通過信息素進(jìn)行通信。在柵格化的任務(wù)區(qū)域中，螞蟻在各個柵格間的轉(zhuǎn)移構(gòu)成無人機(jī)的搜索路徑?；诓⑿邢伻核惴ㄔ韴D7.452基于并行螞蟻群算法的協(xié)同搜索信息素結(jié)構(gòu)初始化記任意時刻螞蟻維護(hù)的信息素結(jié)構(gòu)如下所示：τk,(x,y)表示無人機(jī)k在t時刻維護(hù)的信息素地圖中存儲坐標(biāo)為(x,y)處的柵格信息素濃度值將信息素初始化為如下函數(shù)：τ0是柵格i中的信息素濃度；pi是柵格i的目標(biāo)概率值基于并行蟻群算法協(xié)同搜索框圖7.453基于并行螞蟻群算法的協(xié)同搜索

7.454基于并行螞蟻群算法的協(xié)同搜索

7.455基于并行螞蟻群算法的協(xié)同搜索面向任務(wù)協(xié)同的信息素更新機(jī)制在t次迭代后蟻群v中螞蟻m對柵格j產(chǎn)生的信息素變化量，可表示為：

是種群v的路徑與其他螞蟻種群的路徑之間的重疊度；uvm為搜索t次迭代后種群v中螞蟻m的信息素總量；vvm-表示其他種群信息素的總量，該值越大，表示與柵格j中其他群體的重疊較少；Jvm是完成搜索后種群v中螞蟻m的搜索成本，并對該蟻群中所有螞蟻的目標(biāo)函數(shù)值排序；Q為信息素增強(qiáng)系數(shù)；w1和w2分別表示搜索收益權(quán)重系數(shù)。當(dāng)m∈[1,u]表示螞蟻m的信息素濃度增加，而當(dāng)m∈[u+1,M]表示螞蟻M的信息素濃度降低。7.456基于并行螞蟻群算法的協(xié)同搜索

7.457基于并行螞蟻群算法的協(xié)同搜索求解無人機(jī)集群協(xié)同搜索的步驟如下：采用柵格地圖離散化任務(wù)區(qū)域，初始化構(gòu)建的目標(biāo)概率圖；設(shè)置蟻群優(yōu)化算法參數(shù)，初始化N只螞蟻的位置以及各螞蟻的本地信息素結(jié)構(gòu)；各螞蟻確定待選柵格集合,計算各柵格的狀態(tài)轉(zhuǎn)移概率，并按照狀態(tài)轉(zhuǎn)移規(guī)則選出下一時刻柵格；螞蟻轉(zhuǎn)移到下一柵格并對周圍環(huán)境進(jìn)行搜索；計算目標(biāo)函數(shù)，并根據(jù)自身及鄰居螞蟻位置分布，各螞蟻按照信息素更新規(guī)則對本地信息素結(jié)構(gòu)進(jìn)行更新，同時更新目標(biāo)存在概率圖；7.458基于并行螞蟻群算法的協(xié)同搜索求解無人機(jī)集群協(xié)同搜索的步驟如下：判斷是否達(dá)到最大循環(huán)次數(shù)，若是則算法結(jié)束，否則返回步驟3上述算法步驟。并行蟻群算法流程圖7.459基于麻雀算法的協(xié)同目標(biāo)搜索SSA算法主要包括局部通信網(wǎng)絡(luò)建立、協(xié)同搜索模型構(gòu)建和優(yōu)化模型求解收斂速度快、優(yōu)化能力強(qiáng)局部通信網(wǎng)絡(luò)下基于SSA算法的協(xié)同目標(biāo)搜索系統(tǒng)框架7.460基于麻雀算法的協(xié)同目標(biāo)搜索局部通信網(wǎng)絡(luò)建立利用有向圖G=<N,D>表示當(dāng)前的實時通信網(wǎng)絡(luò)，其中N為無人機(jī)集群數(shù)量，D表示無人機(jī)集群內(nèi)無人機(jī)之間的距離，相鄰?fù)ㄐ啪仃嘇可以表示為：dcom范圍閾值，dij為無人機(jī)i與無人機(jī)j的歐氏距離。A表示無人機(jī)集群的實時通信拓?fù)潢P(guān)系，若aij=1，則表示無人機(jī)i到無人機(jī)j是連通狀態(tài)，可以相互發(fā)送位置信息。反之則通信不可達(dá)。7.461基于麻雀算法的協(xié)同目標(biāo)搜索優(yōu)化目標(biāo)函數(shù)構(gòu)建通信成本函數(shù)可表示為：為了降低能量成本，引入數(shù)字信息素策略。數(shù)字信息素構(gòu)成包括吸引信息素和排斥信息素兩部分，兩種信息素的更新可表示為：7.462基于麻雀算法的協(xié)同目標(biāo)搜索優(yōu)化目標(biāo)函數(shù)構(gòu)建Ea和Er分別表示吸引信息素和排斥信息素的揮發(fā)系數(shù)；Sa和Sr為相應(yīng)的傳播系數(shù)；δ∈(0,1)是調(diào)節(jié)因子；da(t)為柵格i自主釋放的吸引信息素；fi為最后一次訪問柵格i到當(dāng)前周期數(shù)；ga(t)和gr(t)分別為柵格(t-1,t]時間內(nèi)從鄰近柵格傳入的吸引信息素和斥力信息素。則有Ni’為相鄰柵格總數(shù)；Nei為鄰近柵格7.463基于麻雀算法的協(xié)同目標(biāo)搜索優(yōu)化目標(biāo)函數(shù)構(gòu)建局部通信下的集群協(xié)同效益表示為：N′表示當(dāng)前通信網(wǎng)絡(luò)下無人機(jī)數(shù)量，n為預(yù)測步驟，Sa()為當(dāng)前通信網(wǎng)絡(luò)中無人機(jī)位置在t時刻的吸引信息素強(qiáng)度，Sr()為當(dāng)前時刻的排斥信息素強(qiáng)度。綜上所述，基于SSA算法的協(xié)同搜索模型的目標(biāo)優(yōu)化函數(shù)可以定義為：JPt為協(xié)同收益，JSt為通信成本；1和2分別表示權(quán)重歸一化系數(shù)647.4基于麻雀算法的協(xié)同目標(biāo)搜索基于SSA算法的求解優(yōu)化模型策略初始化種群中有N只麻雀，位置空間為d維。xdN代表麻雀個體，具有較大適應(yīng)度值的麻雀作為探索者，位置更新策略如下：it為當(dāng)前迭代次數(shù)；itmax為最大迭代次數(shù)；ξ為隨機(jī)數(shù)(ξ∈(0,1])H為1×d大小的全1矩陣；k為正態(tài)分布的隨機(jī)數(shù)；xi,j為麻雀i在j維空間的位置；R2為預(yù)警值(R2∈(0,1])；S為安全值(S∈(0.5,1])7.465基于麻雀算法的協(xié)同目標(biāo)搜索基于SSA算法的求解優(yōu)化模型策略將其余麻雀作為跟隨者，位置更新如下式所示：xbit和xwit分別為當(dāng)前迭代it中麻雀的最佳和最差位置；R為隨機(jī)數(shù)(r∈[?1,1])7.466基于麻雀算法的協(xié)同目標(biāo)搜索

7.467基于麻雀算法的協(xié)同目標(biāo)搜索建立面向局部網(wǎng)絡(luò)的協(xié)同搜索模型，該模型利用現(xiàn)有的局部位置信息，在當(dāng)前網(wǎng)絡(luò)下利用基于SSA算法最大化優(yōu)化指標(biāo)，能夠提高無人機(jī)集群協(xié)同搜索能力。SSA算法流程框圖7.468基于深度強(qiáng)化學(xué)習(xí)的協(xié)同目標(biāo)搜索強(qiáng)化學(xué)習(xí)通過智能體和環(huán)境之間的持續(xù)交互試錯來最大化累積回報較為典型的深度強(qiáng)化學(xué)習(xí)算法有深度Q網(wǎng)絡(luò)（DQN）、近端策略優(yōu)化（PPO）等基于結(jié)合雙Q學(xué)習(xí)和噪聲Q學(xué)習(xí)的多智能體深度強(qiáng)化學(xué)習(xí)算法DNQMIX建立搜索環(huán)境模型，構(gòu)建觀測空間，通過深度強(qiáng)化學(xué)習(xí)算法DNQMIX在線生成無人機(jī)集群協(xié)同搜索路徑基于深度強(qiáng)化學(xué)習(xí)算法的協(xié)同搜索框圖7.469基于深度強(qiáng)化學(xué)習(xí)的協(xié)同目標(biāo)搜索構(gòu)建搜索環(huán)境模型將搜索區(qū)域Ω劃分為Lx×Ly個大小相等的離散網(wǎng)格，網(wǎng)格的中心點坐標(biāo)定義為cx,y=(x,y){x=1,2…Lx;y=1,2…Ly}作為標(biāo)識。每個目標(biāo)只能占用一個網(wǎng)格，將網(wǎng)格內(nèi)目標(biāo)存在的概率建模為伯努利分布，即τx,y=1（存在目標(biāo)），概率為Px,y,τx,y=0（不存在目標(biāo)），概率為1-Px,y。假設(shè)搜索區(qū)域Ω中有No個隨機(jī)分布的威脅。威脅k的坐標(biāo)表示為zk=(x,y),1≤k≤No系統(tǒng)模型7.470基于深度強(qiáng)化學(xué)習(xí)的協(xié)同目標(biāo)搜索構(gòu)建搜索環(huán)境模型無人機(jī)集群系統(tǒng)U={U1,U2,…Ui…,UNu}(1≤i≤Nu)包含Nu個同構(gòu)無人機(jī)。無人機(jī)i在時間步t(1≤t≤T)處的坐標(biāo)表示為ui,t=(x,y)。每個無人機(jī)都配備有一個傳感器，無人機(jī)i只能在時間步t和探測半徑Rs下觀察探測區(qū)域Θi,t內(nèi)的網(wǎng)格。無人機(jī)i在時間步t對網(wǎng)格cx,y的觀測結(jié)果表示為Φi,tx,y，Φi,tx,y=1表示在網(wǎng)格cx,y檢測到目標(biāo)，Φi,tx,y=0表示在網(wǎng)格cx,y未檢測到目標(biāo)。傳感器模型檢測結(jié)果的條件概率可表示為：為確保在噪聲環(huán)境中能夠執(zhí)行有效檢測，檢測概率p和虛警概率q分別設(shè)置在[0.5,1]和[0,0.5]的區(qū)間范圍內(nèi)。7.471基于深度強(qiáng)化學(xué)習(xí)的協(xié)同目標(biāo)搜索構(gòu)建搜索環(huán)境模型每架無人機(jī)i在時間步長t都維護(hù)了一個單獨的關(guān)于搜索區(qū)域Ω的概率信息圖i,t?{Pi,tx,y|τx,y=1}，并采用貝葉斯準(zhǔn)則根據(jù)觀測結(jié)果更新概率圖：將無人機(jī)i的鄰居定義為：Rc表示通信范圍7.472基于深度強(qiáng)化學(xué)習(xí)的協(xié)同目標(biāo)搜索構(gòu)建搜索環(huán)境模型無人機(jī)記錄每個網(wǎng)格的正檢測次數(shù)Ni,tx,y（+）（從任務(wù)開始時Φi,tx,y為1的總次數(shù)）和負(fù)檢測次數(shù)Ni,tx,y（?）（從任務(wù)開始時Φi,tx,y為0的總次數(shù)）。無人機(jī)i在時間步t處的正探測時間和負(fù)探測次數(shù)可表示為：無人機(jī)i在時間步t認(rèn)為網(wǎng)格cx,y中目標(biāo)存在的概率可以表示為：7.473基于深度強(qiáng)化學(xué)習(xí)的協(xié)同目標(biāo)搜索觀測空間與動作空間作為智能體的網(wǎng)絡(luò)輸入，提取的信息可分為三類目標(biāo)存在概率：從無人機(jī)的局部概率圖中提取并根據(jù)貝葉斯概率更新，其中邊界外的目標(biāo)存在概率水平假設(shè)為0；訪問次數(shù)信息：若無人機(jī)在某個時間步探測某個網(wǎng)格，則該網(wǎng)格訪問次數(shù)加1，邊界外的訪問次數(shù)假定為0；鄰居和威脅信息：視野中的威脅表示為0.5，視野中的其他無人機(jī)表示為1，空網(wǎng)格或邊界外的網(wǎng)格表示為0無人機(jī)的位置也會添加到觀測向量中，這些局部信息構(gòu)成了智能體的觀測空間并幫助無人機(jī)確定下一步行動。在每個時間步，無人機(jī)根據(jù)其當(dāng)前位置最多有四個候選動作北、南、東、西可用。如果某個移動方向?qū)?dǎo)致無人機(jī)在下一時間步移出邊界，則該方向?qū)暮蜻x動作中丟棄。7.474基于深度強(qiáng)化學(xué)習(xí)的協(xié)同目標(biāo)搜索設(shè)計獎勵函數(shù)將無人機(jī)的視場范圍（FOV）定義為以自身為中心的正方形區(qū)域（邊長為Lf）。在每個時間步，無人機(jī)提取FOV內(nèi)的局部信息作為智能體策略網(wǎng)