1、在無人駕駛車輛測試平臺上利用均值漂移跟蹤算法實現(xiàn)移動圖像的實時跟蹤Benjamin Gorry, Zezhi Chen, Kevin Hammond, Andy Wallace, and Greg Michaelson摘要：本文描述了一種用來跟蹤移動目標的新型計算機視覺算法，該算法是作為 無人駕駛車輛長期研究的一部分而被發(fā)展的。我們將介紹在視頻序列中利用變量核 進行跟蹤的研究結果。其中，均值漂移目標跟蹤算法是我們工作的基礎；對于一個 移動目標，該算法通常用來在初始幀中確定一個矩形目標窗口，然后利用均值漂移 分離算法處理該窗口中的數(shù)據(jù)，將跟蹤目標從背景環(huán)境中分離出來。我們并沒有使 用標準的Epa

2、nechnikov內(nèi)核，而是利用一個倒角距離變換加權內(nèi)核來提升目標表 示和定位的精度，利用Bhattacharyya系數(shù)使RGB色彩空間中兩個分布之間的距離 最小化。實驗結果表明，相對于標準算法，本算法在跟蹤能力和通用性上有一定的 提升。這些算法已經(jīng)運用在機器人試驗平臺的組成部分中，并證明了這些算法的有 效性。關鍵詞：Hume，函數(shù)程序設計，無人駕駛車輛，先驅(qū)者機器人，視覺引言本文比較和對比了在視覺序列中跟蹤移動目標的三種計算機視覺算法。對于很多無人駕 駛車輛（AV）來說，在復雜背景中檢測和跟隨移動目標的應用是至關重要的。例如，這可 以讓一個全尺寸無人駕駛車輛跟蹤行人或者移動車輛并避免與之相撞

3、。同時對于機器人而 言，這項技術也可以提升導航性能和增強安全性。對單個移動目標的良好隔離，將便于我們 針對感興趣的目標進行應用開發(fā)。而所有的這些應用都要求我們能夠?qū)崟r的處理全彩色的視 頻序列。我們的工作是在基于先驅(qū)者P3-AT全地形機器人的無人駕駛車輛測試平臺上進行的， 它是一個英國項目的一部分。這個龐大的項目是由國防科學技術中心（DTC）下轄的無人系 統(tǒng)工程（SEAS）為了開發(fā)新型無人駕駛車輛傳感器技術而建立的。國防科學技術中心的無 人系統(tǒng)工程是由英國工業(yè)聯(lián)盟操作管理，旨在通過采取系統(tǒng)工程的方法在整個系統(tǒng)和子系統(tǒng) 層次上，研究有關無人系統(tǒng)的創(chuàng)新性技術，以此達到利用科學技術進步促進軍事能力發(fā)展

4、的 目的。本文有許多獨到之處。第一，基于之前探討的均值漂移算法，我們介紹了在復雜、混亂 的背景下追蹤移動圖像的新算法。第二，我們展示了我們的算法能夠在全尺寸視頻圖像中實 時地追蹤移動目標。第三，我們以先驅(qū)者P3-AT全地形機器人為基礎，介紹了如何在一個簡 易無人車輛測試平臺上配置新算法。最后，我們的實現(xiàn)方式是與眾不同的，因為我們采用新 穎的HumeM編程語言來編寫程序。這一語言的新奇之處在于將函數(shù)式編程概念與編寫實時 反應系統(tǒng)的有限狀態(tài)自動機有機結合起來。B. Gorry, Z. Chen, G Michaelson來自蘇格蘭瑞卡頓的赫瑞瓦特大學計算機科學系。K. Hammond來自蘇格蘭圣安

5、德魯斯的圣安德魯斯大學計算機科學學院。A. Wallace來自蘇格蘭瑞卡頓的赫瑞瓦特大學電子與計算機工程系均值漂移視覺算法均值漂移分離算法我們將介紹利用不同內(nèi)核對視頻序列中移動目標實時跟蹤的研究結果。這些內(nèi)核是由 Comaniciu和Meeru,/ 第一次應用于圖像分離處理，其具有如下特征，底層的、簡單的、魯 棒性的以及不同的均值漂移、聚類算法3。對于在無人駕駛車輛上的應用，我們首先通過分 割及交互式的選擇確定一個感興趣的目標，然后當該目標在攝像機視野范圍內(nèi)移動時對其實 施跟蹤。設計均值漂移算法是用來尋找數(shù)據(jù)的眾數(shù)（或者說數(shù)據(jù)高度集中區(qū)域的中心），而 這些數(shù)據(jù)是由任意維向量表示的。該算法處理過

6、程如下所示7。選擇搜索窗口的半徑選擇窗口的初始位置（中心點）重復如下步驟計算整個窗口數(shù)據(jù)點的均值，然后將窗口中心點平移到該均值點直到中心點的平移距離小于預設的閥值特征空間中的高密度區(qū)域?qū)谠趫D像域中色彩/飽和度有限范圍內(nèi)擁有的足夠大數(shù)量 的像素。因此，這些像素就形成了連通區(qū)域（這種情況在相對平滑圖像中是很常見的）；該 算法本質(zhì)上就是為了找到在對比度/色彩上基本無變化的相對較大的連通區(qū)域（被人們理解并定義的區(qū)域)。事實上，本算法是這樣進行處理的，每一次隨機地放置一個搜索窗口，找 到相應的眾數(shù)，然后將所有特征向量從特征空間移動到最終窗口中。因此，人們總是希望能 夠快速找到較大區(qū)域。(a) 一個3

7、20X240的彩色圖像(b)對應的RGB圖像(c)對應的Luv色彩空間圖1圖像，RGB和Luv之間的關系在實現(xiàn)過程中，我們將通常在RGB色彩空間中呈現(xiàn)的像素映射至ULuv色彩空間，Luv色 彩空間有一個通過L表示的亮度分量和兩個通過u和v表示的色度分量。通常認為后一個色彩 空間等方性更好，因而更適合用在眾數(shù)尋找算法中。最后，當我們定義了一個可變核，該可 變核就會在顯示跟蹤結果時被約束在我們之前提到的矩形窗口中。圖1舉例說明了圖像和特征空間之間的關系。圖2展示了分別在RGB與Luv空間中的分離 結果。至少主觀上，我們可以看到在這個實例中利用Luv參數(shù)化所帶來的提升。通過Hume 編程語言將RGB

8、映射到Luv的實現(xiàn)流程圖如圖3所示。圖4是均值漂移分離算法的流程圖。(a)在RGB色彩空間中分離結果(b)在Luv色彩空間中分離結果圖2分離結果ou terr oroutputscreen圖3 RGB到Luv的流程圖（Hume）I (InpuiiSL M 才 tpf IV SCf ElEOQtexroT-oatputa c r eeen圖4均值漂移分離算法流程圖（Hume）均值漂移目標跟蹤算法在初始幀中，首先針對目標區(qū)域定義一個矩形窗口。然后在Luv色彩空間中運用均值 漂移算法，將跟蹤目標從背景中分離出來。當目標移動時，利用獨特的倒角距離變換加權內(nèi) 核來提升目標表示和定位的精度，同時利用Bha

9、ttacharyya系數(shù)使兩個顏色分布之間的距離 最小化。在通過彩色圖像序列跟蹤目標的過程中，假設我們能夠利用色彩空間中某一區(qū)域的 樣本離散分布將目標表示出來，并利用一個能夠確定當前位置的內(nèi)核進行定位。因此，我們 就要找到函數(shù)P分布中的最大值。該函數(shù)是相對于之前的模版圖像，在候選圖像中目標位置 (漂移)的函數(shù)，用來計算加權色彩分布之間的相似度。而Bhattacharyya系數(shù)是重疊數(shù) 量的估算值。如果能夠得到相對密度p(x)和q( x)的兩組參數(shù)，則Bhattacharyya系數(shù)定義如 下：P = ( p ( x) q ( x) d x( 1)因此，我們在處理從彩色圖像中得到的離散采樣數(shù)據(jù)時，

10、我們就使用在模版和候選圖像中應用以m進制直方圖存放的離散密度。模版圖像的離散密度定義如下:q = q =1,2,，mEq = 1u =1(2)同樣地，在隨后幀中的給定位置y處，候選圖像的預估直方圖是:pG)=p G),u =1,2,mEp =1u =1(3)pG)= p p根據(jù)方程(1)的定義，Bhattacharyya系數(shù)的樣本估計定義如下:(4)_ p G), q = EJpu G)quu =1由色彩密度函數(shù)f (x)得到一組獨立的隨機樣本xx2,x。如果K是標準的內(nèi)核 函數(shù)，那么內(nèi)核密度估計由下式給出:q =EK(X)5 _b(X )-u(5)i =1用這種方式估算色彩密度時，那么均值漂

11、移算法就用來在目標幀中不斷移動位置y，以此來尋找Bhattacharyya系數(shù)分布的眾數(shù)(方程4)。圍繞p ( y0 )展開泰勒級數(shù)，則Bhattacharyya 近似為:pp(v), q其中i 為TTE+1E( xt)u =1i=1(6)(7)則方程（4）取最V =X X wG (v - x1i i 0 ii =1咋（V0 一氣）(8)m -w = X 8u=1當方程（6）的第一項獨立于y時，方程（6）的第二項取得最大值 大值。在均值漂移算法中，內(nèi)核不斷地從當前位置V。移動到新位置七， 下：其中，G是K的梯度函數(shù)。這等價于基于色彩直方圖的內(nèi)核過濾相似度函數(shù)梯度的階躍上升。圖5是均值漂移目標跟

12、蹤算法的流程圖。im4 Aci n0n1 1oxoubmr . iDLltpnlt&Uidigjl IJ Mr J心呷hamesURfi: staW cEn1 Ou iDopcaurit djrjmim iin GuiwKlnpug , state CEn Ou loopcount 即Jejr| bjn d； jn11 F p p 芒 ! uptLareitjcde LU nellocH tv kei loopbinbin 昌 Tarre1 CErfxyPu Qu fiEO bini coiiKat_dxy .i u W 2 HLT. binjn 了PlT QlT gM hirf If 療 w

13、eight 口咋敏irtlpM- i .Im l睥囪口廠!圖5均值漂移目標跟蹤算法流程圖（Hume）在無人駕駛車輛測試平臺上應用跟蹤算法我們的硬件測試平臺由先驅(qū)者P3-AT全地形機器人組成，即SEBO （SEAS機器人，圖 6）。我們?yōu)镾EBO配置了前陣聲納光盤，無線以太網(wǎng)，前后安全保險杠以及一個安裝在表 面用來收集均值漂移視覺算法數(shù)據(jù)的攝像頭。我們通過如下的標準軟件連接到先驅(qū)者機器人 從而實現(xiàn)Hume程序應用：ARIA（先進機器人應用程序接口）。該軟件是一個連接機器人微 控制器的開源開發(fā)環(huán)境，并且提供了基本的馬達和攝像功能接口； VisLib是一個基于C語 言的開源視覺處理程序庫，它提供了基

14、本的圖像處理能力。圖 6 SEBO - the Heriot-Watt/St Andrews 先鋒機器人 P3-ATA.軟件體系結構圖7展示了在測試平臺上實現(xiàn)的軟件結構。在機器人上實線箭頭代表本地套接字通信而 虛擬箭頭表示無線套接字通信。除了在筆記本電腦上運行的Java GUI以外，所有的代碼都 是存儲于機器人上的。位于機器人上的圖像處理程序?qū)C器人攝像機捕獲的實時圖像以 Hume語言方式記錄，然后通過無線方式發(fā)送到筆記本電腦，并在其中實時的顯示出來。每個圖像的紅色，藍色和綠色分量都能被捕獲到。由于其中被捕獲的圖像大小是240 x320，因 此要求有一個尺寸為3x240 x320的存儲結構。圖

15、7機器人測試平臺結構圖8接口界面的截圖我們已經(jīng)在筆記本電腦上實現(xiàn)了一個簡單命令的接口。當用戶決定移動機器人時，電腦 會發(fā)送一個無線信號到位于機器人上的Hume程序中。然后Hume程序與一個C+ ARIA程 序通信，該程序把基本的電機命令發(fā)送到機器人。以類似控制機器人的方式控制攝像頭。圖 7展示了當用戶選擇控制相機時，控制信號就通過無線從筆記本電腦發(fā)送到機器人上的 Hume程序中。然后，Hume程序就會與C+ ARIA程序通信，并讓其發(fā)送相機的控制命令。 圖8左上部分顯示的是相機面板，用于控制相機的搖攝，傾斜和變焦功能。這里提供了兩套 相機控制。第一組允許設定相機的最小運動或?qū)咕嘀?，而第二組允

16、許設定相機的最大運動 或?qū)怪?。結合視覺算法圖7中有星號標記的Hume方框圖可以先后被替換為：LUV轉(zhuǎn)換算法；均值漂移分離算法；均值漂移目標跟蹤算法。這些算法產(chǎn)生不同的圖像效果。從最初的實驗中，每一個算法都可以作為測試平臺結構 的一部分，并通過簡單地更換Hume盒，將圖像從相機傳到Java界面上。這項工作的開始 就要明確各算法間的依賴關系并在需要處建立有效的鏈接點。對于LUV的轉(zhuǎn)換算法，圖像被呈現(xiàn)在LUV色彩空間中。對于均值漂移分離算法，實 驗中使用多種類型和尺寸的圖像。通常情況下該算法是處理尺寸為240 x320的圖像。均值 漂移目標跟蹤算法的最初工作出現(xiàn)了令人欣喜的結果。對于一個放置在相機

17、焦點上的目標， 當機器人或相機以穩(wěn)定的速度移動時，可以在屏幕上實時的跟蹤目標。當前的工作是引入這樣一個選項，它允許用戶在界面屏幕上圈出感興趣的目標，將其突 出出來。該對象的坐標，即在屏幕上的位置，就被傳送到均值漂移跟蹤算法。這樣一來，如 果目標移動，機器人也跟著移動；或者機器人上的相機跟著移動，然后使用在2.2節(jié)中討論 的算法對該目標進行跟蹤。這些是可以在界面上觀察到的。實現(xiàn)與實驗評價圖9展示了跟蹤對象的第一幀圖和前景圖像。在這種情況下，當目標具有相對統(tǒng)一的亮 度時，一個簡單的區(qū)域同質(zhì)標準就會被采用。圖10展示了使用NCDT內(nèi)核跟蹤一名男路人 的部分結果。圖9分離出的矩形窗口圖10使用NCDT

18、內(nèi)核跟蹤一名男路人的部分結果機器人平臺目前，圖7中展示的機器人平臺已被用來作為在Hume語言中開發(fā)的視覺算法的部署體 系結構。這些算法的使用是Hume的實現(xiàn)工作以及Hume可以和其他行業(yè)標準語言，例如 C, C+, Java相結合的概念上的證明。在第二節(jié)中探討的這三種算法，可以對安裝在機器人 表面上的相機捕獲的圖像進行實時處理。機器人平臺可能的擴展將涉及到的Hume代碼的各個部分，這些代碼與機器人的API 相連接。我們通過做這些內(nèi)容，以個別方案為基礎來獲得一系列的性能分析。或者，我們將 圖7中展示的三種Hume程序結合起來。通過程序的執(zhí)行我們可以對其進行性能分析，當 Java接口發(fā)出機器人或相

19、機的移動請求時，我們也可以評估程序的反應速率。均值漂移跟蹤 算法的一系列實驗將繼續(xù)進行下去。這些實驗涉及到不同大小，顏色，不同的背景顏色和形 狀的跟蹤對象。相關工作在很多應用領域都有關于實時跟蹤算法的應用。通過實時獲取圖像，并進行圖像分割， 我們可以將圖像分為幾個不同的區(qū)域。然后，我們可以利用這個信息來跟蹤突出顯示的對象。 在這個處理過程中，這些算法是采用FPGAs（現(xiàn)場可編程門陣列）而不是微處理器來實現(xiàn)。這 是利用現(xiàn)場可編程門陣列的計算性和并行處理的優(yōu)勢。然而，在10中討論到的算法需要用到 清晰可見的熒光標記，在本文中討論到的均值漂移算法則不需要這種標記。我們最初的實驗 已經(jīng)證明兩個僅在一些

20、小地方有顏色差異的相似物體也可以被識別出來。在嵌入式實時應用程序中，獲得精確的時間和空間使用率邊界是非常有價值的EH。如 果我們能夠預測系統(tǒng)如何運行，我們就可以為一個程序周期的期望執(zhí)行時間設定上界。使用 Hume編程語言，就可以做到這些。Hume編程語言設計的關鍵是它的可計算的功能。為了 提供這些計算結構，Hume編程語言開發(fā)了一系列的重疊語言子集13。在每個重疊子集中都 增加了語言的可表達性。通過選擇合適的語言等級，程序員可以在語言的表現(xiàn)性和需要的 計算等級中得到平衡。因此，我們可以確定所需要的時間和空間上界一一這就使我們可以確 定所需要的硬件數(shù)量。在本文中提到的關于FPGAs的休姆算法的部

21、署正是我們所感興趣的。 然后我們可以利用Hume編程語言的計算結果與微處理器中獲得的計算結果相比較。結論及展望本文中我們探索了使用變量核來提高均值漂移分割算法。實驗結果表明，和利用標準內(nèi) 核程序計算結果相比較，已經(jīng)完成的均值漂移物體跟蹤算法在跟蹤能力和通用性上有所提 高。這些算法包含在用于證明他們效率的機器人測試架構中。每一種算法都是用Hume算法 研發(fā)的。通過實時圖像的處理和機器人的無線通信，可以在復雜混亂的背景下追蹤移動物體。目前進行中的工作是通過以下幾項來擴展試驗平臺：1、為無人駕駛車輛研發(fā)新圖像的處理算法；2、通過增加一條線性后續(xù)算法來補充動態(tài)跟蹤算法。這些將包括用于控制機器人和相機移

22、動的擴展接口，這些擴展功能還需要進一步的論 證：1、Hume編程語言如何用于研發(fā)執(zhí)行實時處理的算法；2、測試平臺的靈活性；3、跟蹤算法的準確性。本論文中研究的工作是由英國國防部國防科學技術中心成立的系統(tǒng)工程自治系統(tǒng)(SEAS)資助的。這里要特別感謝我們在歐盟FP6 EmBounded工程中的合作伙伴：ChristianFerdinand、Reinhold Heckmann、Hans-Wolfgang Loidl、Robert Pointon 和 Steffen Jost。參考文獻K. Hammond and G. Michaelson, “The Hume Report, Version 0.

23、3”，2006K. Hammond and G. Michaelson, “Hume: a Domain-Specific Language for Real-Time Embedded Systems”，Proc. of Int. Conf, on Generative Programming and Component Engineering, Erfurt, Germany, Sept. 2003, Springer-Verlag Lecture Notes in Comp. Sci., pp. 37-56.Y. Z. Cheng, “Mean shift, model seeking,

24、 and clustering,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 17(8): 790 -799, 1995.Comaniciu, P. Meer, “Robust analysis of feature space: Color image segmentation,” In IEEE Conf. Computer vision and Pattern Recognition, 750 一 755, 1997.Comaniciu and P. Meer, “M?an shift: A robus

25、t approach toward feature space analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(5), 603-619, 2002.Comaniciu, V. Ramesh, P. Meer, “Kernel-based object tracking,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(5), pp564-575, 2003.Y. Keselman and E. Mic

26、heli-Tzanakou, “Extraction and characterization of regions of interest in biomedical images,” In Proceeding of IEEE International conference on Information Technology Application in Biomedicine (ITAB 98), 87-90, 1998.Bhattacharyya, “On a measure of divergence between two statistical populations defined by their probability distributions,” Bulletin of the Calcutta Mathematics Society, 35, pp99-110, 1943.MobileRobots Inc., “Pioneer 3 Operations Manual with