PAGE1基于FPGA平臺和顏色識別的小球追蹤系統(tǒng)設(shè)計與實現(xiàn)摘要目標(biāo)追蹤系統(tǒng)在視覺導(dǎo)航、智能監(jiān)控等領(lǐng)域都有廣泛的應(yīng)用，已成為當(dāng)前計算機視覺的重要研究方向之一。FPGA因其并行處理方式對圖像數(shù)據(jù)有很大的吞吐量，并且通過流水線方式可以提高算法運行速度，而且當(dāng)前FPGA的發(fā)展趨勢使得集成度越來越高，體積越來越小，因此FPGA非常適合作為小球追蹤系統(tǒng)的設(shè)計平臺。本課題主要思路為基于顏色識別設(shè)計目標(biāo)追蹤系統(tǒng)。其中顏色識別算法涉及到圖像預(yù)處理的算法，基于FPGA平臺分別設(shè)計并實現(xiàn)了識別過程所用到的算法，并通過仿真驗證了算法的正確性。本設(shè)計中顏色識別采取了動態(tài)閾值與自適應(yīng)匹配模板，使得系統(tǒng)在面對不同光照環(huán)境時有較好的魯棒性。此外，本系統(tǒng)還對傳統(tǒng)形態(tài)學(xué)濾波的方式做了改善，使系統(tǒng)能夠針對不同大小的干擾物體，自主選擇濾波次數(shù)及程度，從而最大限度地降低目標(biāo)識別過程中的誤差。最終設(shè)計出了抗干擾性強，準(zhǔn)確度高，實時性好的小球追蹤系統(tǒng)。關(guān)鍵詞：FPGA目標(biāo)追蹤顏色識別動態(tài)閾值目錄摘要 11 緒論 -1-1.1課題研究的目的及意義 -1-1.2國內(nèi)外發(fā)展現(xiàn)狀 -1-1.2.1目標(biāo)跟蹤特征發(fā)展現(xiàn)狀 -1-1.2.2目標(biāo)跟蹤算法發(fā)展現(xiàn)狀 -2-1.3本文主要研究內(nèi)容和章節(jié)安排 -3-2系統(tǒng)方案論證與選擇 -4-2.1引言 -4-2.2系統(tǒng)的功能需求與設(shè)計 -4-2.2.1系統(tǒng)的功能 -4-2.2.2系統(tǒng)總體框架搭建 -5-2.3系統(tǒng)算法選取與總體設(shè)計 -5-2.3.1跟蹤算法的對比與選擇 -5-2.3.2系統(tǒng)識別與跟蹤的算法流程 -6-2.4系統(tǒng)硬件選取與搭建 -7-2.4.1圖像采集模塊的選取與實現(xiàn) -7-2.4.2圖像顯示模塊的選取與實現(xiàn) -7-2.5本章小結(jié) -8-3系統(tǒng)整體算法的FPGA實現(xiàn) -8-3.1目標(biāo)識別的算法流程 -8-3.2圖像采集模塊 -9-3.3圖像處理部分設(shè)計流程 -10-3.3.1RGB與HSV色彩空間及轉(zhuǎn)換 -10-3.3.2色彩提取與坐標(biāo)變換模塊 -11-3.3.3膨脹與腐蝕模塊（erodeip&dilateip） -12-3.4形態(tài)學(xué)處理 -13-3.4.1腐蝕的硬件實現(xiàn)與仿真 -13-3.4.2膨脹的硬件實現(xiàn)與仿真 -15-3.5顏色提取與識別 -17-3.5.1目標(biāo)顏色提取 -17-3.5.2動態(tài)閾值與自適應(yīng)匹配模板 -18-3.6本章小結(jié) -21-4實驗結(jié)果 -22-4.1二值化色彩空間轉(zhuǎn)換驗證 -22-4.2顏色識別仿真驗證 -22-4.3硬件實驗結(jié)果 -23-5結(jié)論 -24-6參考文獻(xiàn) -25-1-緒論1.1課題研究的目的及意義目標(biāo)追蹤，是指采集圖像并對圖像數(shù)據(jù)進(jìn)行一系列的處理分析，實現(xiàn)對目標(biāo)的識別及后續(xù)的追蹤。目標(biāo)追蹤奇數(shù)在當(dāng)前已廣泛應(yīng)用于各個領(lǐng)域，尤其是需要監(jiān)控的場合以及一些高度安全場所。之前大部分的目標(biāo)追蹤算法的實現(xiàn)都是基于傳統(tǒng)平臺。如PC機的優(yōu)勢在于其處理速度和實時性較好，且開發(fā)簡單，但PC及功耗較高，往往在很多場合不適用；DSP平臺自帶乘法器，可靈活處理圖像，但其只能處理某些特定的簡單的圖像算法。實際要求往往比較復(fù)雜，當(dāng)對系統(tǒng)的實時性要求較高時，需要將多個DSP并行起來實現(xiàn)，但這樣成本也會大幅提高，因此基于DSP平臺的目標(biāo)追蹤系統(tǒng)設(shè)計較困難。近年來，F(xiàn)PGA在相關(guān)技術(shù)與得到迅速發(fā)展，其內(nèi)部資源也越來越豐富，其并行圖像處理功能可以確保系統(tǒng)的實時性，并且具有很高的數(shù)據(jù)集成度，算法升級方便，開發(fā)過程更具靈活性，所以FPGA完全可以作為圖像處理相關(guān)領(lǐng)域的平臺。因此，基于FPGA平臺設(shè)計目標(biāo)追蹤系統(tǒng)具有很重要的研究意義。1.2國內(nèi)外發(fā)展現(xiàn)狀1.2.1目標(biāo)跟蹤特征發(fā)展現(xiàn)狀不同算法可用于識別不同的目標(biāo)特征，且有各自的適應(yīng)場合。以下為常用的幾種視覺特征：（1）顏色特征：該特征主要適用于檢測目標(biāo)物體顏色與背景顏色相差較大的場合。即使在目標(biāo)物體受到遮擋，或目標(biāo)由于運動導(dǎo)致變形等情況下，只要目標(biāo)顏色特點并未發(fā)生改變，就可以根據(jù)該顏色特征對其實現(xiàn)追蹤。基于顏色直方圖均值偏移跟蹤算法（Meanshift）能夠?qū)崟r追蹤非剛性運動的目標(biāo)[17]。Birchfield等人通過將三維顏色直方圖中的點添加像素帶不同顏色之間均勻分布的空間尺度關(guān)系圖中對該檢測算法進(jìn)行改進(jìn)，提出了一種基于空間顏色直方圖的目標(biāo)追蹤算法，從而保證了其對目標(biāo)點的準(zhǔn)確檢測。（2）紋理特征：該特征主要是對一個目標(biāo)圖像顏色變化的一種抽象描述，對圖像灰度層級變化和噪聲都具有較強的魯棒性。其中LBP（局部二值模式）的數(shù)值編碼簡單，計算過程容易，受光照環(huán)境影響小。Haar特征（哈爾特征）是通過對一個局部性區(qū)域特征進(jìn)行灰度計算，得到變化的灰度特征值，作為灰度判別式圖像跟蹤的特征[18]。（3）輪廓特征：該特征用于準(zhǔn)確表達(dá)一個物體空間結(jié)構(gòu)的一種特征，優(yōu)勢在于外部環(huán)境發(fā)生變化時，物體本身輪廓可保持不變，這點與顏色特征不同。Blake與Isard將可重復(fù)變形的面部輪廓與人體運動學(xué)中的模型相結(jié)合實現(xiàn)對人體的追蹤。Tao等人提出了基于EOS（基于邊緣方向的直方曲線圖）的目標(biāo)跟蹤算法[20-21]。（4）局部特征描述子：該特征是在圖像所在區(qū)域中提取一個區(qū)分度高的特征節(jié)點。Qjala等人通過采用局部特征的二元模式實現(xiàn)了對人臉的識別，Lalonde等人將其應(yīng)用于平方差異化的局部特征在平方差異偏移的架構(gòu)中，并嵌入了以大小為尺度的不變特征，對目標(biāo)的跟蹤效果很好。文獻(xiàn)[8]提出了一款基于DSP+FPGA的實時目標(biāo)跟蹤系統(tǒng)，采用背景加權(quán)的核直方圖建立目標(biāo)模板從而減小跟蹤框中背景對于跟蹤的影響，并將整個算法進(jìn)行優(yōu)化并在嵌入式系統(tǒng)中得以實時實現(xiàn)。1.2.2目標(biāo)跟蹤算法發(fā)展現(xiàn)狀目標(biāo)跟蹤是指通過對圖像傳感器采集到的數(shù)據(jù)進(jìn)行處理，并對其中目標(biāo)物體進(jìn)4行檢測識別，計算目標(biāo)在當(dāng)前幀的相對位置等信息實現(xiàn)目標(biāo)追蹤。目標(biāo)跟蹤算法根據(jù)匹配規(guī)則不同分為三種：特征、區(qū)域和變形模板。以下為三種算法的描述:（1）基于特征的目標(biāo)跟蹤算法：該算法可以通過將連續(xù)幀中每個匹配幀與目標(biāo)局部特征相互進(jìn)行匹配，實現(xiàn)對匹配目標(biāo)局部特征目標(biāo)信息的自動識別。物體的主要特征包括面積、周長、質(zhì)量、顏色等。為提高算法精度，通常將多個特征結(jié)合在一起進(jìn)行追蹤，但相應(yīng)的效率會降低。該類算法的主要優(yōu)勢在于，即使場景中的目標(biāo)出現(xiàn)部分遮擋的情況，只要從一個特征點上能夠看到，就可以實現(xiàn)對目標(biāo)的持續(xù)追蹤。（2）基于區(qū)域的跟蹤算法：將一個確定目標(biāo)的初始位置所在區(qū)域中的每個圖像塊分別當(dāng)做一個確定目標(biāo)跟蹤模板，將目標(biāo)模板與候選圖像中所有目標(biāo)的初始位置之間進(jìn)行一種相干匹配可能位置進(jìn)行相干匹，其中相關(guān)匹配度最高的地方即為目標(biāo)的初始所在位置。匹配標(biāo)準(zhǔn)需要根據(jù)平方和或者其他準(zhǔn)則比如SSD等來實現(xiàn)。與其他跟蹤算法模型相比，能獲得更多的目標(biāo)信息，廣泛應(yīng)用于對比度較差或目標(biāo)體積較小的特殊跟蹤場合，但該算法主要是利用目標(biāo)區(qū)域之間關(guān)系實現(xiàn)目標(biāo)匹配和辨認(rèn)的，因此在目標(biāo)被遮擋時，可能會產(chǎn)生追蹤誤差。（3）基于變形模板的跟蹤算法：基于變形的模板就是指根據(jù)外部環(huán)境的變化改變原本的物體模板，常用實例包括在對單個目標(biāo)進(jìn)行追蹤時使用的snakes模型，以及同時追蹤多個目標(biāo)物體時時，選擇基于水平聚焦的主動式輪廓模型。近年來，國內(nèi)的跟蹤算法飛速發(fā)展。文獻(xiàn)[3]介紹了我國目前目標(biāo)追蹤技術(shù)在軍事領(lǐng)域上的應(yīng)用，實現(xiàn)復(fù)雜情景下目標(biāo)長時準(zhǔn)確跟蹤，實現(xiàn)在高科技現(xiàn)代戰(zhàn)爭中使裝甲戰(zhàn)車具備精確的目標(biāo)打擊能力和態(tài)勢感知能力。文獻(xiàn)[9]研究了在靜態(tài)背景下，基于現(xiàn)場可編程門陣列技術(shù)，通過幀間差分和形態(tài)學(xué)濾波實現(xiàn)目標(biāo)檢測，以及通過多區(qū)域掃描實現(xiàn)多目標(biāo)跟蹤，最終經(jīng)過檢驗，該系統(tǒng)運行穩(wěn)定且具有良好的魯棒性。文獻(xiàn)[7]設(shè)計了一種基于FPGA的MeanShift跟蹤系統(tǒng)，對核函數(shù)和權(quán)重計算進(jìn)行優(yōu)化，使用定點運算替代浮點運算，采用此方法大大提高了MeanShift跟蹤算法的計算速度，進(jìn)一步提高了系統(tǒng)的實時性。除此之外，我國還有很多實驗室在進(jìn)行跟蹤系統(tǒng)相關(guān)領(lǐng)域的研究。1.3本文主要研究內(nèi)容和章節(jié)安排本文研究課題主要為研究基于FPGA平臺設(shè)計小球追蹤系統(tǒng)，基于顏色識別的目標(biāo)追蹤算法是整個追蹤系統(tǒng)設(shè)計的核心。FPGA的并行處理優(yōu)勢使得圖像處理算法具有非常好的實時性。本文的主要研究內(nèi)容如下：（1）目標(biāo)追蹤系統(tǒng)的方案設(shè)計：根據(jù)任務(wù)書中的功能要求，結(jié)合系統(tǒng)的工作場景，選擇處理平臺和跟蹤算法。對比FPGA與其他傳統(tǒng)處理平臺后，F(xiàn)PGA因其實時處理方面的優(yōu)勢最終確定為系統(tǒng)的整體處理平臺。根據(jù)該算法在工作中實現(xiàn)的難易程度以及應(yīng)用場景，最終確定采用基于顏色識別的目標(biāo)跟蹤算法，最終設(shè)計出跟蹤系統(tǒng)的整體流程，并搭建相應(yīng)的硬件平臺。（2）算法的硬件實現(xiàn)：考慮到實際環(huán)境中外部光照環(huán)境變化可能過大，使得跟蹤精度降低，為提高系統(tǒng)對光照的魯棒性，保證系統(tǒng)識別的準(zhǔn)確性，本系統(tǒng)設(shè)計了動態(tài)閾值與自適應(yīng)匹配模板。為減少與目標(biāo)顏色相近物體對目標(biāo)識別的影響，改進(jìn)了傳統(tǒng)形態(tài)學(xué)濾波方式，使系統(tǒng)能夠根據(jù)干擾程度大小自主選擇濾波程度和次數(shù)盡可能降低干擾噪聲及物體的影響。（3）評估系統(tǒng)性能：根據(jù)系統(tǒng)仿真及硬件實現(xiàn)的運算速度，獲取圖像的頻率，對該跟蹤系統(tǒng)的速度及精度進(jìn)行評估，并與系統(tǒng)的功能要求進(jìn)行對比，確定設(shè)計系統(tǒng)精度是否符合要求。系統(tǒng)跟蹤精度與舵機運行速度，F(xiàn)PGA的運行速度等有關(guān)，分別分析各模塊的跟蹤精度，得到系統(tǒng)的跟蹤精度，最終確定是否滿足預(yù)先設(shè)定目標(biāo)。2系統(tǒng)方案論證與選擇2.1引言針對系統(tǒng)的應(yīng)用場景，設(shè)定系統(tǒng)的預(yù)期功能，制定相應(yīng)的設(shè)計方案，通過對比，選擇最合適的處理平臺與系統(tǒng)算法，設(shè)置相應(yīng)的功能參數(shù)，選擇合適的硬件驅(qū)動，最終搭建出系統(tǒng)的軟硬件平臺。2.2系統(tǒng)的功能需求與設(shè)計設(shè)計目標(biāo)追蹤系統(tǒng)，首先要有良好的實時性，并在光照環(huán)境變化及外部物體干擾環(huán)境下仍可以保持良好的實時性與準(zhǔn)確性，最大程度地降低外部環(huán)境對目標(biāo)追蹤的干擾，并且需要考慮算法的可實施性系統(tǒng)構(gòu)建的成本，根據(jù)這些需求搭建系統(tǒng)的整體框架。2.2.1系統(tǒng)的功能本系統(tǒng)主要應(yīng)用于一些需要監(jiān)控的場合，根據(jù)已有目標(biāo)特征，對目標(biāo)區(qū)域內(nèi)像素點進(jìn)行逐點掃描，檢測特征與目標(biāo)特征相符時，則認(rèn)定其為目標(biāo)物體，并進(jìn)行實時追蹤。以下為對該目標(biāo)追蹤系統(tǒng)的性能要求：在光照較弱或外部光照環(huán)境發(fā)生變化時，也能保證一定的實時性與準(zhǔn)確性。外部環(huán)境存在干擾物體或目標(biāo)發(fā)生運動的情況下，也可以準(zhǔn)確識別出目標(biāo)物體。對速度控制在15cm/s以下的物體可進(jìn)行實時追蹤，且跟蹤精度在5°~10°范圍內(nèi)。2.2.2系統(tǒng)總體框架搭建系統(tǒng)主要由圖像采集模塊和圖像處理模塊組成。FPGA通過攝像頭采集圖像數(shù)據(jù)并緩存到SDRAM中，在從SDRAM搬運到LCD驅(qū)動進(jìn)行輸出顯示。從下面總體框圖可以看出，在LCD圖像流輸出后進(jìn)行圖像處理。圖像處理模塊采用流水線處理的方式，先后完成RGB-HSV（二值化）、膨脹腐蝕的形態(tài)學(xué)濾波和目標(biāo)物體坐標(biāo)提取，最后輸出圖像及物體坐標(biāo)，然后舵機驅(qū)動模塊驅(qū)動舵機進(jìn)行實時追蹤。系統(tǒng)總體設(shè)計框架圖如下：圖2.1系統(tǒng)總體框架圖2.3系統(tǒng)算法選取與總體設(shè)計2.3.1跟蹤算法的對比與選擇系統(tǒng)的跟蹤算法要有魯棒性、準(zhǔn)確性和實時性，魯棒性是指系統(tǒng)在外部環(huán)境的變化下保持穩(wěn)定，仍能對目標(biāo)進(jìn)行準(zhǔn)確追蹤。準(zhǔn)確性是對目標(biāo)識別的準(zhǔn)確性，在存在外部干擾的環(huán)境下也能對目標(biāo)物體進(jìn)行準(zhǔn)確追蹤，實時性是指跟蹤速度要滿足一定要求，目標(biāo)物體運動速度在一定范圍內(nèi)可以保證準(zhǔn)確追蹤。通過對比上述三種跟蹤算法并結(jié)合實際應(yīng)用情況，最終系統(tǒng)采用了基于顏色特征的目標(biāo)追蹤算法，既能保證跟蹤精度與實時性，實現(xiàn)過程又不復(fù)雜，基本達(dá)到了預(yù)期的功能需求。通過添加形態(tài)學(xué)濾波模塊，減少外部干擾，增強系統(tǒng)的抗干擾性。圖2.2為本系統(tǒng)跟蹤算法的設(shè)計流程。圖2.2基于特征跟蹤算法流程圖確定系統(tǒng)算法前，首先要選取目標(biāo)特征，特征選取標(biāo)準(zhǔn)如下：第一：分辨率高。目標(biāo)特征應(yīng)使目標(biāo)物體能夠與背景環(huán)境顯著區(qū)分開，即目標(biāo)物體應(yīng)與其他物體顏色具有鮮明差異。第二：可靠性高。外部環(huán)境發(fā)生變化時，選定的特征應(yīng)不變或變化較小，保證系統(tǒng)檢測的可靠性。第三：實時性好。若系統(tǒng)算法設(shè)計過于復(fù)雜，對應(yīng)的工作量和耗時就比較多，實時性便無法保證，因此特征維度應(yīng)該適中，使整體算法流程不至于過于復(fù)雜，在保證識別準(zhǔn)確性的同時確保跟蹤的實時性。顏色特征是物體最基本的特征之一，基于顏色特征的目標(biāo)跟蹤算法計算復(fù)雜度時鐘，具有良好的實時性與可分辨性，并且同類目標(biāo)的可靠性高，因此本系統(tǒng)算法采用基于顏色特征的目標(biāo)追蹤算法。2.3.2系統(tǒng)識別與跟蹤的算法流程系統(tǒng)識別與追蹤的算法實現(xiàn)流程：首先通過攝像頭采集圖像數(shù)據(jù)，經(jīng)過濾波處理后，對圖像數(shù)據(jù)作二值化處理，之后通過按鍵提取顏色，作為匹配模板，將下一幀的像素點與匹配模板作比較，所得顏色識別結(jié)果一部分發(fā)送到VGA驗證，另外一部分先通過形態(tài)學(xué)濾波作預(yù)處理，去噪后進(jìn)行中心點計算，輸出到跟蹤模塊，追蹤模塊通過PID反饋控制舵機完成對目標(biāo)的追蹤。圖2.3系統(tǒng)跟蹤算法實現(xiàn)流程2.4系統(tǒng)硬件選取與搭建上文已介紹了圖像處理模塊平臺FPGA的選擇過程，其余模塊硬件選取思路如下：2.4.1圖像采集模塊的選取與實現(xiàn)該模塊作為整個系統(tǒng)的輸入，通過FPGA采集圖像數(shù)據(jù)，再將圖像數(shù)據(jù)輸入搭配LCD驅(qū)動進(jìn)行輸出顯示，下面對攝像頭型號的選取及圖像采集進(jìn)行介紹。攝像頭根據(jù)圖像處理傳感器所用材料不同可分為CCD和CMOS兩種，其中CMOS傳感器因為其價格低廉，開發(fā)簡單，功耗低等優(yōu)勢，在目前市場中已占據(jù)絕大部分份額。根據(jù)對比分析，本系統(tǒng)最終采用ov5640CMOS傳感器。OV5640是一個低功耗、高性能、1/4英寸、且五百萬像素（幀率可達(dá)到15fps）的CMOS圖像傳感器，它提供了單芯片以O(shè)mniBSI技術(shù)封裝而成的五百萬像素（2592*1944）攝像頭的全部功能，而且還有一個可通過相機串行接口（SCCB），它還具有攝像頭功能，提供了全幀、采樣、窗口化、任意縮放的多種格式的8比特或者10比特的圖像數(shù)據(jù)。在做圖像采集時，首先對攝像頭初始化，使其輸出格式為RGB565，在vivado平臺中編寫對應(yīng)代碼，根據(jù)行場同步信號生成相應(yīng)的地址與寫使能信號，之后打包成IP核。IP核封裝如下：圖2.4圖像采集IP核2.4.2圖像顯示模塊的選取與實現(xiàn)圖像顯示模塊是將經(jīng)過處理后的圖像作可視化顯示，根據(jù)顯示結(jié)果來評價目標(biāo)跟蹤的效果。本系統(tǒng)選擇Thinkvision液晶顯示屏，最高顯示分辨率為1920*1080，通過USB和VGA兩個接口進(jìn)行硬件驅(qū)動。VGA中信號主要包括R、G、B、H、V，其中RGB為數(shù)據(jù)信號，H、V為控制信號，數(shù)據(jù)信號傳輸時需要控制信號進(jìn)行同步控制。編寫響應(yīng)驅(qū)動程序源代碼，之后打包成IP核，VGAIP核封裝如下：圖2.5：VGAIP核封裝2.5本章小結(jié)本章根據(jù)系統(tǒng)的應(yīng)用場合，提出了相應(yīng)功能需求，大體描述了系統(tǒng)的整體框架。在對比各處理平臺的優(yōu)劣后，發(fā)現(xiàn)FPGA在體積、計算量、運行速度等方面具有顯著優(yōu)勢，最終系統(tǒng)處理平臺選擇FPGA。通過比較幾種常用的跟蹤算法，并結(jié)合系統(tǒng)應(yīng)用場景，最終確定了基于顏色特征的目標(biāo)跟蹤算法。處理平臺和系統(tǒng)算法確定后，便開始設(shè)計算法流程，選擇合適器件搭建硬件平臺。3系統(tǒng)整體算法的FPGA實現(xiàn)3.1目標(biāo)識別的算法流程系統(tǒng)采用的目標(biāo)識別算法流程如圖所示，首先通過攝像頭從色彩灰度空間中采集圖像數(shù)據(jù)，經(jīng)過濾波預(yù)處理后作二值化色彩空間轉(zhuǎn)換后，轉(zhuǎn)換為標(biāo)準(zhǔn)灰度。然后進(jìn)行顏色識別與提取，將顏色識別結(jié)果一部分送入VGA驗證，另外一部分先經(jīng)過形態(tài)學(xué)濾波處理濾除一部分噪聲，然后進(jìn)行中心點計算后輸出到最終的跟蹤模塊，通過處理的結(jié)果確定是否為目標(biāo)像素點，最后跟蹤模塊對識別出的目標(biāo)像素點進(jìn)行追蹤。圖3.1系統(tǒng)算法實現(xiàn)流程3.2圖像采集模塊該模塊分為兩部分設(shè)計，配置攝像頭通訊的寄存器和相機CMOS查詢表，該模塊IP封裝及連接如圖：圖3.2：圖像采集模塊IP核封裝觀察I2C模塊IP封裝可看出，該模塊由8位設(shè)備地址，16位寄存器地址，8位寄存器數(shù)據(jù)組成，輸出包括SCL和SDA（數(shù)據(jù)線和控制線，在I2C總線傳輸數(shù)據(jù)）和10位的查找表地址lut_index。首先看攝像頭寄存器配置。實現(xiàn)過程：預(yù)先設(shè)置四個狀態(tài)：S_IDLE，S_WR_I2C_CHECK，S_WR_I2C，S_WR_I2C_DONE。①S_IDLE為空閑狀態(tài)，輸出lut_index為0；②S_WR_I2C_CHECK：此時若寫入設(shè)備地址為1，狀態(tài)跳轉(zhuǎn)為S_WR_I2C_DONE，否則狀態(tài)為S_WR_I2C，并且寫入請求賦值為1；③S_WR_I2C：由變量i2c_write_req_ack（寫入請求反饋）決定，若反饋值為1，輸出值lut_index加1，同時將寫入請求值置0，狀態(tài)跳轉(zhuǎn)為check狀態(tài)；④S_WR_I2C_DONE：表面計算結(jié)束，返回空閑狀態(tài)S_IDLE。攝像頭ov5640模塊功能為根據(jù)輸入的查找表地址，輸出對應(yīng)的查找表數(shù)據(jù)。其中數(shù)據(jù)由8位I2C地址，16位寄存器地址和8位寄存器數(shù)據(jù)組成，根據(jù)輸入的值，輸出共有302種情況，包括系統(tǒng)時鐘，復(fù)位，網(wǎng)絡(luò)控制、定時偏移等。3.3圖像處理部分設(shè)計流程圖像處理模塊算法流程如圖：圖3.3圖像處理模塊框圖3.3.1RGB與HSV色彩空間及轉(zhuǎn)換攝像頭采集到的圖像數(shù)據(jù)為RGB格式。在實際環(huán)境中，光照強度變化時RGB三種顏色分量的值變化較大。但HSV受光照環(huán)境變化的影響相對較小。系統(tǒng)由于攝像頭位置一直在隨小球運動而變化，采集到的圖像清晰度和亮度也會隨之發(fā)生變化，為保證能夠準(zhǔn)確識別追蹤單色小球，本系統(tǒng)選取HSV色彩空間，減低外部光照環(huán)境對目標(biāo)檢測的干擾。R、G、B分別表示一種顏色的紅、綠、藍(lán)分量值，其取值范圍為0-1，設(shè)max為R、G、B中的最大值，min為R、G、B中的最小值，根據(jù)HSV到RGB的轉(zhuǎn)換公式，由攝像頭采取的圖像HSV值計算得到對應(yīng)的RGB值，并對RGB值進(jìn)行后續(xù)處理。RGB到HSV的轉(zhuǎn)換公式如下：H=0°，ifS=0，ifV=max（3-3）Vivado中色彩空間轉(zhuǎn)換模塊的IP核如圖。模塊輸入包括系統(tǒng)時鐘和輸入的RGB數(shù)據(jù)，輸出為轉(zhuǎn)換后的HSV圖像數(shù)據(jù)。圖3.4色彩空間轉(zhuǎn)換模塊IP封裝3.3.2色彩提取與坐標(biāo)變換模塊小球追蹤系統(tǒng)的原理主要應(yīng)用了色彩方面的理論，尋找與單色小球顏色相近的區(qū)域，然后計算這個區(qū)域的中心點。首先需要人為提取一個小球的三種顏色分量H、S、V，掃描圖像每一幀中的各個像素，對其中與目標(biāo)物體顏色相近的像素點進(jìn)行標(biāo)注，去噪處理后再對此區(qū)域中心點進(jìn)行計算，重復(fù)上述步驟直到所有像素點均被識別，最終將處理后圖像的中心點坐標(biāo)發(fā)送給跟蹤模塊，對標(biāo)注的目標(biāo)區(qū)域進(jìn)行追蹤。顏色檢測模塊IP的封裝如下：圖3.5顏色識別模塊IP封裝其中輸入包括系統(tǒng)時鐘（與VGA時鐘同步），按鍵（控制顏色模板提取，為1時開始提?。?，滑動開關(guān)（用于清除之前提取的顏色），行計數(shù)值、列計數(shù)值等，模塊輸出為經(jīng)過處理去噪所得的標(biāo)注像素。該顏色檢測模塊內(nèi)部并沒有包含形態(tài)學(xué)處理相關(guān)部分，而是將輸入圖像數(shù)據(jù)傳輸?shù)狡渌麨V波模塊——膨脹和腐蝕模塊，進(jìn)行形態(tài)學(xué)濾波處理。而權(quán)值降噪方面，在該顏色檢測模塊中有專門計算權(quán)值的模塊，得到的權(quán)值與后續(xù)的中心點計算有關(guān)。在整個標(biāo)注運算過程中，每一個標(biāo)注像素都要計算其與上一幀中心點間的距離，根據(jù)該距離設(shè)置對應(yīng)大小的權(quán)值，像素里兩中心點距離越近，所得的權(quán)值越大，否則權(quán)值越小。通過此操作減少與目標(biāo)物體距離較遠(yuǎn)噪點對檢測的影響。3.3.3膨脹與腐蝕模塊（erodeip&dilateip）本系統(tǒng)中形態(tài)學(xué)處理部分主要分為腐蝕和膨脹算法模塊，具體設(shè)計思路如下：選取一定大小窗口對圖像的各像素進(jìn)行掃描，并設(shè)置緩存存儲各像素以便后續(xù)使用，并對采集到的像素點做濾波處理。本次設(shè)計采用3*3大小的窗口，在FPGA中，可以設(shè)計3個獨立的數(shù)據(jù)單口窗作緩存，借助狀態(tài)機和列計數(shù)值實現(xiàn)這種窗口，采用流水線數(shù)據(jù)處理的方法，實現(xiàn)加速計算。得到窗口之后，就可以對其中的各個單元進(jìn)行并行運算。窗口中輸入的圖像均為單像素1bit的二值化圖像，腐蝕算法是窗口中所有元素值都為1時，輸出為1，否則輸出為0。膨脹算法與之相反，只有當(dāng)窗口中所有元素值都為0時輸出才為0，否則輸出為1。本系統(tǒng)形態(tài)學(xué)處理部分設(shè)計了膨脹和腐蝕兩個模塊，先通過腐蝕模塊去掉圖像中較小的噪點，同時非噪聲區(qū)域的邊緣部分也被切除了一些；然后再通過膨脹模塊，恢復(fù)之前腐蝕模塊所切除的非噪聲區(qū)域的邊緣。腐蝕模塊的IP封裝如下：圖3.6膨脹模塊IP封裝DilateIP封裝如下：圖3.7腐蝕模塊IP封裝兩模塊的輸入輸出代表含義大體相同，輸入包括時鐘，行計數(shù)值與列計數(shù)值，以及單比特的輸入像素，輸出為經(jīng)過處理后的單比特像素。輸出根據(jù)模塊功能，膨脹模塊輸出標(biāo)注區(qū)域為1，未標(biāo)注區(qū)域為0，腐蝕模塊輸出值相反。3.4形態(tài)學(xué)處理3.4.1腐蝕的硬件實現(xiàn)與仿真腐蝕的作用，通俗來講，是將圖像變“瘦”處理，即圖像的邊界向內(nèi)部收縮，可有效抑制邊界噪聲的影響。系統(tǒng)需要對每個像素點都作處理，所以采用完全腐蝕。硬件實現(xiàn)過程大體如下：通過預(yù)先設(shè)定的3*3窗口掃描圖像后采集到9個二值化像素點，如果全部都是有效像素，則認(rèn)為當(dāng)前像素為有效，將其標(biāo)定為1；若窗口空間中存在一個無效像素（二值化的值為0），則認(rèn)為該像素?zé)o效。簡單來說，腐蝕就是將提取到的兩個二值化像素值進(jìn)行相與運算，以計算的結(jié)果作為當(dāng)前的二值化像素值p，計算公式如下：P=p11&p12&p13&p21&p22&p23&p31&p32&p33(3-4)將每一行數(shù)據(jù)先做乘積，然后將三個結(jié)果p1，p2，p3再做乘法運算，從而提高系統(tǒng)的運行頻率。運算公式如下：（3-5（3-5）腐蝕模塊算法的驗證平臺如圖，通過and模塊實驗位與運算：圖3.9完全腐蝕算法模塊為驗證腐蝕算法，借助vivado中自帶的仿真平臺，讀取計算機中的一張以經(jīng)過二值化處理后的圖片，對該圖片進(jìn)行多次腐蝕處理，觀察圖片隨腐蝕處理次數(shù)增加發(fā)生的變化，腐蝕一次、二次、三次后圖片效果如圖：圖3.10SystemGenerator中腐蝕仿真平臺圖3.11多次腐蝕的顯示結(jié)果圖分析：腐蝕的對象為值為1的像素點，也就是對白色區(qū)域，觀察腐蝕處理的圖片效果可以看出，黑色部分變黑變肥，因為原本白色的部分變細(xì)變瘦。由此得出，腐蝕會使像素值為1的區(qū)域向內(nèi)收縮。3.4.2膨脹的硬件實現(xiàn)與仿真膨脹處理就是將與目標(biāo)物體接觸的全部像素點都合并到該目標(biāo)中，是一種向目標(biāo)物體周圍擴(kuò)張的操作，可以有效填補留在目標(biāo)周圍物體上的一些空洞。本系統(tǒng)中膨脹模塊的設(shè)計思路如下：通過預(yù)先設(shè)定的3*3窗口采取9個像素點，其中如果有一個是有效像素，則認(rèn)定當(dāng)前像素值為有效；如果其中9個像素值均為為0，則認(rèn)定改像素?zé)o效，標(biāo)定為0。膨脹運算實際上就是相或運算，與腐蝕模塊相同，因為要所有像素點均要作運算，所以采用完全膨脹。完全膨脹的公式如下：P=p11|p12|p13|p21|p22|p23|p31|p32|p33（3-3）運算流程采用流水線操作，將每一行先做或運算，然后將p1，p2，p3再做或運算。運算公式如下：p1=p11p12p膨脹模塊的算法驗證平臺如圖，通過or模塊實現(xiàn)位或運算：圖3.12部分膨脹算法模塊讀取計算機中的一張已經(jīng)過二值化處理后的圖片，經(jīng)過搭建的算法模型對其進(jìn)行膨脹處理，觀察圖片經(jīng)多次膨脹處理后的效果，經(jīng)過一次、二次、三次膨脹處理后的效果如圖：圖3.13SystemGenerator中膨脹仿真平臺圖3.14多次膨脹處理結(jié)果3.5顏色提取與識別該目標(biāo)追蹤系統(tǒng)的主要難點集中在顏色提取與識別部分，整體設(shè)計流程如下，首先提取目標(biāo)顏色，將提取顏色值與HSV值做差，所得差值再與閾值作比較，若小于閾值，則認(rèn)定該點為目標(biāo)物體像素點，經(jīng)過膨脹腐蝕等形態(tài)學(xué)濾波處理后，最終認(rèn)定為目標(biāo)物體的像素。顏色提取與識別的算法如圖：圖3.15顏色提取與識別的算法3.5.1目標(biāo)顏色提取作為顏色識別的關(guān)鍵一步，首先需要提取目標(biāo)顏色作為顏色模板，本系統(tǒng)通過按鍵控制獲取目標(biāo)顏色，過程如下：首先通過行場同步信號構(gòu)建一個32*32的矩形框，利用矩形框?qū)Υ龣z測物體進(jìn)行逐幀掃描，將像素點的HSV值分別累加，到下一幀時，將累加和清零并重新作累加，重復(fù)這兩個步驟直到目標(biāo)區(qū)域中的最后一個像素點，對三種顏色分量的累加和分別求取平均值并分別保存為H、S、V，之后通過按鍵來獲取目標(biāo)顏色，作為目標(biāo)識別的顏色模板。當(dāng)外部環(huán)境發(fā)生變化需重新提取模板時，可通過滑動開關(guān)來清除已提取的顏色，確定新的顏色模板，顏色提取的流程如下：圖3.16顏色提取流程圖3.5.2動態(tài)閾值與自適應(yīng)匹配模板顏色特征是一個物體最鮮明的特征，可以作為目標(biāo)識別的主要依據(jù)，與其他跟蹤算法相比，基于顏色識別的目標(biāo)追蹤算法實現(xiàn)相對簡單，運行效率比較高。本系統(tǒng)采用的顏色識別模塊針對單色物體，即使在外部環(huán)境中出現(xiàn)些許干擾的情況下，也能保證識別的準(zhǔn)確性?，F(xiàn)實情況中，經(jīng)常會存在光照環(huán)境發(fā)生巨大變化的情況，從而直接導(dǎo)致目標(biāo)顏色分量值變化過大，使得跟蹤系統(tǒng)中目標(biāo)像素與顏色模板匹配功能失效，并且在一些現(xiàn)實場景中可能存在與目標(biāo)顏色相近的物體同時出現(xiàn)，使跟蹤系統(tǒng)很難區(qū)分，導(dǎo)致跟蹤精度的下降，甚至導(dǎo)致目標(biāo)檢測失效。針對光照環(huán)境發(fā)生變化的情況，本系統(tǒng)設(shè)計了動態(tài)閾值與自適應(yīng)的顏色匹配模板，使得設(shè)定的顏色模板和閾值能夠隨光照變化而實時更新，從而有效保證了識別精度和系統(tǒng)對光照的魯棒性。在目標(biāo)周圍存在顏色相近的微小干擾物體或目標(biāo)受到微波干擾時，可將所有該顏色的物體都進(jìn)行識別與標(biāo)記，隨后通過形態(tài)學(xué)濾波對誤標(biāo)記的像素點進(jìn)行過濾與剔除，并且使系統(tǒng)可以根據(jù)不同程度的干擾自主選擇濾波程度與次數(shù)。本系統(tǒng)通過設(shè)定動態(tài)閾值和自適應(yīng)顏色模板來適應(yīng)外部光照環(huán)境的變化，優(yōu)先選擇目標(biāo)物體，并采用改進(jìn)的形態(tài)學(xué)濾波來濾除干擾噪聲，其實現(xiàn)原理如下：（1）在第k-1幀圖像時，按下按鍵進(jìn)行圖像提取，將提取到的三種目標(biāo)顏色分量分別求取平均值Hk-1（2）在第k幀時，將Hk，Sk，Vk值與上一幀提取到的Hk-1，Sk-1，Vk-1分別求絕對差值，比較差值與預(yù)先設(shè)定好的閾值HT，ST和VT，將三個差值加權(quán)后相加（本系統(tǒng)在這里對H分量加大權(quán)重，其余兩個分量權(quán)重小一些），得到a|（3）在第k+1幀時，將前一幀求得的三種顏色分量均值Hk，Sk和Vk分別替換之前幀的均值（4）在第k+2幀時，將第k幀識別到的目標(biāo)像素數(shù)Cntk減去第k+1幀識別到的目標(biāo)像素數(shù)Cntk+1，若差值小于0，則認(rèn)為其中有噪聲混入或光照發(fā)生了巨大變化，此時可通過增加腐蝕次數(shù)的方式來抑制噪聲，同時減小閾值（新閾值計算公式：動態(tài)閾值和自適應(yīng)匹配模板的顏色識別算法流程如圖：圖3.17動態(tài)閾值與自適應(yīng)匹配模板算法流程圖因為目標(biāo)所在環(huán)境光照強度發(fā)生變化會影響目標(biāo)顏色分量隨之變化，為了提高系統(tǒng)對光照的魯棒性，設(shè)定閾值需要能夠根據(jù)目標(biāo)周圍環(huán)境變化進(jìn)行實時更新，從而提高系統(tǒng)算法的抗干擾性與準(zhǔn)確性。為增強算法的實時冗余性，不僅采用了動態(tài)閾值的設(shè)定，而且將匹配的顏色模板也進(jìn)行實時更新，對每一幀識別到的目標(biāo)像素的顏色分量計算出一個實時平均值，然后在下一幀時，用這個平均值替換之前的顏色模板，實現(xiàn)自適應(yīng)的顏色模板匹配。為了消除情景中與目標(biāo)顏色相近的微小物體的干擾，傳統(tǒng)形態(tài)學(xué)濾波不能完全濾除干擾噪聲，為此設(shè)計了改進(jìn)的可實現(xiàn)自適應(yīng)的形態(tài)學(xué)濾波，使系統(tǒng)能夠根據(jù)噪聲大小自主選擇濾波程度與次數(shù)，最大程度的消除噪聲對目標(biāo)識別的影響。Vivado中腐蝕和膨脹模塊的連接如圖所示，其中兩模塊輸入VtcHcnt和VtcVcnt為行場同步信號，PCLK為系統(tǒng)時鐘，膨脹模塊中的輸入pix_i為經(jīng)過腐蝕處理的二值化像素值，輸出pix_o為經(jīng)過膨脹處理的二值化像素值，腐蝕模塊的輸入pix_i為腐蝕處理后的像素值，pix_o為顏色標(biāo)定后的二值化像素值。圖3.18腐蝕和膨脹模塊的IP核連接3.6本章小結(jié)本章介紹了系統(tǒng)各部分算法的設(shè)計思路及硬件實現(xiàn)，主要介紹了圖像采集模塊，圖像處理模塊以及改進(jìn)的形態(tài)學(xué)濾波處理和動態(tài)閾值的設(shè)計流程，并在vivado自帶仿真平臺SystemGenerator中實現(xiàn)仿真驗證，最終在硬件上實現(xiàn)系統(tǒng)功能，完成整個設(shè)計?？紤]到系統(tǒng)在現(xiàn)實情況中受外部光照環(huán)境變化的影響，本系統(tǒng)設(shè)計了動態(tài)閾值與自適應(yīng)匹配模板，使得閾值與顏色模板能夠隨光照變化而實時更新，提高系統(tǒng)對光照的魯棒性。針對與目標(biāo)物體顏色相近物體干擾識別的問題，設(shè)計了改進(jìn)的形態(tài)學(xué)濾波，使系統(tǒng)可根據(jù)干擾大小自主選擇濾波次數(shù)和程度，保證系統(tǒng)識別的抗干擾性與準(zhǔn)確性。4實驗結(jié)果4.1二值化色彩空間轉(zhuǎn)換驗證根據(jù)RGB到HSV的轉(zhuǎn)換公式，給定不同情況下的24位RGB值，觀察仿真輸出結(jié)果與公式計算結(jié)果是否一致。圖4.1色彩空間轉(zhuǎn)換仿真結(jié)果觀察上述仿真結(jié)果，以第一組數(shù)據(jù)為例，R、G、B值分別為1、0、0，對應(yīng)的max=1，min=0，根據(jù)轉(zhuǎn)換公式，在max=R且G≥B的情況下，計算的H=0，S=1，V=max=1。經(jīng)過驗算，其余各輸入的RGB值所轉(zhuǎn)化的HSV值均正確。4.2顏色識別仿真驗證圖4.2顏色識別仿真結(jié)果（1）圖4.3顏色識別仿真結(jié)果（2）分析：根據(jù)上述仿真結(jié)果，btn_ColorExtract為按鍵，用于提取目標(biāo)物體顏色，當(dāng)按鍵為1時開始工作，HSV24和RGB24為輸入的像素值，VtcHcnt值從0開始累加，表面正在進(jìn)行行掃描，當(dāng)掃描到第39個像素點時，VtcHcnt值置0，VtcVcnt值加1，表明第一行掃描完畢，開始對第二行進(jìn)行掃描。由dilateIP輸入的標(biāo)注像素Binary_PostProcess每隔15個時鐘翻轉(zhuǎn)一次，根據(jù)計算，輸出的去噪后的標(biāo)注像素值為1（具體計算參照動態(tài)閾值與自適應(yīng)匹配模塊設(shè)計）。4.3硬件實驗結(jié)果圖4.4硬件實現(xiàn)電路板本次設(shè)計硬件選取黑金AX7050實驗板，其底板設(shè)計上具有豐富的外圍接口，完全可以處理本次實驗對視頻圖像處理功能的需求。具體追蹤效果如圖：圖4.5：位置1的追蹤圖4.6：位置2的追蹤分析：根據(jù)實驗效果可看出，當(dāng)目標(biāo)物體運動時，系統(tǒng)可以根據(jù)其運動情況進(jìn)行實時追蹤，跟蹤精度、速度等方面均在允許誤差內(nèi)，基本滿足了預(yù)期的功能需求。5結(jié)論本課題主要針對基于FPGA平臺目標(biāo)追蹤的問題進(jìn)行了研究，通過將FPGA與傳統(tǒng)處理平臺對比比較優(yōu)缺點，最終選取FPGA作為開發(fā)平臺，結(jié)合算法實現(xiàn)的難易程度以及與平臺的契合度，最終選擇以顏色為特征進(jìn)行目標(biāo)識別和追蹤。本次課程設(shè)計與之前Verilog所學(xué)知識還是有很多不同之處，也是第一次接觸目標(biāo)追蹤這方面的課題。設(shè)計過程中的難點一方面是目標(biāo)跟蹤的算法實現(xiàn)，另一方面是各個模塊之間的連接。算法在確定思路后，其實還是各狀態(tài)機、邏輯電路以及計數(shù)器等基本組成部分的組合。在連接各模塊時，涉及到幀緩存模塊以及讀寫控制框架等連接部分，用于分隔各功能模塊以及緩存數(shù)據(jù)等功能。其他模塊ip的思路也大致如此，根據(jù)需求及適配場合選擇硬件。以下為本次畢業(yè)設(shè)計研究成果簡介：（1）設(shè)計了目標(biāo)跟蹤的算法，結(jié)合功能需求及具體應(yīng)用場景，以及系統(tǒng)實現(xiàn)的難易程度，最終選取基于顏色特征的跟蹤算法，并搭建了相應(yīng)的軟硬件平臺。（2）開發(fā)了動態(tài)閾值與自適應(yīng)匹配模板。當(dāng)目標(biāo)物體所在環(huán)境的光照發(fā)生變化時，為增強算法對光照環(huán)境的魯棒性，設(shè)計了動態(tài)閾值分割和自適應(yīng)顏色匹配模板，外部環(huán)境發(fā)生變化時，可實時更新閾值與顏色模板。（3）改進(jìn)了傳統(tǒng)形態(tài)學(xué)濾波方式。因傳統(tǒng)形態(tài)學(xué)濾波效果不佳，為提高系統(tǒng)的跟蹤精度與實時性，設(shè)計了改進(jìn)的形態(tài)學(xué)濾波方式，使系統(tǒng)可根據(jù)噪聲大小自主選擇濾波次數(shù)和程度，盡可能提高系統(tǒng)的抗干擾性。6參考文獻(xiàn)[1]黃齊.背景變化的多運動目標(biāo)實時在線跟蹤方法研究[D].電子科技大學(xué),2020.[2]邢凱,李彬華,陶勇,王錦良,何春.基于FPGA的運動目標(biāo)實時檢測跟蹤算法及其實現(xiàn)技術(shù)[J].光學(xué)技術(shù),2020,46(02):158-166.[3]郭瓊,閆秀燕,段晶晶,段杰奇,翟曉燕.裝甲戰(zhàn)車圖像跟蹤系統(tǒng)技術(shù)研究[J].火力與指揮控制,2020,45(01):65-68+74.[4]周政.基于FPGA的智能目標(biāo)跟蹤系統(tǒng)設(shè)計與實現(xiàn)[D].西安電子科技大學(xué),2019.[5]曹新恩.基于FPGA的實時目標(biāo)跟蹤系統(tǒng)研究與實現(xiàn)[D].西安電子科技大學(xué),2019.[6]范志銘,蘇成悅,鄭俊波,林劍冰,周冬躍,雷亮.FPGA圖像識別與目標(biāo)跟蹤系統(tǒng)[J].微型機與應(yīng)用,2014,33(18):45-47.[7]周丹,柴志雷