1、基于全局運(yùn)動(dòng)估計(jì)的視頻圖像拼接在監(jiān)控系統(tǒng)中的應(yīng)用                 摘要：文章通過云臺(tái)控制攝像頭拍攝的序列圖像實(shí)現(xiàn)實(shí)時(shí)的全景視圖拼接，利用金字塔分層的塊匹配方式以及參數(shù)仿射模型，快速、精確地估算各幀之間的運(yùn)動(dòng)參數(shù)，實(shí)現(xiàn)了多幀圖像的自動(dòng)拼接，達(dá)到了實(shí)時(shí)擴(kuò)大視頻監(jiān)控范圍和視野的目的。 關(guān)鍵詞：視頻監(jiān)控 全局運(yùn)動(dòng)估計(jì) 6參數(shù)仿射模型 全景圖 l引言全景視圖在諸多領(lǐng)域有著非常廣泛的應(yīng)用，在虛擬現(xiàn)實(shí)中，它是一種重要的場(chǎng)景表示方式。在

2、MPEG中的動(dòng)態(tài)Sprite編碼通過對(duì)視頻序列進(jìn)行全局運(yùn)動(dòng)估計(jì)，可重構(gòu)背景的全景視圖。在基于內(nèi)容的視頻檢索中，用全景圖表示一段視頻，極大地壓縮了視頻數(shù)據(jù)量。本文結(jié)合上述文中提到的全景圖的優(yōu)點(diǎn)，提出了一種應(yīng)用在視頻監(jiān)控中的全景圖拼接方法。通過云臺(tái)控制攝像頭左右往返運(yùn)動(dòng)實(shí)現(xiàn)實(shí)時(shí)的視頻序列圖像拼接，攝像頭所拍攝的幀之間的轉(zhuǎn)角和重疊區(qū)域并沒有嚴(yán)格限制，利用全局運(yùn)動(dòng)估計(jì)方法，估算幀間運(yùn)動(dòng)參數(shù)，實(shí)現(xiàn)多圖像的拼接融合，有效地?cái)U(kuò)大了監(jiān)視范圍和視野。2全景圖生成思路用攝像機(jī)采集得到一系列圖像，將首幀做為基準(zhǔn)全景圖，將下一幀與已有全景圖做全局運(yùn)動(dòng)估計(jì)，得到該幀的運(yùn)動(dòng)參數(shù)，根據(jù)此參數(shù)對(duì)當(dāng)前幀進(jìn)行變換，然后將該幀變形

3、圖與已有的全景圖進(jìn)行拼接融合，重復(fù)上述步驟，即可生成該視頻序列的全景圖。其中，為了節(jié)約運(yùn)行時(shí)間，保存每一幀的變形圖，當(dāng)讀人一幀圖像時(shí)，將當(dāng)前幀與前一幀的變形圖做全局運(yùn)動(dòng)估計(jì)，這樣得出的運(yùn)動(dòng)參數(shù)和每次與已有全景圖做運(yùn)動(dòng)估計(jì)得到的參數(shù)是一致的，并且由于單幀變形圖所占空間小，使 基于全局運(yùn)動(dòng)估計(jì)的視頻圖像拼接在監(jiān)控系統(tǒng)中的應(yīng)用 得運(yùn)算速度得以提高。3全局運(yùn)動(dòng)估計(jì)31全局運(yùn)動(dòng)的仿射模型幀間全局運(yùn)動(dòng)分析是一種基于模型的運(yùn)動(dòng)分析方法，在這里宜采用6參數(shù)的仿射模型來估算幀間的運(yùn)動(dòng)關(guān)系。該模型可描述圖像的平移、縮放、旋轉(zhuǎn)、仿射等線性變換：x'=ax+by+cy'=dx+ey+f(1)其中(w)

4、代表k幀中像素的坐標(biāo)，(x'，y')代表k+l幀中像素的坐標(biāo)，在該模型下定義參數(shù)矢量，其中分量e、f與平移運(yùn)動(dòng)有關(guān)，分量a、b、c、d與放縮、旋轉(zhuǎn)運(yùn)動(dòng)有關(guān)。32參數(shù)矢量估計(jì)要估計(jì)仿射模型的6個(gè)參數(shù)，至少必須獲得3 個(gè)非共線位置的運(yùn)動(dòng)矢量數(shù)據(jù)。通常情況下，可由塊匹西法、光流分析等方法來進(jìn)行。本文采用可以適應(yīng)較大缶移矢量塊匹配法來進(jìn)行參數(shù)估計(jì)。將圖像分為16xl6一共n小塊，求出各個(gè)小塊在上一幀的位移矢量，根據(jù)(1)有其中i為每個(gè)小塊的編號(hào)，axi、ayj為幀小塊中心點(diǎn)對(duì)應(yīng)與上一幀在x，y方向上的運(yùn)動(dòng)矢量。此時(shí)定義能量函數(shù)pi，p：使得p，、p，取得最小值，其中n表示塊匹配中的分塊

5、數(shù)。利用最小二乘法求解式(2)、(3)，使可得到一組線性方程：求解線性方程，即可得到參數(shù)矢量p。33分層運(yùn)動(dòng)矢量估計(jì)由于塊匹配計(jì)算量較大，故本文采用金字塔分層的塊匹配技術(shù)進(jìn)行幀間運(yùn)動(dòng)估計(jì)，以提高運(yùn)算速度，具體算法如下：首先，將圖像分為三層，最底層為原始圖像，中間層為原始圖像經(jīng)過2：l的采樣，大小變?yōu)榈讓訄D像14大小(長(zhǎng)、寬都減少一半)，最上層則為底層圖像116大小。這樣處理的好處是提高了后續(xù)運(yùn)算的速度，且經(jīng)過兩次濾波有效消除了高頻噪聲對(duì)運(yùn)動(dòng)估計(jì)的影響。通過計(jì)算最上層圖像的塊運(yùn)動(dòng)矢量，利用最小二乘估計(jì)法估算運(yùn)動(dòng)參數(shù)，由于塊匹配在有運(yùn)動(dòng)前景或者紋理不明顯的區(qū)域計(jì)算時(shí)不夠精確，故需要進(jìn)行錯(cuò)誤匹配點(diǎn)的

6、剔除。計(jì)算所有運(yùn)動(dòng)矢量與用運(yùn)動(dòng)參數(shù)恢復(fù)出的運(yùn)動(dòng)矢量的平均誤差：其中，Axi、yi為第i小塊經(jīng)過塊匹配計(jì)算出的運(yùn)動(dòng)矢量，為用運(yùn)動(dòng)參數(shù)恢復(fù)出的運(yùn)動(dòng)矢量。剔除塊匹配運(yùn)動(dòng)矢量中所有平均誤差值大于此平均誤差的矢量，用更新的運(yùn)動(dòng)矢量集合再次進(jìn)行參數(shù)估計(jì)。再將最上層用參數(shù)估計(jì)恢復(fù)出的運(yùn)動(dòng)矢量擴(kuò)大一倍，作為第二層的運(yùn)動(dòng)矢量初始值，重復(fù)與最上層計(jì)算運(yùn)動(dòng)矢量相同的步驟，直至計(jì)算出圖像最底層的運(yùn)動(dòng)參數(shù)。所示見圖l為一段720x576大小的視頻序列中利用16x16的塊匹配在某幀最上層圖像上求出的相對(duì) ( 基于全局運(yùn)動(dòng)估計(jì)的視頻圖像拼接在監(jiān)控系統(tǒng)中的應(yīng)用(2) 其上一幀的運(yùn)動(dòng)矢量。其中，白線表示迭代運(yùn)算后的運(yùn)動(dòng)矢量，而

7、黑線則麥?zhǔn)菊`差計(jì)算后，被剔除的運(yùn)動(dòng)矢量。4圖像拼接確定了兩副待拼接圖像之間的變換關(guān)系，即可確定兩圖像的重疊部分。但由于兩圖像之間的光線強(qiáng)度差異，以及直接拼接造成明顯的拼接痕跡等原因使拼接效果受到影響，故拼接時(shí)還需做如下處理：41均衡光差在圖像間的重疊區(qū)域確定后，分別計(jì)算兩圖像在重疊區(qū)域的光照強(qiáng)度，將所有點(diǎn)的光強(qiáng)值相加，然后將兩個(gè)累加值相除得到光照強(qiáng)度的比例，然后照此比例，將光照強(qiáng)度較強(qiáng)的圖像亮度降低。如圖所示見圖2兩幀圖像在均衡光差前后的拼接效果。42圖像無縫拼接在圖像拼接過程中，如果直接將兩副圖像疊加融合，由于圖像亮度的差異，會(huì)使得新圖像有明顯的拼接痕跡，為了消除拼接縫隙，在兩副圖像的重疊區(qū)

8、域，我們采用加權(quán)合成的方式實(shí)現(xiàn)圖像間的平滑過渡。設(shè)幀k、k+l在區(qū)間(xl，x2)上重疊，則新圖像在這個(gè)區(qū)間(i'j)點(diǎn)上的取值如下：f(i，j)=dfk(i，j)+(1-d)k+1(i,j)(7)其中d的取值范圍為(0，1)，變化規(guī)律為：在水平方向上從重疊區(qū)域的邊界到中心，從l到O漸變。這樣就保證了圖像拼接時(shí)在重疊區(qū)邊界部分有淡人淡出的效果。5實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)視頻采用的為一段從左至右方向拍攝的60幀視頻序列，每幀大小為720x576象素，算法用VC+編寫拼接效果如圖3所示：6視頻監(jiān)控中的應(yīng)用視頻序列拼接而成的全景圖可應(yīng)用于視頻監(jiān)控中用來擴(kuò)大監(jiān)控范圍。云臺(tái)控制攝像頭做水平或垂直方向往返運(yùn)動(dòng)

9、，每往一個(gè)方向運(yùn)動(dòng)完畢后，可將此次拍攝下來的序列幀進(jìn)行全景拼接，重復(fù)此步驟，可看到不斷刷新的全景監(jiān)控畫面，這樣操作比起單畫面的視頻監(jiān)控極大的擴(kuò)展了視野寬度，更加有利于監(jiān)控人員的觀察和分析。7結(jié)論本文利用全局運(yùn)動(dòng)估計(jì)算法，通過估算幀間的變換參數(shù)，實(shí)現(xiàn)了序列圖像的全景視圖自動(dòng)拼接。在運(yùn)動(dòng)參數(shù)估算時(shí)，采用了金字塔分層的塊匹配運(yùn)動(dòng)矢量估算，有效地提高了程序的運(yùn)行速度，其中加入對(duì)于異常塊的剔除運(yùn)算，大大提高了全局運(yùn)動(dòng)估計(jì)的精度。全局運(yùn)動(dòng)估計(jì)中用到的仿射模型使得本文中的方法對(duì)于視頻序列并無嚴(yán)格要求，允許視頻圖像有鏡頭的傾斜、變形等情況，并對(duì)鏡頭轉(zhuǎn)角也無嚴(yán)格限定，另外在圖像間光照強(qiáng)度不一的情況下。本算法由于進(jìn)行了均衡光差運(yùn)算，達(dá)到了較好的拼接效果。實(shí)驗(yàn)證明，本算法能精確、快速的生成視頻序列的全景視圖，使得視頻監(jiān)控的視野范圍擴(kuò)大，具有較好的實(shí)用價(jià)值。參考文獻(xiàn)1 張益貞劉滔Visual c+實(shí)現(xiàn)MPEGJPEG編解碼技術(shù)M人民郵電出版社，20022俞天力章毓晉基于全局運(yùn)動(dòng)信息的視頻檢索技術(shù)J電子學(xué)報(bào)2001；29(12A)：1794-17983賀玉文趙黎鐘玉琢楊士強(qiáng)快速魯棒的全