章丘四中校園新聞發(fā)布管理系統(tǒng)的設(shè)計與實現(xiàn)雙目視覺跑道測距算法概述目錄TOC\o"1-3"\h\u1936雙目視覺跑道測距算法概述 1319871.1引言 1205671.2雙目立體視覺介紹及原理 2228961.3攝像機(jī)標(biāo)定 467931.3.1坐標(biāo)系轉(zhuǎn)換 4203521.3.2雙目標(biāo)定參數(shù) 7244521.3.3雙目相機(jī)外部參數(shù) 1170851.3.4標(biāo)定實驗 12306631.4圖像校正 14292241.4.1極線幾何和圖像校正原理 14219251.4.2圖像校正實驗 17305271.5立體匹配 1888181.5.1立體匹配算法介紹 18215721.5.2基于SGBM算法的雙目立體匹配 19149131.5.3立體匹配結(jié)果分析 2053441.5.4算法誤差分析 211.1引言本章主要介紹了一種基于SGBM的立體匹配算法，利用該算法實現(xiàn)了獲取跑道與飛機(jī)之間相對位置坐標(biāo)的功能，相機(jī)拍攝的圖像經(jīng)過圖像處理后得到深度圖，通過深度圖又求得坐標(biāo)。對于坐標(biāo)進(jìn)行分析，可以判斷出飛機(jī)此時距離跑道的數(shù)值，得到飛機(jī)在三維空間的位置關(guān)系。這項研究實現(xiàn)的前提條件是立體匹配的準(zhǔn)確性以及深度圖像的準(zhǔn)確性及魯棒性。在本文的研究過程中，通過圖像處理后的結(jié)果對圖像的內(nèi)容進(jìn)行分析時，可以看出來跑道在深度圖像中是一個明顯的特征，也是一個很重要的特征，對于飛機(jī)的最終安全著陸起著至關(guān)重要的作用，同時對于后續(xù)飛機(jī)姿態(tài)角的計算也是很重要的一步。在進(jìn)行跑道相對位置獲取之前，必須得到可以作為研究的實驗圖像，由于真實飛機(jī)進(jìn)近著陸時的圖像采集條件要求較高，所以實驗主要以自己設(shè)計的實驗場景為主，跑道采用按比例縮小模型來替代真實跑道，使用小覓S1040雙目攝像機(jī)來進(jìn)行拍攝。1.2雙目立體視覺介紹及原理視覺是一個從古至今都在研究的課題，通過視覺使得人們有了直觀感受世界的能力。當(dāng)前對于視覺的研究更多的被放在了用機(jī)器模擬人眼，從而使機(jī)器同樣獲得大量的外部信息。對于人類而言，視覺是一個復(fù)雜的過程，這個過程的最終目的是通過當(dāng)前場景描述來判斷更深層次的信息，例如判斷物體距離，從而做出相應(yīng)的下一步的行為。對于計算機(jī)而言，視覺所得到的是一幅幅由二維像素信息組成的圖像，這些圖像包含了真實世界的場景，使用計算機(jī)技術(shù)對這些信息進(jìn)行處理便可得到這些物體在真實世界的信息。隨著科技的迅速發(fā)展，立體視覺已經(jīng)成為了非常熱門的研究方向。雙目視覺被定義為來自兩只眼睛的視覺，其中每只眼睛感知的數(shù)據(jù)會有一定的重疊。來自左右目兩個不同視圖的重疊被用于生物視覺來感知深度，將同一點在不同圖像中的點對應(yīng)起來，這種深度的差別我們稱作視差。立體視覺是利用雙目視覺，來模仿人的兩只眼睛所觀測到的世界的三維結(jié)構(gòu)。雙目視差是由于兩個眼睛觀察世界的視角不同而導(dǎo)致物體位置的差異。立體視覺是指從雙目視差中提取出來的深度效果。立體視覺系統(tǒng)是一組由兩個或多個攝像機(jī)構(gòu)成，使用機(jī)器從不同的有利位置來提取三維場景的深度信息，就像人類的雙目視覺一樣。在立體視覺系統(tǒng)中，攝像機(jī)水平對齊，并以一定的距離分開，這個距離我們稱為基線距離。圖1.1是一個簡單的立體視覺系統(tǒng)模型。我們使用左邊的一個相機(jī)和右邊的一個相機(jī)來提供提取視差圖所需的兩個圖像。圖1.1立體視覺系統(tǒng)簡單模型雙目立體測距用下圖所示的簡單排列來說明。在這個理想的系統(tǒng)中，兩個相機(jī)的光軸完全平行，兩個像平面共面，并且不存在鏡頭失真，理想立體攝像機(jī)原理模型如下圖1.2。圖1.2理想立體視覺系統(tǒng)原理模型兩個相機(jī)在世界坐標(biāo)系的情況下，在相機(jī)平面可以分別得到各自相對于W點的X和Y的坐標(biāo)： X1=x1 X2=x2已知基線長度D，且W點到像面的距離是相等的，即可得， X2=X1+D X1=x1 X1+通過上述兩組公式，可以求出距離Z值為： Z=f在上述等式中，f是焦距，D是基線，視差被定義為特征點位于X坐標(biāo)軸上的差值。由此可以得出，視差與距離Z成反比，即視差的變化很小，但對于Z的影響較大，視差變化大，對于Z的影響小。在了解了雙目視覺測距原理后，便可以進(jìn)行具體的測距功能實現(xiàn)，在后續(xù)小節(jié)進(jìn)行研究。1.3攝像機(jī)標(biāo)定由于飛機(jī)的測距所在的場景是三維世界，而實際所得到的照片是一個個像素組成的二維空間，將這兩部分場景聯(lián)系起來具有很大困難，一部分是由于相機(jī)透鏡鏡頭本身所決定，另一部分由圖像處理技術(shù)所決定。對于本章所研究的相機(jī)標(biāo)定，主要是用來解決第一部分的問題，使鏡頭本身帶來的畸變能夠?qū)嶒灲Y(jié)果產(chǎn)生最小的影響。根據(jù)實驗所用的相機(jī)不同，標(biāo)定結(jié)果參數(shù)也會有所不同。對于本文而言，選擇的是小覓雙目相機(jī)，主要研究對本相機(jī)的標(biāo)定操作。1.3.1坐標(biāo)系轉(zhuǎn)換在本節(jié)中，主要討論了校準(zhǔn)攝像機(jī)步驟，從而以確定內(nèi)參、外參、畸變系數(shù)的過程。使用標(biāo)定結(jié)果，可以將像素坐標(biāo)系轉(zhuǎn)換到物理坐標(biāo)系，從而可以求得像素距離對應(yīng)實際世界中的距離。為了便于理解后續(xù)標(biāo)定，本文對于一些坐標(biāo)系定義進(jìn)行介紹。坐標(biāo)系定義如下：世界坐標(biāo)系(worldcoordinatesystem)：反應(yīng)物體在實際世界中的物理位置。單位為米。相機(jī)坐標(biāo)系(cameracoordinatesystem)：坐標(biāo)原點位于相機(jī)上，從相機(jī)角度來對實際世界的物體進(jìn)行描述，單位為米。圖像坐標(biāo)系(imagecoordinatesystem)：坐標(biāo)原點位于圖像中心，X,Y軸平行于兩邊，與相機(jī)坐標(biāo)系為透視投影關(guān)系。單位為米。像素坐標(biāo)系(pixelcoordinatesystem)：表示數(shù)字圖像上的坐標(biāo)，坐標(biāo)原點位于圖像的左上角，X,Y軸平行于兩邊，與圖像坐標(biāo)系為仿射變換關(guān)系。單位為個（像素數(shù)目）。對于相機(jī)坐標(biāo)系的轉(zhuǎn)換，采用下面流程圖表示：圖1.3坐標(biāo)系關(guān)系圖（1）世界坐標(biāo)系-相機(jī)坐標(biāo)系通過采用旋轉(zhuǎn)和平移操作，可得到如下式： xcy其中，R為旋轉(zhuǎn)矩陣，t為平移向量，變換矩陣Rt（2）相機(jī)坐標(biāo)系-圖像坐標(biāo)系（理想情況）相機(jī)坐標(biāo)系被用于三維世界當(dāng)中，圖像坐標(biāo)系是二維圖像的表示，兩者的轉(zhuǎn)換是降維的過程，即投影透視過程。投影透視類似于針孔成像，如下圖所示：圖1.4針孔成像原理圖用數(shù)學(xué)方式來表達(dá)投影透視如下圖：圖1.5透視投影原理圖相機(jī)坐標(biāo)系中有一點M在圖像中由P點來表示，圖中P被表示為如下： xp=通過齊次坐標(biāo)形式表達(dá)為： zMx（3）理想圖像坐標(biāo)系-實際圖像坐標(biāo)系（畸變情況）在本實驗中，我們主要消除的是徑向和切向畸變。徑向畸變是由于鏡頭自身所造成，并且透鏡邊緣的效果最差。下圖表示常見的徑向畸變，分別為：桶形畸變和枕形畸變。圖1.5徑向畸變的類型在校正畸變后的坐標(biāo)可由如下式表示： xrcorr=分析上式可知，徑向畸變中有3個未知量。不同于徑向畸變，切向畸變是由于人為所導(dǎo)致的誤差。切向畸變在校正后的坐標(biāo)有如下關(guān)系： xtcorr=分析上式可知，切向畸變有2未知量。綜上，為了描述畸變一共需要5個畸變參數(shù)(k1、k2、k3、p（4）實際圖像坐標(biāo)系-像素坐標(biāo)系假設(shè)(u0，v0)是圖像坐標(biāo)系的點在像素坐標(biāo)系下的坐標(biāo)，那么每個像素對應(yīng)圖像坐標(biāo)系尺寸為：dx、dy，且圖像中的點在實際圖像坐標(biāo)系下的坐標(biāo)為( u=x化為齊次坐標(biāo)表示形式可得： uv1綜上所述，通過以上四步，最后轉(zhuǎn)化為像素坐標(biāo)。1.3.2雙目標(biāo)定參數(shù)相機(jī)的標(biāo)定主要分為三種，分別為傳統(tǒng)相機(jī)標(biāo)定法、基于主動視覺的相機(jī)標(biāo)定法和相機(jī)自標(biāo)定法。傳統(tǒng)相機(jī)標(biāo)定法通過利用相機(jī)的針孔模型和校正畸變的數(shù)學(xué)模型得到相機(jī)的內(nèi)外參數(shù)，在標(biāo)定時往往需要利用到標(biāo)定板。利用傳統(tǒng)的方法結(jié)果較為準(zhǔn)確，但是所需時間較長，步驟繁瑣?；谥鲃右曈X的標(biāo)定法具有較好的準(zhǔn)確性，但是在標(biāo)定過程中需要使用外部的設(shè)備進(jìn)行輔助，來實現(xiàn)圖像的獲取，實際使用時具有一定的局限性。相機(jī)自標(biāo)定法不需要使用標(biāo)定板，方法簡單，直接由幾組圖像通過圖像處理技術(shù)來進(jìn)行標(biāo)定，但是這種方法準(zhǔn)確性不高，誤差較大，不適用于日常使用的相機(jī)。在對于飛機(jī)著陸測距系統(tǒng)中，本文決定采用傳統(tǒng)的相機(jī)標(biāo)定法中的張正友標(biāo)定法，此標(biāo)定方法的精度和魯棒性都滿足實驗要求。這種方法由張正友先生首次提出，以其復(fù)雜度較低，計算速度較快，精度較高而被廣泛應(yīng)用。在本文中也將采用這種方法來對相機(jī)進(jìn)行標(biāo)定。相比于單目參數(shù)標(biāo)定，雙目標(biāo)定時有所不同。利用雙目相機(jī)拍攝獲取左右目圖像，相比于單目相機(jī)，此時需要考慮兩幅圖像在空間中的位置，及需要對外參矩陣進(jìn)行計算。本文所采用的平面模板法有以下四個步驟，分別為計算單應(yīng)性矩陣，求解內(nèi)參矩陣，求解外參矩陣，求解畸變參數(shù)。（1）計算單應(yīng)性矩陣在上述坐標(biāo)系介紹的章節(jié)中，我們知道了如何將兩種坐標(biāo)系聯(lián)系起來，而單應(yīng)性矩陣則就是起到了這個作用。單應(yīng)性矩陣包含了相機(jī)的內(nèi)參和外參信息，定義如下式： H=s在式1.11中，M則為內(nèi)參矩陣： M=f假設(shè)攝像機(jī)所獲取的兩幅圖像中的對應(yīng)點為(x',y' H=?則有： x'y展開矩陣后得出，通過代入計算可得： x'=在實際情況下，單應(yīng)矩陣H具有8個自由度，對上述式子進(jìn)行處理，添加H的約束，將H矩陣模變?yōu)?如下： x'=將上述式進(jìn)行處理得到： ?11x如果得到兩幅圖像中的N個特征點對，可得到如下圖所示的矩陣方程組： 2N×9在本文標(biāo)定所用的標(biāo)定板規(guī)格為88個棋盤格角點，即有88對匹配的圖像特征對應(yīng)點，棋盤格尺寸10mm，大小為120mm×90mm。每張圖片對應(yīng)一個H矩陣，實際拍攝5-25張圖片。（2）相機(jī)內(nèi)參數(shù)求解通過單應(yīng)矩陣可以先求出內(nèi)參信息，再由內(nèi)參信息的條件來求取外參信息。再對內(nèi)參進(jìn)行求解時，通過對于旋轉(zhuǎn)向量進(jìn)行處理，將單應(yīng)性矩陣H化為下列向量： H=?r1和r約束條件1：向量位于兩個平面之中，這兩個平面為垂直關(guān)系，即： ?1T約束條件2：旋轉(zhuǎn)向量長度相等（旋轉(zhuǎn)不改變尺度），即： ?1T利用上述兩個約束條件，便可求得內(nèi)參，記 B=(B為對稱矩陣，在約束條件下的B可轉(zhuǎn)化為： ?1T通過定義3X3的單應(yīng)性矩陣H=[?1 ?i=將如下表達(dá)式代入上述的約束單項式： ?iT簡化表達(dá)形式，令 vij=?i則有： ?iT由此，兩約束條件最終可以轉(zhuǎn)化為如下形式： v12T在之前的求解中，我們得出了v11，v12，v22的結(jié)果，而對于b的求解需要的條件是大于三組的圖片數(shù)量，這就要求我們在拍攝圖像時，盡可能的多拍攝幾組可以用來實驗的圖像。根據(jù)這些圖像，可以得到矩陣vb fx=使用LM優(yōu)化算法來減小測量值與實際值的誤差，此時的內(nèi)參可以作為輸入量直接計算外參使用。（3）求解相機(jī)外參數(shù)通過上面的步驟求解得到了相機(jī)的內(nèi)參數(shù)，因此在這里開始對外參數(shù)進(jìn)行求解： r1=λM r3=r1再由旋轉(zhuǎn)矩陣性質(zhì)有: ∥r1則可得 λ=1/∥M?1（4）求解畸變參數(shù)徑向畸變公式如下： x=x y=y其中，(x,y)，(x,y)表示沒有任何畸變的坐標(biāo)和包含畸變的坐標(biāo)，圖像坐標(biāo)和像素坐標(biāo)的關(guān)系為下式： uv1其中，(u,v u=x v=y同理可得畸變后的像素坐標(biāo)(u u=x v=y代入徑向畸變公式（2階）化簡得： u=u v=v在對標(biāo)定板的每個角點進(jìn)行處理后可以得到上式中的u,u,v,v，每一個角點可以構(gòu)造兩個上述等式。假設(shè)有m幅圖像，每幅圖像有n個角點，則將得到的所有等式組合起來，可以得到個mn未知數(shù)為的k=[k1 k=k1此時，相機(jī)的畸變矯正參數(shù)已經(jīng)標(biāo)定好，相機(jī)標(biāo)定受很多條件干擾，主要有下列幾點內(nèi)容：1）標(biāo)定棋盤格點定制精度；2）棋盤格點的數(shù)目和大?。?）棋盤格坐標(biāo)提取精度。1.3.3雙目相機(jī)外部參數(shù)雙目相機(jī)比起單目相機(jī)多增加了一個攝像頭，在空間之中進(jìn)行變化，是一個由二維向三維過渡的過程，所以標(biāo)定時兩者也有不同。單目相機(jī)只需完成上述操作步驟標(biāo)定即可，雙目相機(jī)除了上述參數(shù)之外，還需對左右攝像頭之間的相對位姿進(jìn)行標(biāo)定。假設(shè)pcl、pcr、pw pcl=其中Rl、Rr分別是左右相機(jī)對同一點的旋轉(zhuǎn)矩陣，Tl pcl=其中Rn為右目坐標(biāo)系相對于左目坐標(biāo)系的旋轉(zhuǎn)矩陣，T對于之后的操作需要使用以上所述的參數(shù)來進(jìn)行圖像的校正，綜上所述，對于雙目攝像頭標(biāo)定，總結(jié)所需參數(shù)如下表1.1：表1.1本文測量系統(tǒng)標(biāo)定參數(shù)類別參數(shù)表達(dá)式左相機(jī)內(nèi)部參數(shù)K畸變參數(shù)k右相機(jī)內(nèi)部參數(shù)K畸變參數(shù)k系統(tǒng)結(jié)構(gòu)旋轉(zhuǎn)矩陣K平移矩陣k1.3.4標(biāo)定實驗（1）系統(tǒng)硬件設(shè)備與實驗環(huán)境在進(jìn)行雙目測距實驗之前，對于硬件設(shè)備需要進(jìn)行選擇，對于選擇的設(shè)備可以首先進(jìn)行標(biāo)定操作。對于系統(tǒng)硬件，主要使用小覓雙目相機(jī)，為了實驗的準(zhǔn)確標(biāo)定，過程中還需使用標(biāo)定板，所拍攝的圖像由VS編程軟件進(jìn)行處理。1）相機(jī)相機(jī)經(jīng)過對比，按照經(jīng)濟(jì)性的原則決定采用小覓雙目相機(jī)來進(jìn)行實驗，型號為S1040，具體參數(shù)如下表1.2所示。表1.2小覓雙目相機(jī)參數(shù)型號標(biāo)準(zhǔn)版S1040-IR-120/mono尺寸165×31.5×31.23mm分辨率752×480；376×240像素尺寸6.0×6.0μm基線120.0mm焦距1.1mm接口USB3.0本系統(tǒng)充分考慮了經(jīng)濟(jì)性及實用性的原則，小覓相機(jī)成像質(zhì)量高，并且具有紅外IR光功能，同時融合結(jié)構(gòu)光和慣導(dǎo)等方案，可以為后續(xù)研究進(jìn)行支持。2）計算機(jī)：CPUi7-6700@1.3GHz，內(nèi)存8G，運(yùn)行該測距系統(tǒng)速度流暢，滿足基本需求，所用軟件VisualStudio2017。3）棋盤格標(biāo)定板：標(biāo)定板的厚度為0.18mm，精度較高，誤差在±0.005mm，可準(zhǔn)確應(yīng)用于計算機(jī)視覺領(lǐng)域。標(biāo)定板規(guī)格為150×150mm，圖案陣列為12×9方格，棋盤標(biāo)定格圖案尺寸為120×90mm，每個方格邊長10mm，實物如圖1.6所示。圖1.6標(biāo)定棋盤格實物（2）標(biāo)定實驗結(jié)果對于單目標(biāo)定時，在室內(nèi)的環(huán)境條件下，相機(jī)與棋盤格標(biāo)定板保持一定距離。圖像中應(yīng)包含完整棋盤格，棋盤格在屏幕中所占比例較多。使用標(biāo)定板位于不同的角度、調(diào)整姿態(tài)后拍攝20~25張圖像進(jìn)行標(biāo)定實驗。之后通過張正友標(biāo)定法對于所拍攝圖像進(jìn)行標(biāo)定操作，小覓雙目相機(jī)最終標(biāo)定結(jié)果參數(shù)如下表：表1.3小覓雙目相機(jī)標(biāo)定結(jié)果參數(shù)類別參數(shù)表達(dá)式左相機(jī)內(nèi)部參數(shù)K畸變參數(shù)k右相機(jī)內(nèi)部參數(shù)K畸變參數(shù)k系統(tǒng)結(jié)構(gòu)旋轉(zhuǎn)矩陣K平移矩陣k雙目標(biāo)定的準(zhǔn)確性是測距實驗最重要的前提條件，通過分析，根據(jù)我們所獲取的圖像進(jìn)行標(biāo)定實驗，實驗得出了較為準(zhǔn)確的結(jié)果。通過標(biāo)定，我們建立了相機(jī)與世界坐標(biāo)系之間的關(guān)系，為后續(xù)雙目測距的精確性和穩(wěn)定性奠定了基礎(chǔ)。1.4圖像校正1.4.1極線幾何和圖像校正原理立體圖像對的校正是對兩幅圖片進(jìn)行變換，以便使兩副圖相對應(yīng)的點位于相同的圖像行上，這種變換形成了極線共線。在許多的研究過程中，都使用校正來提高立體匹配所對應(yīng)的速度，常用的校正方法有兩種，分別為Hartley算法和Bouguet算法。前者可以直接獲取單應(yīng)矩陣，不需要進(jìn)行標(biāo)定操作來獲取相機(jī)內(nèi)參，方法簡單，缺點是計算量較大，圖像匹配較準(zhǔn)確時才能保證校正的準(zhǔn)確。Bouguet算法必須對相機(jī)進(jìn)行標(biāo)定操作，對于標(biāo)定操作本文已經(jīng)在前邊章節(jié)進(jìn)行了敘述。通過分析，本文在極線校正部分，所使用的主要為Bouguet校正算法。立體成像幾何原理在之前的章節(jié)已經(jīng)進(jìn)行了介紹。在實際世界中，一點P投射到兩幅圖像中的點為XL和XR。投影的兩個點，OL和OR，與P一起確定了一個外極平面和兩條極線。外極點(el和er)是圖像平面中與連接兩個攝像機(jī)中心的線OL對極幾何的意義在于任何圖像點，例如下圖中左圖像中的XL，在另一幅圖像中，可確定一條極線，這條極線包含相對應(yīng)的點。這種“極線約束”對于減少搜索對應(yīng)關(guān)系的計算時間很重要，它有效地將搜索維度減少到一維搜索，而不是搜索2D圖像區(qū)域。這種約束還減少了誤匹配的數(shù)量。下圖1.7還說明了三維中的點被映射在左圖像中的一點和右圖像中多個點，這些點都沿極線方向。考慮到左圖像中的點XL，無法確定它對應(yīng)于點X3、X2、圖1.7沿右極線上的多個3D點對應(yīng)于左極線上的一個點的極線平面為了確定極線，需要定義兩個矩陣，本質(zhì)矩陣和基礎(chǔ)矩陣。這兩個矩陣的不同之處在于，本質(zhì)矩陣E將Pl映射到Pr，而基礎(chǔ)矩陣F在像素坐標(biāo)中將變量Ql取一個點P，它在左目圖像中被看作Pl，在右目圖像中被看作Pr，Pl Pr=為了定義極線平面，使用相對于平面n的法線平面和在該平面a中定義的點，這種定義適用于平面x上的所有點: (x?a)?由于矢量Pl和T（連接投影中心的矢量）包含在外極平面中，所以這些矢量的法線可以用作矢量n來表示，法線向量用n的叉積來表示。這里可以取Pl的所有的可能點，通過點T，矢量 Pl?為了去掉點積，將等式a?b=aTb用來執(zhí)行矩陣乘法。重點是要找到矯正的基礎(chǔ)矩陣，則需要找到Ql和Qr的關(guān)系。首先通過關(guān)聯(lián)投影Pl和P PrR帶入方程可得： (Pr最后的將向量T和Pl的叉積進(jìn)行代換，其中T使用以下關(guān)系重新寫入矩陣S a×b=0它將式S定義為： 0?T從而我們可知Pl和P PrT在這里，基礎(chǔ)矩陣E被定義為R×S的乘積，可得： PrTql和qr的關(guān)系需要找到圖像中Pl PrTE的參數(shù)在使用時只能用于將左目點與右目點對應(yīng)起來，因為當(dāng)中并不包含內(nèi)參信息，因此需要基礎(chǔ)矩陣來執(zhí)行校正的操作。將真實世界中的點進(jìn)行投影，使其與相機(jī)坐標(biāo)產(chǎn)生關(guān)系，q=MQ，q為物理坐標(biāo)，M為相機(jī)矩陣，Q為相機(jī)坐標(biāo)，可以將每個圖像中實際物理點的關(guān)系轉(zhuǎn)換成相機(jī)坐標(biāo)系中的關(guān)系。取q=Mp，p=M?1q qrM定義基礎(chǔ)矩陣F為: F=Mr給出攝像機(jī)坐標(biāo)中P點的以下關(guān)系式： qrT已知兩個相機(jī)的內(nèi)部參數(shù)，圖像處于未失真狀態(tài)，并且圖像平面已被校正，可以視為相機(jī)已經(jīng)被校正，由上述可知一個相機(jī)相對于另一個相機(jī)的旋轉(zhuǎn)參數(shù)和平移參數(shù)是已知的。左相機(jī)的參數(shù)在旋轉(zhuǎn)矩陣可知，它的圖像平面在數(shù)學(xué)上與右攝像機(jī)共面。平移向量涉及左攝像機(jī)相對于右攝像機(jī)的定位或偏移。使用兩幅圖像的Pr=R(Pl?T) R=RrRlT至此，雙目相機(jī)完成了雙目校正的操作，上述給出了雙目校正的基本原理，在下面我們會對實驗結(jié)果進(jìn)行分析來保證雙目校正的準(zhǔn)確性。1.4.2圖像校正實驗圖像校正實驗采用小覓雙目相機(jī)拍攝的跑道圖像來進(jìn)行實驗。校正參數(shù)為上文所求得，標(biāo)定程序所采用的標(biāo)定方法是Bouguet方法，代入標(biāo)定參數(shù)得出校正后的雙目相機(jī)圖像，為了更直觀的來進(jìn)行比對，本文將校正程序進(jìn)行了一定的優(yōu)化，在雙目圖像上畫上相應(yīng)的線條，使其可以更直觀的看出圖像對齊的共同位置，下圖1.8為校正比對結(jié)果。圖1.8雙目校正結(jié)果比對在圖中，畫圈標(biāo)注部分為圖像中一些關(guān)鍵點的對應(yīng)，左幅圖像為左目，右幅圖像為右目攝像頭所得，兩幅圖像的對應(yīng)點處于一條直線時，證明雙目完成了校正操作。如圖所示，通過對比校正前后的效果可以得出，加入極線幾何校正后，雙目的左右圖像可以在行方向上實現(xiàn)基本對準(zhǔn)，完成了雙目校正操作，并且校正的準(zhǔn)確度可以保證之后的實驗結(jié)果的準(zhǔn)確性。既為后續(xù)的雙目跑道測距提供了精度的支持，保證了實驗的準(zhǔn)確性，又從另一角度驗證了參數(shù)標(biāo)定的準(zhǔn)確性，同時，校正的準(zhǔn)確性也減少了立體匹配的計算量。1.5立體匹配立體匹配或視差計算是計算機(jī)或機(jī)器人視覺中的常見工具，用于從二維的平面當(dāng)中恢復(fù)深度的一項技術(shù)，對于通過使用雙目立體攝像機(jī)拍攝的一對左右圖像來說，確定物體的三維深度信息至關(guān)重要。視差的一些應(yīng)用是自主車輛和機(jī)器人導(dǎo)航、虛擬現(xiàn)實和立體圖像分析，對于實現(xiàn)更高程度的自動化有著重要意義。近年來，隨著對于立體匹配的大量研究，立體匹配技術(shù)的發(fā)展勢必會更進(jìn)一步提高。立體匹配主要是通過使用平方差和、絕對差和或歸一化相關(guān)技術(shù)匹配像素窗口來確定的。而在真實世界的物體要投影到二維圖像時，同一物體在不同角度的圖像中投影不同，成像過程受很多條件影響，例如光照、景物形狀和物理特性以及其他噪聲。而且相機(jī)自身的畸變誤差也會對結(jié)果產(chǎn)生一定的影響。因此我們需要根據(jù)自己實際應(yīng)用場景來選擇雙目立體匹配算法。1.5.1立體匹配算法介紹立體匹配針對于局部，半全局和全局有著不同的算法。局部匹配算法分為基于區(qū)域的匹配，基于特征的匹配，它的優(yōu)點是計算速度較快，可以滿足針對實時性的要求，但是精度較差。不同于局部算法，全局算法的準(zhǔn)確度更高，利用對于圖像的約束條件求視差函數(shù)d=d(x,y）最優(yōu)解。全局匹配算法需要對函數(shù)進(jìn)行一個假設(shè)，通過函數(shù)來計算最優(yōu)解，是一種典型的利用動態(tài)規(guī)劃方法來求解的問題手段。半全局立體匹配算法同樣使用動態(tài)規(guī)劃方法來求解，主要是將二維的問題轉(zhuǎn)為一維問題來進(jìn)行求解。本文系統(tǒng)有以下幾個特點：1）待測場景較為復(fù)雜，受環(huán)境影響較大；2）用于飛行中的飛機(jī)，需要計算速度相對較快；3）為了保證最終著陸的準(zhǔn)確性，對于視差效果有一定的要求。4）測量目標(biāo)主要是機(jī)場跑道，著陸時，目標(biāo)在于圖像中所占區(qū)域較小，需要在圖像中進(jìn)行準(zhǔn)確的識別。綜合各類因素，本文決定主要研究基于SGBM的雙目立體匹配算法，該算法速度較快，并且可以達(dá)到較好的視差效果。1.5.2基于SGBM算法的雙目立體匹配SGBM算法的原理是利用視差來進(jìn)行求解，圖像中包含著許多像素點，所有像素點的視差組成了視差圖，通過設(shè)置全局能量函數(shù)使其達(dá)到實驗標(biāo)準(zhǔn)要求。算法主要分為以下的幾個步驟。（1）預(yù)處理對于圖像的邊緣處理有幾種算子可以選擇，主要目的是進(jìn)行邊緣檢測，最常用的一個算子是Sobel算子。Sobel算子本質(zhì)上來說是一種卷積處理，也就是進(jìn)行梯度值的求解，然后對于新圖像的像素進(jìn)行閾值估計，得到圖像的邊緣。SGBM算法便是采用的水平Sobel算子，公式為：Sobel2Px+1,y然后使用映射函數(shù)通過Sobel算子對像素進(jìn)行處理，得到一個新的圖像，映射函數(shù)如下式，P表示像素值映射成的新圖像，PNEW PNEW=預(yù)處理過后的圖像中包含著梯度信息，對預(yù)處理圖像進(jìn)行保存操作來進(jìn)行下一步的計算。（2）代價計算SGBM算法的代價計算其實包含了如下基本步驟：相機(jī)得到的圖像經(jīng)過SobelX處理后，進(jìn)行BT代價計算；輸入圖像直接計算BT代價值；將上面兩步的代價值進(jìn)行融合；對上述步驟得到的代價值進(jìn)行成塊處理。通過SobelX處理后，經(jīng)過BT代價計算的圖像保留了較多的邊緣和細(xì)節(jié)信息。直接通過原圖進(jìn)行BT計算則保留了原圖信息，之后便是將兩種信息融合來得到更準(zhǔn)確的代價值，融合方法為將得到的兩步代價值進(jìn)行相加操作。代價計算的最后一步是進(jìn)行成塊計算，對每個像素的代價值用周圍鄰域代價值的總和來代替,也稱為成本合計。成本合計是通