計算機視覺基礎1

目錄概述成像模型圖像濾波邊緣檢測特征檢測與識別光流跡線幾何與立體視覺StructurefromMotion大數(shù)據(jù)驅動的視覺計算22023/9/31.概述32023/9/3相關研究領域計算機圖形學：模型→

圖像42023/9/3相關研究領域計算攝影學：圖像→

圖像52023/9/3計算機視覺圖像→

模型讓計算機“看懂”圖像和視頻這是何種場景?汽車在哪里?建筑物有多遠?…62023/9/3視覺是自然智能不可思議的技藝

獼猴的大腦皮層中視覺部分占據(jù)大約50%人腦中有關視覺的部分所占比重最大這是皇后還是象?視覺72023/9/3安全健康監(jiān)控家務進入娛樂計算機視覺為什么重要？82023/9/31966:Minsky給本科生布置了一個計算機視覺的暑假作業(yè)1960’s:合成的虛擬世界的理解1970’s:圖像理解方面的進步1980’s:幾何和精度1990’s:人臉識別;統(tǒng)計分析開始流行2000’s:更多的識別;大規(guī)模標記數(shù)據(jù)集可用;開始視頻處理Guzman‘68OhtaKanade‘78TurkandPentland‘91計算機視覺簡史92023/9/3計算機視覺的應用：OCR數(shù)字識別,AT&T實驗室/~yann/將掃描文檔轉換成文本的技術若你有一臺掃描儀，則它很可能帶有OCR軟件車牌識別/wiki/Automatic_number_plate_recognition102023/9/3計算機視覺的應用：人臉檢測目前許多數(shù)碼相機都能檢測人臉Canon,Sony,Fuji,…112023/9/3計算機視覺的應用：笑臉檢測SonyCyber-shot?T70DigitalStillCamera122023/9/3計算機視覺的應用：由成千上萬的圖像重建三維132023/9/3計算機視覺的應用：物體識別(超市中)LaneHawkbyEvolutionRobotics“Asmartcameraisflush-mountedinthecheckoutlane,continuouslywatchingforitems.Whenanitemisdetectedandrecognized,thecashierverifiesthequantityofitemsthatwerefoundunderthebasket,andcontinuestoclosethetransaction.Theitemcanremainunderthebasket,andwithLaneHawk,youareassuredtogetpaidforit…“142023/9/3計算機視覺的應用：基于視覺的生物測量12歲30歲152023/9/3計算機視覺的應用：無密碼登錄筆記本電腦和其他設備上的指紋掃描儀人臉識別系統(tǒng)162023/9/3計算機視覺的應用：物體識別(手機上)172023/9/3黑客帝國計算機視覺的應用：特效--形狀捕獲182023/9/3加勒比海盜計算機視覺的應用：特效--運動捕獲192023/9/3計算機視覺的應用：體育SportvisionfirstdownlineNiceexplanationon/video.html202023/9/3計算機視覺的應用：智能汽車Mobileye汽車上的視覺系統(tǒng)，如BMW、GM、Volvo等212023/9/3計算機視覺的應用：Google汽車222023/9/3計算機視覺的應用：太空視覺視覺系統(tǒng)的幾項任務：全景圖縫合三維地形建模障礙檢測，位置跟蹤其他(參閱Matthies等人的“ComputerVisiononMars”)NASA的火星探索計劃：2007年精神號漫游車

232023/9/3計算機視覺的應用：工業(yè)機器人視覺引導的機器人給汽車上定位螺母242023/9/3計算機視覺的應用：機器人機器人足球賽NASA的火星漫游車斯坦福生活機器人（洗碗）252023/9/3計算機視覺的應用：醫(yī)學成像手術導航3D核磁共振、CT262023/9/32.成像模型272023/9/3計算機視覺的相關研究領域計算機圖形學：模型->圖像計算攝影學：圖像->圖像計算機視覺：圖像->模型282023/9/3圖像形成設計一個相機：思路1:將底片放在物體前方我們能得到一幅合適的照片嗎？292023/9/3針孔相機思路2:增加一個障礙物阻止大多數(shù)的光線減少模糊光圈控制光線量302023/9/3針孔相機ff=焦距c=相機中心c312023/9/3暗箱:相機前身中國（公元前470年）和希臘（公元前390年）暗箱UNCChapelHill的暗室PhotobySethIlys322023/9/3第一張照片

現(xiàn)存的最老照片花了8小時在錫盤上成像JosephNiepce,1826第一張照片的照片保存在UTAustin332023/9/3維度降低的機器（3D到2D）3D世界2D圖像342023/9/3投影的欺騙性…352023/9/3射影幾何丟失了什么?長度哪個球更近些?誰更高?362023/9/3長度沒有被保留B’C’A’372023/9/3射影幾何丟失了什么?長度角度垂直?平行?382023/9/3射影幾何什么被保留?直線依然是直線392023/9/3消逝點和消逝線物理世界中的平行線在圖像中相交于“消逝點”402023/9/3消逝點和消逝線

o消逝點1o消逝點2消逝線412023/9/3消逝點和消逝線

消逝點消逝線消逝點

垂直消逝點(無窮遠處)422023/9/3消逝點和消逝線432023/9/3投影：世界坐標

圖像坐標CameraCenter(tx,ty,tz)...fZY.OpticalCenter(u0,v0)vu442023/9/3齊次坐標變換齊次圖像坐標齊次場景坐標由齊次坐標轉換回來：轉換到齊次坐標：452023/9/3齊次坐標齊次坐標是縮放不變量笛卡爾坐標中的點在齊次坐標中是一條射線齊次坐標笛卡爾坐標462023/9/3齊次坐標的基本幾何學直線方程:ax+by+c=0給像素坐標增加分量1得到齊次坐標兩點叉積得到一條直線兩條直線的叉積得到這兩條直線的交點472023/9/3齊次坐標解決的另一個問題笛卡爾坐標:(Inf,Inf)齊次坐標:(1,1,0)平行線求交笛卡爾坐標:(Inf,Inf)齊次坐標:(1,2,0)482023/9/3投影矩陣（針孔相機模型）x:圖像坐標(u,v,1)K:內(nèi)部矩陣(3x3)R:旋轉矩陣(3x3)t:平移量(3x1)X:

世界坐標(X,Y,Z,1)OwiwkwjwR,T492023/9/3投影矩陣K內(nèi)部假設：

單位寬高比

光心坐標(0,0)

無傾斜外部假設：

無旋轉

相機坐標(0,0,0)502023/9/3移除“已知光心”的假設內(nèi)部假設：

單位寬高比無傾斜外部假設：

無旋轉

相機坐標(0,0,0)512023/9/3移除“正方形像素”假設內(nèi)部假設：無傾斜外部假設：

無旋轉

相機坐標(0,0,0)522023/9/3移除“無傾斜”的假設內(nèi)部假設：外部假設：

無旋轉

相機坐標(0,0,0)532023/9/3允許相機移動內(nèi)部假設：外部假設：

無旋轉542023/9/3點的三維旋轉圍繞坐標軸的逆時針旋轉：pp’gyz552023/9/3允許相機旋轉562023/9/3自由度56572023/9/3消逝點=無窮遠點的投影582023/9/3正射投影透視投影的特例正交投影的中心到圖像平面的距離為無窮大也稱作“平行投影”其投影矩陣是什么?ImageWorld592023/9/3比例縮放的正射投影透視投影的特例物體面積相對于到相機的距離來說很小也稱為“弱透視”其投影矩陣是什么?ImageWorldSlidebySteveSeitz602023/9/3視場(縮放)612023/9/3假設有兩個三維的立方盒子放在地上，面朝觀察者，一個近，一個遠透視圖中它們看起來是什么樣子？在弱透視中它們看起來又是什么樣子？

622023/9/3針孔相機之外:徑向失真桶形失真校正無失真桶形失真枕形失真632023/9/33.圖像濾波642023/9/3圖像濾波空間域圖像濾波直接對像素進行操作平滑化、銳化頻率域圖像濾波修改圖像的頻率去噪、采樣、圖像壓縮模板和圖像金字塔將模板匹配到圖像檢測、粗糙到精細652023/9/3Imagefiltering圖像濾波：計算每個位置處局部鄰域的函數(shù)值濾波很重要!圖像增強去噪、調(diào)整大小、對比度增強，等等從圖像中提取信息紋理、邊緣、特征點，等等檢測模式模板匹配662023/9/3例：箱式濾波器111111111672023/9/300000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000111111111682023/9/30000000000000000000000090909090900000090909090900000090909090900000090090909000000909090909000000000000000900000000000000000001000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000111111111692023/9/3000000000000000000000009090909090000009090909090000009090909090000009009090900000090909090900000000000000090000000000000000000102000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000111111111702023/9/300000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000010203000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000111111111712023/9/301020303000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000111111111722023/9/301020303000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000111111111?732023/9/30102030305000000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000111111111?742023/9/300000000000000000000000909090909000000909090909000000909090909000000900909090000009090909090000000000000009000000000000000000010203030302010020406060604020030609090906030030508080906030030508080906030020305050604020102030303030201010101000000111111111752023/9/3箱式濾波器每個像素的值用其鄰域像素的平均值替換實現(xiàn)平滑效果（去除尖銳特征）111111111762023/9/3箱式濾波的平滑效果772023/9/3線性濾波器000010000原始圖像?782023/9/3線性濾波器000010000原始圖像濾波結果（無變化）792023/9/3線性濾波器000100000原始圖像?802023/9/3線性濾波器000100000原始圖像往左移動1個像素812023/9/3線性濾波器原始圖像111111111000020000-?（注意：濾波器各元素之和為1）822023/9/3線性濾波器原始圖像111111111000020000-銳化濾波器：

突出與局部均值之差別832023/9/3銳化處理前處理后842023/9/3其他濾波器-101-202-101垂直邊緣（絕對值）Sobel算子852023/9/3其他濾波器-1-2-1000121水平邊緣（絕對值）Sobel算子862023/9/3我們改怎樣合成運動模糊？theta=30;len=20;fil=imrotate(ones(1,len),theta,'bilinear');fil=fil/sum(fil(:));figure(2),imshow(imfilter(im,fil));872023/9/3高斯濾波器鄰域像素根據(jù)其接近程度計算貢獻值0.0030.0130.0220.0130.0030.0130.0590.0970.0590.0130.0220.0970.1590.0970.0220.0130.0590.0970.0590.0130.0030.0130.0220.0130.0035x5,=1882023/9/3高斯濾波器的平滑效果892023/9/3高斯濾波器移除圖像中的高頻分量（低通濾波）圖像變得更光滑自卷積是高斯濾波的一種形式因此，可用小寬度內(nèi)核進行平滑，如此重復，得到用大寬度內(nèi)核相同的結果用寬度為σ的高斯內(nèi)核卷積兩次，等同于用寬度為σ√2的高斯內(nèi)核卷積一次

可分離的核二維高斯可分解成兩個一維高斯的積902023/9/3高斯濾波器的可分離性二維高斯可表示為兩個函數(shù)的乘積，一個是x的函數(shù)，另一個是y的函數(shù)這兩個函數(shù)都是一維高斯912023/9/3可分離性的例子**==二維卷積

(僅中心位置)濾波器分解為兩個一維濾波器的乘積沿行執(zhí)行卷積計算緊跟著沿列進行卷積922023/9/3例:混合圖像高斯濾波器拉普拉斯濾波器高斯函數(shù)單位脈沖高斯函數(shù)的拉普拉斯932023/9/34.邊緣檢測942023/9/3邊緣檢測目標:識別圖像中的突變（不連續(xù)）直觀上，圖像的大多數(shù)語義和形狀信息都可由邊緣信息

表示比像素更緊湊

理想:

畫家的線條畫（對象級）952023/9/3為什么我們要關注邊緣?提取信息、識別目標恢復幾何和視點VanishingpointVanishing

lineVanishingpointVerticalvanishingpoint(atinfinity)962023/9/3圖像邊緣的來源邊緣是由各種因素引起的深度不連續(xù)曲面顏色不連續(xù)光照不連續(xù)曲面法向不連續(xù)972023/9/3邊緣特寫Source:D.Hoiem982023/9/3邊緣的特點一條邊是圖像亮度函數(shù)中突變的地方圖像亮度函數(shù)（沿水平掃描線）一階導邊緣對于導數(shù)的極值992023/9/3亮度輪廓線1002023/9/3帶有少量高斯噪聲梯度1012023/9/3噪聲的影響考慮圖像中單行/單列哪里是邊緣?1022023/9/3解決方案:先平滑為了檢測到邊緣，查找的峰值fgf*g1032023/9/3

計算如下:卷積微分定理f1042023/9/3平滑可去除噪聲，但會模糊邊緣在不同尺度下檢測到邊緣1個像素3個像素7個像素平滑和局部化之間的權衡1052023/9/3觀察：沿著“脊”處的梯度幅值較大我們該怎樣檢測到實際的邊緣點？我們怎樣將這些邊緣點連接起來形成邊緣曲線？算法實現(xiàn)1062023/9/3邊緣檢測器的設計一個好的邊緣檢測器遵循的原則：有好的檢測率最優(yōu)的檢測器應該能檢測出所有真實邊緣，而忽略噪聲和其他瑕疵有好的局部化效果檢測到的邊緣必須盡可能的靠近真實邊緣對于每個真實邊緣點，檢測器必須返回一個點邊緣檢測線索顏色、亮度、紋理的變化連續(xù)性高層知識（語義等）1072023/9/3Canny邊緣算子計算機視覺中用得最廣的邊緣檢測器理論模型：加性噪聲干擾的階梯邊緣（Step-Edge）Canny展示了高斯函數(shù)的一階導緊密逼近最優(yōu)化信噪比和局部化的邊緣算子J.Canny.AComputationalApproachToEdgeDetection.IEEETransactionsonPatternAnalysisandMachineIntelligence,8:679-714,1986.1082023/9/3例原始圖像（Lena）1092023/9/3高斯濾波器的導數(shù)X方向Y方向1102023/9/3計算梯度(DoG)X方向導數(shù)Y方向導數(shù)梯度幅值1112023/9/3每個像素的梯度方向theta=atan2(gy,gx)1122023/9/3對每個方向進行非最大值壓縮若點q的值大于其梯度方向上的點p和點r的值，則認為q處為極大值點p和點r的值通過插值得到1132023/9/3非最大值壓縮之前1142023/9/3非最大值壓縮之后1152023/9/3滯后閾值化檢測梯度值的最大值是否足夠大在邊緣曲線起始處使用大閾值后續(xù)使用小閾值1162023/9/3Canny邊緣檢測結果1172023/9/3Canny邊緣檢測算子高斯函數(shù)的x和y方向導數(shù)濾波圖像

計算梯度的幅值和方向非最大值壓縮：細化多個像素寬的“脊線”閾值化和連接：定義高/低兩個閾值使用高閾值開始一條邊緣曲線，低閾值用于后續(xù)1182023/9/3

的影響(高斯核的寬度)原始圖像

值的選擇依賴于需求：大的

值用于檢測大尺度邊緣小的

值用于檢測細節(jié)特征1192023/9/35.特征檢測與識別1202023/9/3特定識別任務1212023/9/3場景分類

戶外/室內(nèi)

城市/森林/工廠/等等1222023/9/3圖像標注

街道

人

建筑

山

旅游業(yè)

多云

磚…1232023/9/3目標檢測

檢測行人1242023/9/3圖像解析mountainbuildingtreebannermarketpeoplestreetlampskybuildingSvetlanaLazebnik1252023/9/3場景理解?1262023/9/3可變性:相機位置光照形狀參數(shù)類內(nèi)變化?識別就是建模可變性1272023/9/3類內(nèi)變化1282023/9/3識別研究的歷史1960s–early1990s:幾何時代SvetlanaLazebnik1292023/9/3可變性:相機位置光照q對齊Roberts(1965);Lowe(1987);Faugeras&Hebert(1986);Grimson&Lozano-Perez(1986);Huttenlocher&Ullman(1987)形狀：假設已知1302023/9/3對齊對齊：在兩幅圖像的特征對之間，通過一個變換來進行擬合找到一個變換T，使得下式最小化Txixi'1312023/9/3識別—成為一個對齊問題：組塊世界J.Mundy,ObjectRecognitionintheGeometricEra:aRetrospective,2006L.G.Roberts,MachinePerceptionofThreeDimensionalSolids,Ph.D.thesis,MITDepartmentofElectricalEngineering,1963.

1322023/9/3對齊：Huttenlocher&Ullman(1987)1332023/9/3表示和識別物體類別是更難的...ACRONYM(BrooksandBinford,1981)Binford(1971),Nevatia&Binford(1972),Marr&Nishihara(1978)1342023/9/3通過部件進行識別Primitives(geons)ObjectsBiederman(1987)1352023/9/3Zissermanetal.(1995)GeneralizedcylindersPonceetal.(1989)Forsyth(2000)通用形狀基元?1362023/9/3識別研究的歷史1960s–early1990s:幾何時代1990s:基于表觀的模型1372023/9/3圖像可變性的經(jīng)驗模型基于表觀的技術Turk&Pentland(1991);Murase&Nayar(1995);etc.1382023/9/3Eigenfaces(Turk&Pentland,1991)1392023/9/3顏色直方圖SwainandBallard,ColorIndexing,IJCV1991.1402023/9/3全局表觀模型的局限性要求模式全局注冊對于背景混亂、有遮擋、以及幾何變換不魯棒1412023/9/3識別研究的歷史1960s–early1990s:幾何時代1990s:基于表觀的模型Mid-1990s:滑動窗口方法1422023/9/3滑動窗口方法1432023/9/3識別研究的歷史1960s–early1990s:幾何時代1990s:基于表觀的模型Mid-1990s:滑動窗口方法Late1990s:局部特征1442023/9/3物體識別的局部特征D.Lowe(1999,2004)1452023/9/3大規(guī)模圖像搜索

結合局部特征、索引和空間約束1462023/9/3大規(guī)模圖像搜索

結合局部特征、索引和空間約束Philbinetal.‘071472023/9/3大規(guī)模圖像搜索

結合局部特征、索引和空間約束1482023/9/3識別研究的歷史1960s–early1990s:幾何時代1990s:基于表觀的模型Mid-1990s:滑動窗口方法Late1990s:局部特征Early2000s:零件-形狀模型1492023/9/3模型:物體視作零件集合零件間的相對位置零件的表觀特征零件-形狀模型1502023/9/3星座模型Weber,Welling&Perona(2000),Fergus,Perona&Zisserman(2003)1512023/9/3Representingpeople1522023/9/3識別研究的歷史1960s–early1990s:幾何時代1990s:基于表觀的模型Mid-1990s:滑動窗口方法Late1990s:局部特征Early2000s:零件-形狀模型Mid-2000s:bagsoffeatures1532023/9/3ObjectBagof‘words’Bag-of-features模型1542023/9/3識別研究的歷史1960s–early1990s:幾何時代1990s:基于表觀的模型Mid-1990s:滑動窗口方法Late1990s:局部特征Early2000s:零件-形狀模型Mid-2000s:bagsoffeatures當前趨勢:局部和全局相結合的方法、數(shù)據(jù)驅動的方法、上下文方法1552023/9/3數(shù)據(jù)驅動方法J.HaysandA.Efros,SceneCompletionusingMillionsofPhotographs,SIGGRAPH20071562023/9/3數(shù)據(jù)驅動方法J.TigheandS.Lazebnik,ECCV20101572023/9/3D.Hoiem,A.Efros,andM.Herbert.PuttingObjectsinPerspective.CVPR2006.幾何上下文1582023/9/3判別訓練的基于零件的模型P.Felzenszwalb,R.Girshick,D.McAllester,D.Ramanan,"ObjectDetectionwithDiscriminativelyTrainedPart-BasedModels,"PAMI2009.1592023/9/36.光流1602023/9/3光流的概念光流：圖像序列（時間域和空間域）亮度變化的矢量場函數(shù)。1612023/9/3運動和感知組織有時候，運動是唯一線索1622023/9/3運動和感知組織甚至“貧瘠的”運動數(shù)據(jù)也能引發(fā)很強的感知

G.Johansson,“VisualPerceptionofBiologicalMotionandaModelForItsAnalysis",PerceptionandPsychophysics14,201-211,1973.1632023/9/3運動的用途估算三維結構基于運動線索分割對象學習和跟蹤動態(tài)模型識別事件和活動改進視頻質(zhì)量（motionstabilization）1642023/9/3運動場運動場是三維場景運動到圖像的投影非旋轉球朝相機移動，其運動場是什么樣子的？1652023/9/3光流定義：光流是圖像中亮度模式的表觀運動理想地，光流應該與運動場一致必須注意：表觀運動可能由照明改變而非實際運動引起例如：一個在固定照明條件下均勻旋轉的球面vs.一個在移動光照條件下的靜止球面1662023/9/3Lucas-Kanade光流算法基本算法多分辨率算法迭代算法1672023/9/3imageIimageJ圖像1(t)的高斯金字塔圖像2(t+1)的高斯金字塔image2image1從粗到細光流估算runiterativeL-KruniterativeL-Kwarp&upsample...1682023/9/3例KhurramHassan-ShafiqueCAP5415ComputerVision20031692023/9/3多分辨注冊1702023/9/3光流計算結果1712023/9/3光流計算結果*FromKhurramHassan-ShafiqueCAP5415ComputerVision20031722023/9/37.極線幾何與立體視覺1732023/9/3多視角HartleyandZissermanLowe多視角幾何、匹配、不變特征、立體視覺1742023/9/3為什么要多視角?單視角中，結構和深度是模棱兩可的1752023/9/3為什么要多視角?單視角中，結構和深度是模棱兩可的光心P1P2P1’=P2’1762023/9/3什么線索可以幫助我們感知三維形狀和深度？1772023/9/3明暗差別（Shading）1782023/9/3聚焦/散焦同一視點不同參數(shù)的相機拍攝的兩幅圖像三維形狀和深度估計1792023/9/3紋理1802023/9/3透視效果1812023/9/3運動1822023/9/3場景幾何形狀計算“ShapefromX”：明暗、紋理、焦距、運動……立體視覺:兩個視角間的變化估算形狀從不同視點得到的多幅圖像估算場景的三維形狀場景中的一個點光心圖像平面基本思想:1832023/9/3立體攝影從兩個稍稍不同的視角拍攝同一物體的兩幅照片將兩幅照片顯示出來，讓左右眼只能看到不同的一幅照片1842023/9/3為什么需要立體視覺？歧義性：射線OP上的任意一點都成像到圖像平面上的點P1852023/9/3為什么需要立體視覺？第2個照相機可以解決這種歧義性，通過三角化實現(xiàn)深度測量1862023/9/3根據(jù)視差計算深度x’zfxCC’Xbaselinef(X–X’)/f=baseline/zX–X’=(baseline*f)/zz=(baseline*f)/(X–X’)1872023/9/3給定左圖中的點p，其對應點p’應該在右圖什么位置？立體配準約束1882023/9/3立體配準約束1892023/9/3雙視角幾何約束第1個視角中成像點在第2個視角中對應成像點的位置：它必須在一個平面（兩個光心和該物理點所在平面）與成像平面的交線上極線約束1902023/9/3對極平面極點極線基準線極線幾何極點1912023/9/3極線約束極線約束有用，是因為它能將匹配問題縮減為沿極線的一維搜索問題1922023/9/3例1932023/9/3基礎矩陣令點p是左邊圖像中一點，點p’是右邊圖像中一點極線關系點p映射到極線l’

點p’映射到極線l

極線映射由3x3矩陣F描述：滿足：l’lpp’1942023/9/3基礎矩陣矩陣F稱為基本矩陣當圖像內(nèi)參已知時基礎矩陣更一般化情況下（非配準）通過點匹配來求解矩陣F每個點對(p,p’)給出矩陣F中的一個線性方程給定8個點對足以求解矩陣F（8點算法）1952023/9/3立體圖像矯正1962023/9/3立體圖像矯正將圖像重新投影到與相機中心連線平行的公共平面上變換后，像素沿水平方向運動兩個單應矩陣（3x3變換），分別對應一個輸入圖像的重投影1972023/9/3矯正實例1982023/9/3匹配問題極線幾何約束了搜索范圍，但是我們?nèi)匀灰鉀Q匹配這個難題！1992023/9/3基本立體匹配算法矯正兩幅圖像，使得極線變換成掃描線對第1幅圖像中的每個像素x，找到右邊圖像中對應的極線掃描線檢測掃描線上所有像素，得到最佳匹配點x’計算視差x-x’，并設置：depth(x)=f·Baseline/(x-x’)2002023/9/3匹配代價視差左邊右邊掃描線沿著右邊掃描線滑動一個窗口，將滑動窗口的內(nèi)容與左邊圖像中參考窗口的內(nèi)容進行比較匹配搜索2012023/9/3滑動窗口的大小W=3W=20小窗口+ 更多細節(jié)更多噪聲大窗口+ 更平滑的視差映射更少細節(jié)2022023/9/3匹配搜索失效的情況無紋理曲面遮擋和重復非朗博曲面、鏡面反射2032023/9/3窗口搜索的結果基于窗口的搜索真實情況數(shù)據(jù)2042023/9/3如何改進基于窗口的匹配?迄今為止，匹配是每個點獨立進行的我們可以加入什么約束/先驗知識？2052023/9/3立體視覺約束/先驗知識唯一性一幅圖像中的任意點，在其他圖像中最多有一個匹配點2062023/9/3立體視覺約束/先驗知識唯一性一幅圖像中的任意點，在其他圖像中最多有一個匹配點排序匹配點在各自視圖中具有相同的順序2072023/9/3未遵循排序約束立體視覺約束/先驗知識唯一性一幅圖像中的任意點，在其他圖像中最多有一個匹配點排序匹配點在各自視圖中具有相同的順序2082023/9/3立體視覺約束/先驗知識唯一性一幅圖像中的任意點，在其他圖像中最多有一個匹配點排序匹配點在各自視圖中具有相同的順序平滑性大多數(shù)情況下，視差值變化平滑2092023/9/3左邊圖像右邊圖像掃描線立體視覺嘗試一致性匹配整個掃描線上的像素不同掃描線仍然獨立進行優(yōu)化2102023/9/3LeftimageRightimage可采用動態(tài)規(guī)劃算法實現(xiàn)correspondenceqpLeftocclusiontRightocclusions掃描線立體視覺中的“最短路徑”2112023/9/3二維網(wǎng)格上的一致性立體視覺掃描線立體視覺生成“噴涂”瑕疵可采用動態(tài)規(guī)劃算法在二維網(wǎng)格上找到空間一致的視差/匹配2122023/9/3立體匹配：能量最小化I1I2D這種形式的能量函數(shù)可采用Graph-Cut算法實現(xiàn)最小化W1(i

)W2(i+D(i

))D(i

)數(shù)據(jù)項平滑項2132023/9/3主動立體視覺：結構光將結構光模式投影到物體表面簡化匹配問題允許我們僅用一臺相機相機投影儀2142023/9/38.StructurefromMotion2152023/9/3Structurefrommotion?給定兩幅或更多圖像中的匹配點集合，計算相機參數(shù)和點的三維坐標相機1相機2相機3R1,t1R2,t2R3,t3???2162023/9/3Structurefrommotion的不確定性若以因子k縮放整個場景幾何，同時以因子1/k縮放相機矩陣，則場景中的點在圖像中的投影不變：恢復場景的絕對尺度因子是不可能的！2172023/9/3如何知道圖像內(nèi)容的尺度?2182023/9/3Structurefrommotion的不確定性若以因子k縮放整個場景幾何，同時以因子1/k縮放相機矩陣，則場景中的點在圖像中的投影不變更一般化：若使用變化Q對場景進行變換，并用其逆變換作用于相機矩陣，則圖像不變2192023/9/3射影structurefrommotionx1jx2jx3jXjP1P2P3已知：包