機(jī)器視覺(jué)原理及應(yīng)用TianGongUniversity《機(jī)器視覺(jué)原理及應(yīng)用》第1章緒論1.1機(jī)器視覺(jué)1.2機(jī)器視覺(jué)研究的任務(wù)、基本內(nèi)容、應(yīng)用領(lǐng)域與困難1.3馬爾視覺(jué)理論1.4機(jī)器視覺(jué)與計(jì)算成像視覺(jué)是人類強(qiáng)大的感知方式，它為人們提供了關(guān)于周圍環(huán)境的大量信息，使得人們能有效地與周圍環(huán)境進(jìn)行交互。據(jù)統(tǒng)計(jì)，人類從外界接收的各種信息中80%以上是通過(guò)視覺(jué)獲得的，人類有50%的大腦皮層參與視覺(jué)功能運(yùn)轉(zhuǎn)。關(guān)于視覺(jué)有很多有趣的發(fā)現(xiàn)，比如螳螂蝦的眼睛能探測(cè)到偏振光。人眼以及普通相機(jī)只能感受到光的強(qiáng)度信息而不能探測(cè)到光的偏振信息。澳大利亞昆士蘭大學(xué)的研究人員發(fā)現(xiàn)，螳螂蝦的復(fù)眼能探測(cè)到偏振光。根據(jù)生物醫(yī)學(xué)及光學(xué)方面的理論知識(shí)，生物組織特性與偏振信息有關(guān)，所以螳螂蝦的眼睛是能夠“診斷”出生物組織的病變的。此外，蜻蜓等昆蟲(chóng)具有復(fù)眼結(jié)構(gòu)，蜘蛛有很多只眼睛，青蛙的眼睛只能看到動(dòng)態(tài)場(chǎng)景，狗對(duì)色彩信息的分辨能力極低。1.1機(jī)器視覺(jué)1.1機(jī)器視覺(jué)那么，介紹完生物的視覺(jué)功能之后，什么是機(jī)器視覺(jué)呢？機(jī)器視覺(jué)是機(jī)器(通常指數(shù)字計(jì)算機(jī))對(duì)圖像進(jìn)行自動(dòng)處理并報(bào)告“圖像是什么”的過(guò)程，也就是說(shuō)它用于識(shí)別圖像中的內(nèi)容，比如自動(dòng)目標(biāo)識(shí)別。計(jì)算機(jī)視覺(jué)一般以計(jì)算機(jī)為中心，主要由視覺(jué)傳感器、高速圖像采集系統(tǒng)及專用圖像處理系統(tǒng)等模塊組成。根據(jù)DavidA.Forsyth和JeanPonce的定義，計(jì)算機(jī)視覺(jué)是借助于幾何、物理和學(xué)習(xí)理論來(lái)建立模型，從而使用統(tǒng)計(jì)方法來(lái)處理數(shù)據(jù)的工作。它是指在透徹理解攝像機(jī)性能與物理成像過(guò)程的基礎(chǔ)上，通過(guò)對(duì)每個(gè)像素值進(jìn)行簡(jiǎn)單的推理，將多幅圖像中可能得到的信息綜合成相互關(guān)聯(lián)的整體，確定像素之間的聯(lián)系以便將他們彼此分割開(kāi)，或推斷一些形狀信息，進(jìn)而使用幾何信息或概率統(tǒng)計(jì)計(jì)數(shù)來(lái)識(shí)別物體。1.1.1機(jī)器視覺(jué)的發(fā)展圖為20世紀(jì)70年代至今機(jī)器視覺(jué)發(fā)展過(guò)程中的部分主題，包括機(jī)器視覺(jué)發(fā)展初期（20世紀(jì)70年代）的數(shù)字圖像處理和積木世界，20世紀(jì)80年代的卡爾曼濾波、正則化，20世紀(jì)90年代的圖像分割、基于統(tǒng)計(jì)學(xué)的圖像處理以及21世紀(jì)計(jì)算攝像學(xué)與機(jī)器視覺(jué)中的深度學(xué)習(xí)等。1.1.2機(jī)器視覺(jué)與其它領(lǐng)域的關(guān)系

機(jī)器視覺(jué)屬于交叉學(xué)科，它與眾多領(lǐng)域都有關(guān)聯(lián)。尤其是機(jī)器視覺(jué)與計(jì)算機(jī)視覺(jué)之間的關(guān)系，有的學(xué)者認(rèn)為二者一樣，有的則認(rèn)為二者存在差別，下方圖顯示了機(jī)器視覺(jué)與其他領(lǐng)域的關(guān)系圖，包括計(jì)算機(jī)視覺(jué)、圖像處理、人工智能、機(jī)器人控制、信號(hào)處理、成像等。人工智能、機(jī)器人控制等概念在相關(guān)學(xué)科中都有比較明確的定義。成像是表示或重構(gòu)客觀物體形狀及相關(guān)信息的學(xué)科。1.2機(jī)器視覺(jué)研究的任務(wù)、基本內(nèi)容、應(yīng)用領(lǐng)域與困難機(jī)器視覺(jué)系統(tǒng)被用于分析圖像和生成對(duì)被成像物體的描述。這些描述必須包含關(guān)于被成像物體的某些信息。用于完成某些特殊的任務(wù)。機(jī)器視覺(jué)系統(tǒng)可以看作一個(gè)與周圍環(huán)境進(jìn)行交互的部分。它是關(guān)于場(chǎng)景的反饋回路中的一個(gè)單元，而其它單元?jiǎng)t被用于決策與執(zhí)行決策。機(jī)器視覺(jué)研究的內(nèi)容非常廣泛，比如以下幾個(gè)方面：●相機(jī)標(biāo)定與圖像形成。●二值圖像分析、邊緣檢測(cè)與圖像濾波等低水平圖像處理問(wèn)題。●圖像分割，紋理描述與分割?！馭hapeFromX三維視覺(jué)。●立體視覺(jué)。●光流與運(yùn)動(dòng)分析。●目標(biāo)匹配，檢測(cè)與識(shí)別?！?D傳感，形狀描述、目標(biāo)跟蹤。●視覺(jué)人機(jī)交互與虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)?！裼?jì)算成像。1.2.3應(yīng)用領(lǐng)域機(jī)器視覺(jué)在很多領(lǐng)域已經(jīng)得到了廣泛應(yīng)用。1）工業(yè)自動(dòng)化生產(chǎn)線：將圖像和視覺(jué)技術(shù)用于工業(yè)自動(dòng)化，可以提高生產(chǎn)效率和生產(chǎn)質(zhì)量，同時(shí)還可以避免人的疲勞、注意力不集中等帶來(lái)的誤判。具體例子有工業(yè)探傷、自動(dòng)流水線和裝配、自動(dòng)焊接、PCB檢查以及各種危險(xiǎn)場(chǎng)合工作的機(jī)器人等。2）視覺(jué)導(dǎo)航：用于無(wú)人駕駛飛機(jī)、無(wú)人駕駛汽車、移動(dòng)機(jī)器人、精確制導(dǎo)及自動(dòng)巡航裝備捕獲目標(biāo)和確定距離，既可以避免人的參與及由此帶來(lái)的危險(xiǎn)，也可提高精度和速度。3）光學(xué)字符識(shí)別:閱讀信上的手寫郵政編碼和自動(dòng)號(hào)碼牌識(shí)別。4）機(jī)器檢驗(yàn)：快速檢驗(yàn)部件質(zhì)量，用立體視覺(jué)在專用的光照環(huán)境下測(cè)量飛機(jī)機(jī)翼或汽車車身配件的容差。5）零售業(yè)：針對(duì)自動(dòng)結(jié)賬通道的物體識(shí)別及基于人臉識(shí)別的支付功能。6）醫(yī)學(xué)成像：配準(zhǔn)手術(shù)前和手術(shù)中的成像，或關(guān)于人類老化過(guò)程中大腦形態(tài)的長(zhǎng)期研究。7）人機(jī)交互：讓計(jì)算機(jī)借助人的手勢(shì)、嘴唇動(dòng)作、軀干運(yùn)動(dòng)、表情等了解人的要求而執(zhí)行指令，這既符合人類的互動(dòng)習(xí)慣，也可增加交互便捷性和臨場(chǎng)感。8）虛擬現(xiàn)實(shí)：飛機(jī)駕駛員訓(xùn)練、手術(shù)模擬、場(chǎng)景建模、戰(zhàn)場(chǎng)環(huán)境仿真等。1.2.4困難使機(jī)器具有看的能力不是一件容易的事情。那么，機(jī)器視覺(jué)的研究有哪些困難？對(duì)于這個(gè)問(wèn)題，可從以個(gè)方面理解。1）在3D向2D轉(zhuǎn)換過(guò)程中損失信息。在相機(jī)或者人眼圖像獲取過(guò)程中，會(huì)出現(xiàn)3D向2D轉(zhuǎn)換過(guò)程中的信息損失。2）解釋。人類可以自然而然地對(duì)圖像進(jìn)行解釋，而這一任務(wù)卻是機(jī)器視覺(jué)要解決的難題之一。3）噪聲。真實(shí)世界中的測(cè)量都含有噪聲，這就需要使用相應(yīng)數(shù)學(xué)工具和方法對(duì)含有噪聲的視覺(jué)感知結(jié)果進(jìn)行分析與處理，從而較好地復(fù)原真實(shí)視覺(jué)數(shù)據(jù)。4）大數(shù)據(jù)。圖像數(shù)據(jù)是巨大的，視頻數(shù)據(jù)相應(yīng)地會(huì)更大。雖然技術(shù)上的進(jìn)步使得處理器和內(nèi)存不足已經(jīng)不是問(wèn)題，但是，數(shù)據(jù)處理的效率仍然是一個(gè)重要的問(wèn)題。5）亮度測(cè)量。在成像傳感時(shí)，用圖像亮度近似表示輻射率。輻射率依賴于輻照度（輻照度與光源類型、強(qiáng)度和位置有關(guān)）、觀察者位置、表面的局部幾何性質(zhì)和表面的反射特效等。其逆任務(wù)是病態(tài)的，比如由亮度變化重建局部表面方向。通常病態(tài)問(wèn)題的求解是極其困難的。6）局部窗口和對(duì)全局視圖的需要。通常，圖像分析與處理的是其中的局部像素，也就是說(shuō)通過(guò)小孔來(lái)看圖像。通過(guò)小孔看世界很難實(shí)現(xiàn)全局上下文的理解。1.2.5機(jī)器視覺(jué)與人的視覺(jué)關(guān)系機(jī)器視覺(jué)是研究如何能讓計(jì)算機(jī)像人類那樣通過(guò)視覺(jué)實(shí)現(xiàn)“see”的學(xué)科。視覺(jué)實(shí)際上包含兩個(gè)方面：“視”和“覺(jué)”，也就是說(shuō)機(jī)器視覺(jué)不僅要捕獲場(chǎng)景信息還需要理解場(chǎng)景信息。具體來(lái)講，它是利用相機(jī)和計(jì)算機(jī)代替人眼，使得機(jī)器擁有類似于人類的對(duì)目標(biāo)進(jìn)行分割、分類、識(shí)別、跟蹤、判別和決策的功能。對(duì)人類來(lái)說(shuō)非常簡(jiǎn)單的視覺(jué)任務(wù)對(duì)于機(jī)器卻可能異常復(fù)雜。在很多方面，機(jī)器視覺(jué)的能力還遠(yuǎn)遠(yuǎn)不如人類視覺(jué)，原因在于人類經(jīng)過(guò)大量的學(xué)習(xí)、認(rèn)識(shí)和了解，已經(jīng)對(duì)現(xiàn)實(shí)世界中存在的各種事物有了準(zhǔn)確、完善的分類歸納能力，而計(jì)算機(jī)則缺少相應(yīng)的過(guò)程，就像一個(gè)嬰兒很難分清不同的人，很難辨別物體的形狀和外觀、人的表情等，但經(jīng)過(guò)與外界的交互、學(xué)習(xí)就能逐漸掌握對(duì)事物和場(chǎng)景的識(shí)別和理解能力。讓計(jì)算機(jī)達(dá)到人類的視覺(jué)能力需要一個(gè)完善的學(xué)習(xí)過(guò)程。此外，生物的眼睛經(jīng)歷了５億多年的進(jìn)化，視覺(jué)系統(tǒng)不斷完善，而相機(jī)的出現(xiàn)才短短一百多年。在圖像理解等高級(jí)機(jī)器視覺(jué)問(wèn)題上，計(jì)算機(jī)的視覺(jué)能力通常低于人類。人類及其他生物的眼睛具有的強(qiáng)大功能，所以機(jī)器視覺(jué)研究過(guò)程中借鑒了生物視覺(jué)的功能原理，比如Gabor濾波器的頻率和方向表達(dá)同人類視覺(jué)系統(tǒng)類似，卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建參考了人類大腦提取視覺(jué)信息的方式。1.3馬爾視覺(jué)理論Marr首次從信息處理的角度綜合了圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)及臨床神經(jīng)病學(xué)等方面已取得的重要研究成果，在1982年出版的《視覺(jué)》（Vision）一書提出了視覺(jué)理論框架，使得計(jì)算機(jī)視覺(jué)有了一個(gè)比較明確的體系。該框架既全面又精煉，是使視覺(jué)信息理解的研究變得嚴(yán)密，并把視覺(jué)研究從描述的水平提高到數(shù)理科學(xué)水平的關(guān)鍵。Marr的理論指出，要先理解視覺(jué)的目的，再去理解其中的細(xì)節(jié)。這對(duì)各種信息處理任務(wù)都是合適的。下面簡(jiǎn)要介紹Marr視覺(jué)理論的基本思想及理論框架。1.3.1視覺(jué)是一個(gè)復(fù)雜的信息加工過(guò)程馬爾從信息處理系統(tǒng)的角度出發(fā)，認(rèn)為對(duì)視覺(jué)系統(tǒng)的研究應(yīng)分為三個(gè)層次，即計(jì)算理論層次、表達(dá)與算法層次和硬件實(shí)現(xiàn)層次。計(jì)算理論層次主要回答視覺(jué)系統(tǒng)的計(jì)算目的與計(jì)算策略是什么，或視覺(jué)系統(tǒng)的輸入輸出是什么，如何由系統(tǒng)的輸入求系統(tǒng)的輸出。在這個(gè)層次上，視覺(jué)系統(tǒng)輸入是二維圖像，輸出則是三維物體的形狀、位置和姿態(tài)。視覺(jué)系統(tǒng)的任務(wù)是研究如何建立輸入輸出之間的關(guān)系和約束，如何由灰度圖像恢復(fù)物體的三維信息。表達(dá)與算法層次是要進(jìn)一步回答如何表達(dá)輸入和輸出信息，如何實(shí)現(xiàn)計(jì)算理論所對(duì)應(yīng)功能的算法，以及如何由一種表示變換成另一種表示。一般來(lái)說(shuō)，使用不同的表達(dá)方式完成同一計(jì)算的算法會(huì)不同，但表達(dá)與算法是比計(jì)算理論低一層次的問(wèn)題，不同的表達(dá)與算法，在計(jì)算理論層次上可以是相同的。最后一個(gè)硬件實(shí)現(xiàn)層次解決如何用硬件實(shí)現(xiàn)上述表達(dá)和算法的問(wèn)題，比如計(jì)算機(jī)體系結(jié)構(gòu)和具體的計(jì)算裝置及其細(xì)節(jié)。1.3.3視覺(jué)系統(tǒng)處理的三個(gè)階段馬爾從視覺(jué)計(jì)算理論出發(fā)，將系統(tǒng)分為自下而上的三個(gè)階段，即視覺(jué)信息從最初的原始數(shù)據(jù)（二維圖像數(shù)據(jù)）到最終對(duì)三維環(huán)境的表達(dá)經(jīng)歷了三個(gè)階段的處理，如圖所示。第一階段（早期視覺(jué)處理階段）構(gòu)成所謂“要素圖”或“基元圖”，基元圖由二維圖像中的邊緣點(diǎn)、直線段、曲線、頂點(diǎn)、紋理等基本幾何元素或特征組成。對(duì)第二階段（中期視覺(jué)處理階段），馬爾稱為對(duì)環(huán)境的2.5維描述。1.3.3視覺(jué)系統(tǒng)處理的三個(gè)階段馬爾的視覺(jué)計(jì)算理論是視覺(jué)研究中第一個(gè)影響較大的理論，它推動(dòng)了這一領(lǐng)域的發(fā)展，對(duì)圖像理解和機(jī)器視覺(jué)的研究具有重要作用。但是馬爾的理論也有不足之處，比如下面四個(gè)有關(guān)整體框架的問(wèn)題。１）框架中的輸入是被動(dòng)的，輸入什么圖像，系統(tǒng)就加工什么圖像。２）框架中的目的不變，總是恢復(fù)場(chǎng)景中物體的位置和形狀。３）框架缺乏或者說(shuō)沒(méi)有足夠重視高層知識(shí)的指導(dǎo)作用。４）整個(gè)框架中的信息加工過(guò)程基本自下而上，單向流動(dòng)，沒(méi)有反饋。針對(duì)上述問(wèn)題，人們提出了一系列改進(jìn)思路，具體如圖所示1.4機(jī)器視覺(jué)與計(jì)算成像計(jì)算攝像學(xué)或計(jì)算成像（computationalphotography）是綜合了機(jī)器視覺(jué)、計(jì)算機(jī)圖形學(xué)、人工智能、信號(hào)處理等技術(shù)的新興領(lǐng)域。在計(jì)算成像中通常會(huì)在傳感數(shù)據(jù)采用圖像分析與處理算法獲得超越傳統(tǒng)成像系統(tǒng)能力的圖像。傳統(tǒng)成像通常輸出的為圖像，而計(jì)算成像輸出數(shù)據(jù)需要進(jìn)一步計(jì)算獲得最終的圖像數(shù)據(jù)。計(jì)算成像綜合了以前端光學(xué)和后端信號(hào)處理一體化設(shè)計(jì)為代表的聯(lián)合處理方式，并將其命名為“ComputationalPhotography”，標(biāo)志著計(jì)算光學(xué)成像的誕生。計(jì)算成像發(fā)展迅速，其中以單光子成像、單像素成像、非視覺(jué)成像、偏振成像、光場(chǎng)成像、事件相機(jī)成像、多光譜成像、Fourier疊層成像、散射介質(zhì)成像等為代表的計(jì)算成像技術(shù)極大克服了傳統(tǒng)成像的局限性，在越來(lái)越多的領(lǐng)域得到廣泛的應(yīng)用。1.4.1單光子成像單光子成像是面向極低光照成像條件下的高靈敏成像。單光子成像是固態(tài)成像技術(shù)的拓展，光電探測(cè)過(guò)程的靈敏度可以通過(guò)系統(tǒng)設(shè)計(jì)得到提高，直到最終能探測(cè)單個(gè)光子到達(dá)的光子。中國(guó)科技大學(xué)徐飛虎教授等提出了高效的少光子計(jì)算成像算法，首次實(shí)現(xiàn)每個(gè)像素只探測(cè)一個(gè)光子的超低光、高靈敏三維成像。單光子成像技術(shù)通過(guò)脈沖激光照射目標(biāo)，在回波光子數(shù)極少的情況下，采用大口徑光學(xué)鏡頭進(jìn)行收集，通過(guò)單光子探測(cè)器記錄光子到達(dá)時(shí)間，并由光子計(jì)數(shù)器記錄信號(hào)個(gè)數(shù)，并基于泊松統(tǒng)計(jì)的方法，通過(guò)增大重復(fù)次數(shù)，可累積出目標(biāo)光強(qiáng)信息與距離信息，從而實(shí)現(xiàn)對(duì)目標(biāo)的灰度成像及三維成像。2019年打破了單光子三維成像的最遠(yuǎn)距離記錄，能夠以每像素1光子的靈敏度對(duì)45公里遠(yuǎn)的物體成像。中國(guó)科學(xué)技術(shù)大學(xué)潘建偉院士、徐飛虎教授等實(shí)現(xiàn)超過(guò)200公里的遠(yuǎn)距離單光子三維成像，首次將成像距離從十公里突破到百公里量級(jí)，為遠(yuǎn)距離目標(biāo)識(shí)別、對(duì)地觀測(cè)等領(lǐng)域應(yīng)用開(kāi)辟新道路。1.4.2單像素成像單像素成像是近年來(lái)被廣泛研究的一種新型成像技術(shù)。單像素相機(jī)在照明端采取結(jié)構(gòu)光照明，在探測(cè)端采用單像素光強(qiáng)探測(cè)器收集信號(hào)。當(dāng)照明結(jié)構(gòu)發(fā)生變化時(shí)，相應(yīng)的物光光強(qiáng)的變化反映出照明結(jié)構(gòu)與物體空間信息之間的關(guān)聯(lián)程度。通過(guò)不斷變化照明結(jié)構(gòu)并累積關(guān)聯(lián)信息，最終實(shí)現(xiàn)對(duì)物體的成像。由于單像素相機(jī)在探測(cè)端只需要光強(qiáng)探測(cè)，它對(duì)探測(cè)器的要求遠(yuǎn)遠(yuǎn)低于普通成像中的面陣探測(cè)器。如圖所示，光源發(fā)出的光經(jīng)過(guò)成像物體反射通過(guò)透鏡會(huì)聚到空間光調(diào)制器（DMD），被單像素探測(cè)獲取。然后通過(guò)空間光調(diào)制器的圖案和單像素探測(cè)器的信號(hào)進(jìn)行運(yùn)算可重構(gòu)出物體的圖像。照明光電探測(cè)器成像透鏡背向散射1.4.3偏振成像偏振成像相機(jī)通過(guò)在傳統(tǒng)相機(jī)成像芯片前放置多向偏振光學(xué)元件過(guò)濾其他偏振方向的光，保存偏振光方向的光線，得到傳感器偏振強(qiáng)度。圖為分焦面成像原理圖，多向偏振元件使得進(jìn)入每個(gè)相機(jī)光感器芯片像元的光為單一偏振方向，實(shí)現(xiàn)相機(jī)傳感器每個(gè)像素點(diǎn)的光強(qiáng)信息為單一偏振方向。通常，商業(yè)上所用的偏光傳感器芯片搭載了4向偏光元件，單次采集可獲取0度、45度、90度和135度方向偏振光數(shù)據(jù)。與傳統(tǒng)成像相比，偏振成像可提供偏振度、偏振角、斯托克斯等參數(shù)，在偏振去霧成像、偏振導(dǎo)航、生物醫(yī)學(xué)成像、工業(yè)視覺(jué)反光去除方面具有巨大的潛力。此外，通過(guò)偏振成像實(shí)現(xiàn)三維重建也是計(jì)算機(jī)三維視覺(jué)中的重要的三維重建方式。通過(guò)偏振參數(shù)計(jì)算物體表面法向量，可進(jìn)而重建物體深度信息。目前，單獨(dú)使用偏振信息重建三維表面存在方位角歧義、天頂角偏差等問(wèn)題，影響重建結(jié)果準(zhǔn)確性。光電探測(cè)器偏振器片上透鏡1.4.4光場(chǎng)成像1936年，Gershun初次定義了光場(chǎng)的早期模型，提出了一個(gè)光矢量的計(jì)算方法。對(duì)于由一組點(diǎn)源產(chǎn)生的光場(chǎng)，在某點(diǎn)的合成光矢量定義為每個(gè)光源的光矢量的和，每一個(gè)分量向量都沿著從光源到該點(diǎn)的射線方向，可知它的向量長(zhǎng)度等于光源產(chǎn)生的正常照度。而因?yàn)榭臻g照度是法向照度的標(biāo)量和，光矢量是法向照度的向量和，那么光矢量是由已知的亮度分布實(shí)體計(jì)算出來(lái)的。相機(jī)陣列和微透鏡陣列成像是光場(chǎng)相機(jī)成像的代表。圖中左邊為相機(jī)陣列光場(chǎng)成像，右邊是微透鏡光場(chǎng)。微透鏡陣列相機(jī)分辨率是目前光場(chǎng)成像性能的主要瓶頸之一，光場(chǎng)成像超分辨是光場(chǎng)成像研究的主要內(nèi)容之一。1.4.5事件相機(jī)傳統(tǒng)數(shù)碼相機(jī)以圖像和視頻為表達(dá)形式。傳統(tǒng)相機(jī)無(wú)法記錄曝光時(shí)間內(nèi)的光學(xué)變化過(guò)程。幾十Hz的相機(jī)無(wú)法拍攝高速場(chǎng)景，而使用拍攝場(chǎng)景高速相機(jī)成本較高。生理學(xué)家發(fā)現(xiàn)生物視網(wǎng)膜中存在對(duì)運(yùn)動(dòng)敏感的神經(jīng)元。在生物視覺(jué)系統(tǒng)中，不存在圖像序列。生物視覺(jué)領(lǐng)域研究生物眼睛并非像照相機(jī)向大腦傳送幀的圖像，而是采用異步脈沖序列方式向大腦報(bào)告光學(xué)變化。事件相機(jī)源于生物視覺(jué)這一特性。事件相機(jī)感光單元僅在亮度變化超過(guò)閾值時(shí)才會(huì)產(chǎn)生事件。如圖所示，傳統(tǒng)相機(jī)以幀率輸出圖像信號(hào)，而事件相機(jī)根據(jù)亮度變化以事件流的方式在時(shí)間尺度上以微秒級(jí)別單位異步輸出變化信號(hào)。TheEnd機(jī)器視覺(jué)原理及應(yīng)用《機(jī)器視覺(jué)原理及應(yīng)用》第2章相機(jī)成像與標(biāo)定2.1攝影幾何和幾何變換2.2相機(jī)標(biāo)定基礎(chǔ)2.3相機(jī)標(biāo)定方法2.4相機(jī)標(biāo)定的matlab和opencv實(shí)現(xiàn)2.5圓形板標(biāo)定方法2.6單相機(jī)與光源系統(tǒng)標(biāo)定2.7案例-機(jī)器人手眼標(biāo)定射影幾何是研究圖形的射影性質(zhì)，即它們經(jīng)過(guò)射影變換后，依然保持不變的圖形性質(zhì)的幾何學(xué)分支學(xué)科。計(jì)算機(jī)視覺(jué)中常涉及歐式幾何（EuclideanGeometry）、仿射幾何（AffineGeometry）、射影幾何（ProjectiveGeometry）、微分幾何（DifferentialGeometry）。射影變換保持直線，直線與點(diǎn)的接合性及直線上點(diǎn)列的交比不變。仿射變換除具有以上不變性外，還保持直線與直線的平行性、直線上點(diǎn)列的簡(jiǎn)比不變。歐式變換除具有仿射的不變性外，還保持兩條相交直線的夾角不變，任意兩點(diǎn)的距離不變。2.1攝影幾何和幾何變換2.1攝影幾何和幾何變換空間幾何變換縮放平移3D變換平移變換2D變換常用的空間幾何變換有：剛體變換、空間相似變換（含平移、旋轉(zhuǎn)、相似變換）、仿射變換、投影變換（透視變換）與非線性變換等。仿射變換為射影變換特例，在射影幾何中已證明，如果射影變換使無(wú)窮點(diǎn)仍變換為無(wú)窮遠(yuǎn)點(diǎn)，則變換為仿射變換。經(jīng)仿射變換后，線段間保持其平行性，但不保持其垂直性。平面仿射變換的實(shí)質(zhì)是平面與平面之間的平行投影。平面透視變換的實(shí)質(zhì)是平面與平面之間的中心投影。旋轉(zhuǎn)+平移變換仿射變換投影變換平移變換旋轉(zhuǎn)+平移變換縮放平移仿射變換投影變換原圖像仿射變化后投影變化后2.1.2三維到二維投影2.1攝影幾何和幾何變換

投影變換將3D空間坐標(biāo)中的點(diǎn)映射到2D平面中，即空間中點(diǎn)的3D信息投影后變成圖像亮度信息，丟失了圖像的3D信息，投影后就不可能恢復(fù)該點(diǎn)到圖像的距離了，因此2D傳感器沒(méi)有辦法測(cè)量到表面點(diǎn)的距離。整個(gè)三維空間的投影透視示意圖yz平面的投影透視示意圖2.2相機(jī)標(biāo)定基礎(chǔ)

2.2.1線性模型攝像機(jī)針孔成像模型2.2相機(jī)標(biāo)定基礎(chǔ)2.2.2非線性模型實(shí)際的成像過(guò)程中，由于攝像機(jī)鏡頭的加工誤差、裝備誤差等原因會(huì)產(chǎn)生攝像機(jī)畸變，使成像點(diǎn)會(huì)偏離原來(lái)應(yīng)成像的位置，所以線性模型不能準(zhǔn)確地描述攝像機(jī)的成像幾何關(guān)系。非線性模型可用式來(lái)描述。

2.2相機(jī)標(biāo)定基礎(chǔ)2.2.3空間坐標(biāo)系及變換

在對(duì)相機(jī)進(jìn)行標(biāo)定前，為確定空間物體表面上點(diǎn)的三維幾何位置與其在二維圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，首先需要對(duì)相機(jī)成像模型進(jìn)行分析。在機(jī)器視覺(jué)中，相機(jī)模型是通過(guò)一定的坐標(biāo)映射關(guān)系，將二維圖像上的點(diǎn)映射到三維空間。相機(jī)成像模型中涉及世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像像素坐標(biāo)系及圖像物理坐標(biāo)系四個(gè)坐標(biāo)系間的轉(zhuǎn)換世界坐標(biāo)系又叫真實(shí)坐標(biāo)系，是在真實(shí)環(huán)境中選擇一個(gè)參考坐標(biāo)系來(lái)描述物體和相機(jī)的位置。相機(jī)坐標(biāo)系是以相機(jī)的光心為坐標(biāo)原點(diǎn)，z軸與光軸重合、與成像平面垂直，x軸與y軸分別與圖像物理坐標(biāo)系的x軸和y軸平行的坐標(biāo)系。圖像像素坐標(biāo)系為建立在圖像的平面直角坐標(biāo)系，單位為像素，用來(lái)表示各像素點(diǎn)在像平面上的位置，其原點(diǎn)位于圖像的左上角。圖像物理坐標(biāo)系原點(diǎn)是成像平面與光軸的交點(diǎn)，x軸和y軸分別與相機(jī)坐標(biāo)系x軸與y軸平行，通常單位為mm，圖像的像素位置用物理單位來(lái)表示。2.2相機(jī)標(biāo)定基礎(chǔ)

世界坐標(biāo)系與相機(jī)坐標(biāo)系轉(zhuǎn)換示意圖2.2相機(jī)標(biāo)定基礎(chǔ)如圖1所示，成像平面所在的平面坐標(biāo)系就是圖像物相機(jī)坐標(biāo)系與圖像物理坐標(biāo)系的轉(zhuǎn)換示意圖理坐標(biāo)系。圖1相機(jī)坐標(biāo)系與圖像物理坐標(biāo)系的轉(zhuǎn)換示意圖圖2圖像像素坐標(biāo)系與圖像物理坐標(biāo)系

2.3相機(jī)標(biāo)定方法2.3.1Tsai相機(jī)標(biāo)定直接線性變換方法或者透視變換矩陣方法利用線性方法來(lái)求取相機(jī)參數(shù)，其缺點(diǎn)是沒(méi)有考慮鏡頭的非線性畸變。如果利用直接線性變換方法或透視變換矩陣方法求得相機(jī)參數(shù)，可以將求得的參數(shù)作為下一步的初始值，考慮畸變因素，利用最優(yōu)化算法進(jìn)一步提高標(biāo)定精度，這樣就形成了所謂的兩步法。兩步法的第一步是解線性方程，得到部分外參的精確解。第二步再將其余外參與畸變修正系數(shù)進(jìn)行迭代求解。較為典型的兩步法是Tsai提出的基于徑向約束的兩步法?；趶较蚣s束的相機(jī)標(biāo)定方法標(biāo)定過(guò)程快捷、準(zhǔn)確，但是只考慮了徑向畸變，沒(méi)有考慮其它畸變。該方法所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性。標(biāo)定過(guò)程是先忽略鏡頭的誤差，利用中間變量將標(biāo)定方程化為線性方程求解出相機(jī)的外參；然后根據(jù)外參利用非線性優(yōu)化的方法求取徑向畸變系數(shù)k、有效焦距f、以及平移分量Tz2.3相機(jī)標(biāo)定方法2.3.1DLT相機(jī)標(biāo)定

已知一組3D點(diǎn)的位置，以及它們?cè)谙鄼C(jī)中的投影位置，直接根據(jù)相機(jī)線性模型計(jì)算出相機(jī)的內(nèi)外參數(shù)是較為常用的方法。攝像機(jī)的線性模型為：

將s消去2.3相機(jī)標(biāo)定方法

2.3相機(jī)標(biāo)定方法2.3.3張正友標(biāo)定1998年，張正友提出了基于二維平面靶標(biāo)的標(biāo)定方法，使用相機(jī)在不同角度下拍攝多幅平面靶標(biāo)的圖像，比如棋盤格的圖像。然后通過(guò)對(duì)棋盤格的角點(diǎn)進(jìn)行計(jì)算分析來(lái)求解相機(jī)的內(nèi)外參數(shù)提取角點(diǎn)加載圖像2.3相機(jī)標(biāo)定方法2.3.4PNP標(biāo)定

對(duì)內(nèi)參數(shù)，直接使用長(zhǎng)焦距鏡頭和圖像傳感器的標(biāo)稱值計(jì)算。對(duì)于外參數(shù)，使用AP3P算法來(lái)估計(jì)左、右相機(jī)的位姿。物體左相機(jī)坐標(biāo)系右相機(jī)坐標(biāo)系左圖右圖()1iq()2iq世界坐標(biāo)系u1v1u2v2Z1X1Y1X2Y2Z2XwZwYw標(biāo)定板

X

(i)XwAP3P算法是透視三點(diǎn)定位(PerspectiveThreePoints，P3P)問(wèn)題的一種代數(shù)解法。具體步驟分為三步：2.3相機(jī)標(biāo)定方法

OQ1Q2Q3q1q3q23D擴(kuò)展圖像坐標(biāo)cC世界坐標(biāo)系uvYXZw2.5圓形板標(biāo)定方法2.5.1單目相機(jī)標(biāo)定

如下圖所示，獲得5張不同姿態(tài)的標(biāo)定板圖像，然后取出每個(gè)圓圈上的點(diǎn)，計(jì)算其中心位置，最后對(duì)得到的中心點(diǎn)進(jìn)行排序。將這些提取出的中心點(diǎn)作為參考點(diǎn)，利用張正友標(biāo)定法進(jìn)行標(biāo)定，計(jì)算出旋轉(zhuǎn)矩陣R和平移矩陣T。2.5圓形板標(biāo)定方法2.5.2雙目相機(jī)標(biāo)定

本節(jié)采用兩個(gè)分辨率均為1280×1024的高速相機(jī)對(duì)圓形標(biāo)定板進(jìn)行5次不同角度的拍攝，拍攝期間保證圖像每次都落在兩個(gè)相機(jī)的圖像平面內(nèi)Prewit算子邊緣提取Sobel算子邊緣提取Roberts算子邊緣提取Canny算子邊緣提取

可以看出，四種算子在邊緣提取的結(jié)果上并無(wú)太大的差異，但是Canny算子自身是根據(jù)雙閾值來(lái)對(duì)圖像邊緣進(jìn)行提取的，其首先根據(jù)強(qiáng)閾值進(jìn)行邊緣點(diǎn)初定位，然后使用弱閾值按照初定位邊緣點(diǎn)進(jìn)行逐個(gè)像素點(diǎn)跟蹤，所以能將一個(gè)連續(xù)的邊緣完整的提取出來(lái)。Canny算子對(duì)噪聲、光照等影響因素具有較好的抗干擾能力，因此，為了使標(biāo)定方法在多種環(huán)境下均具有較好的適用性，選用Canny算子對(duì)圓形標(biāo)定板進(jìn)行邊緣提取。經(jīng)過(guò)多次試驗(yàn)，設(shè)置合理的Canny算子的髙閾值和低閾值，即可完整地保留圖像邊緣，又可有效濾除噪聲等干擾信息。2.5圓形板標(biāo)定方法

對(duì)獲得的邊緣圖像進(jìn)行橢圓擬合，而后得到99個(gè)圓的圓心坐標(biāo)。為了確保每幅圖像的99個(gè)圓心坐標(biāo)均按照一定的順序排列，本節(jié)將在拍攝過(guò)程中經(jīng)過(guò)旋轉(zhuǎn)和平移對(duì)獲得的圖像進(jìn)行逆操作，逆操作的依據(jù)為每個(gè)圖像坐標(biāo)系的旋轉(zhuǎn)和平移參數(shù)，依照這些參數(shù)將每幅圖像都矯正為設(shè)定的角度，而后再對(duì)圓心坐標(biāo)進(jìn)行排序，排序以5個(gè)大的方位圓為依據(jù)。由于圓心個(gè)數(shù)較多，此處不再羅列圓心的具體坐標(biāo)值。標(biāo)定圖像的排序結(jié)果2.6單相機(jī)與光源系統(tǒng)標(biāo)定2.6.1背景三維重建方法已廣泛應(yīng)用于工業(yè)檢測(cè)、逆向工程、人體掃描、文物保護(hù)、服裝鞋帽等多個(gè)領(lǐng)域，對(duì)自由曲面的檢測(cè)具有速度快、精度高的優(yōu)勢(shì)。在主動(dòng)三維測(cè)量技術(shù)中，結(jié)構(gòu)光三維測(cè)量技術(shù)發(fā)展最為迅速，尤其是相位測(cè)量輪廓術(shù)（PhaseMeasuringProfilometry,PMP）。PMP也被稱為相移測(cè)量輪廓術(shù)（PhaseShiftingProfilometry,PSP），是目前三維測(cè)量產(chǎn)品中常用的測(cè)量方法。相位測(cè)量方法是向被測(cè)物體上投射固定周期的按照三角函數(shù)（正弦或者余弦）規(guī)律變化的光亮度圖像，此圖像經(jīng)過(guò)大于3步的均勻相移（最好為4-6步），向物體投射4-6次光亮度圖像，最終完成一個(gè)周期的相位移動(dòng)。清華大學(xué)機(jī)械工程系先進(jìn)成形制造教育部重點(diǎn)實(shí)驗(yàn)室韋爭(zhēng)亮等給出了一種單相機(jī)單投影儀三維測(cè)量系統(tǒng)標(biāo)定技術(shù)，該方法依靠具有黑底白色圓點(diǎn)圖案的單平面標(biāo)定塊,采用Tsai兩步法及非線性優(yōu)化完成相機(jī)標(biāo)定。華中科技大學(xué)李中偉博士在博士論文《基于數(shù)字光柵投影的結(jié)構(gòu)光三維測(cè)量技術(shù)與系統(tǒng)研究》中也給出一種相機(jī)和投影光源的標(biāo)定方法，該方法首先對(duì)相機(jī)的參數(shù)進(jìn)行標(biāo)定，然后再通過(guò)投影光源投射4步相移的外差多頻圖像，以獲得投影光源的相關(guān)標(biāo)定參數(shù)。張松博士以及意大利E.Zappa博士等多位學(xué)者也曾經(jīng)對(duì)相機(jī)以及投影光源的標(biāo)定進(jìn)行過(guò)相關(guān)的研究，但是目前所有的標(biāo)定方法中都只介紹了如何獲得相機(jī)以及投影機(jī)的內(nèi)部參數(shù)和外部參數(shù)信息，并沒(méi)有給出如何獲得在三維重建系統(tǒng)中所需要的五個(gè)重要參數(shù)的標(biāo)定方法。2.6單相機(jī)與光源系統(tǒng)標(biāo)定2.6.1原理及方法調(diào)整攝像機(jī)及投影光源的位置、焦距等設(shè)置，使之處于最佳狀態(tài)放置好標(biāo)定靶標(biāo)，設(shè)置靶標(biāo)次數(shù)參數(shù)n=0利用攝像機(jī)采集投射相移光柵之前的圖像，并提取靶標(biāo)上面所有圓在攝像機(jī)坐標(biāo)系下的圓心坐標(biāo)

利用投影光源在被測(cè)靶標(biāo)上投射橫向和縱向的格雷碼及6步相移光柵，利用攝像機(jī)實(shí)時(shí)拍攝每幅圖像，在圓心位置的每個(gè)點(diǎn)

，利用解算出來(lái)的橫向相位

和縱向相位

，計(jì)算在投影光源坐標(biāo)系中圓心位置所對(duì)應(yīng)的圓心坐標(biāo)

計(jì)算投影光源與攝像機(jī)之間的距離D用張正友的標(biāo)定方法，獲得攝像機(jī)坐標(biāo)系相對(duì)于物空間坐標(biāo)系的旋轉(zhuǎn)矩陣

和平移矩陣

，以及投影光源坐標(biāo)系相對(duì)于物空間坐標(biāo)系的旋轉(zhuǎn)矩陣

和平移變換標(biāo)定靶標(biāo)位置，n執(zhí)行加1的操作計(jì)算攝像機(jī)與參考平面的距離L計(jì)算投影光源投射的正弦或者余弦信號(hào)波的頻率

計(jì)算圖像在X軸方向相鄰像素點(diǎn)的距離值計(jì)算圖像在Y軸方向相鄰像素點(diǎn)的距離值2.6案例-機(jī)器人手眼標(biāo)定機(jī)器視覺(jué)可以應(yīng)用在眾多領(lǐng)域，例如工業(yè)生產(chǎn)線產(chǎn)品的檢測(cè)、太空空間站的檢修等，機(jī)器視覺(jué)幾乎可以應(yīng)用在所有需要人類視覺(jué)的領(lǐng)域。應(yīng)用在工業(yè)和太空方面時(shí)，機(jī)器視覺(jué)通常和機(jī)械臂結(jié)合。在和機(jī)械臂結(jié)合應(yīng)用的時(shí)候，機(jī)器視覺(jué)所用的相機(jī)通常被稱為“眼”，機(jī)械臂的法蘭盤，即末端執(zhí)行器，通常被稱為“手”。DH模型是對(duì)機(jī)械臂進(jìn)行建模的一種非常有效的簡(jiǎn)單方法，適用于任何機(jī)械臂模型，而不必考慮機(jī)械臂的結(jié)構(gòu)順序和復(fù)雜程度，無(wú)論是全旋轉(zhuǎn)的鏈?zhǔn)綑C(jī)械臂或者任何由關(guān)節(jié)和連桿組合而成的機(jī)械臂都能使用在使用DH表示法對(duì)機(jī)械臂建模時(shí)，必須給每個(gè)關(guān)節(jié)建立一個(gè)參考坐標(biāo)系,圖2?27所示為實(shí)驗(yàn)用機(jī)械臂各個(gè)關(guān)節(jié)的參考坐標(biāo)系示意圖。通常對(duì)于各個(gè)關(guān)節(jié)都只建立z軸和x軸，不需要給出y軸，z軸和x軸確定以后，可以通過(guò)右手法則確定出唯一的y軸。給各個(gè)關(guān)節(jié)軸建立參考坐標(biāo)系的過(guò)程如下。2.6案例-機(jī)器人手眼標(biāo)定手眼標(biāo)定是為了求解出工業(yè)機(jī)器人的末端坐標(biāo)系與相機(jī)坐標(biāo)系之間的坐標(biāo)變換關(guān)系，或者工業(yè)機(jī)器人的基底坐標(biāo)系與相機(jī)坐標(biāo)系之間的坐標(biāo)變換關(guān)系。本節(jié)具體說(shuō)明獲得相機(jī)坐標(biāo)系和機(jī)械臂末端坐標(biāo)系之間的關(guān)系。眼在手上眼在手外TheEnd機(jī)器視覺(jué)原理及應(yīng)用3.1雙目立體視覺(jué)原理之后計(jì)算出兩個(gè)相機(jī)之間的關(guān)系，即旋轉(zhuǎn)矩陣R和平移矩陣T。獲得了兩個(gè)相機(jī)之間的轉(zhuǎn)換關(guān)系(R,T)之后，就可以通過(guò)三角測(cè)量法，求解目標(biāo)的三維坐標(biāo)。最后通過(guò)重投影矩陣獲得目標(biāo)的相對(duì)于相機(jī)的三維坐標(biāo)。

3.1.1雙目立體視覺(jué)測(cè)深原理圖3-1三角測(cè)量法示意圖3.1雙目立體視覺(jué)原理

3.1.2極線約束圖3-2極線約束關(guān)系3.2雙目立體視覺(jué)系統(tǒng)

雙目立體視覺(jué)系統(tǒng)由左右兩部攝像機(jī)組成。如圖3-3所示，圖中分別以下標(biāo)l和r標(biāo)注左、右攝像機(jī)的相應(yīng)參數(shù)。3.2.1雙目立體視覺(jué)系統(tǒng)分析圖3-3立體視覺(jué)的基本原理3.2雙目立體視覺(jué)系統(tǒng)

在平行光軸的立體視覺(jué)系統(tǒng)中如圖3-4所示，左右兩臺(tái)攝像機(jī)的焦距及其它內(nèi)部參數(shù)均相等，光軸與攝像機(jī)的成像平面垂直，兩臺(tái)攝像機(jī)的X軸重合，Y軸相互平行。3.2.2平行光軸的系統(tǒng)結(jié)構(gòu)圖3-4平行光軸的立體視覺(jué)系統(tǒng)示意圖3.2雙目立體視覺(jué)系統(tǒng)

非平行光軸模型如圖3-5所示，目標(biāo)物(Object)上的任意一點(diǎn)，經(jīng)針孔模型在左、右相機(jī)的圖像面上分別成點(diǎn)像為和

。3.2.3非平行光軸的系統(tǒng)結(jié)構(gòu)圖3-5非平行光軸模型3.2雙目立體視覺(jué)系統(tǒng)

3.2.4雙目立體視覺(jué)的精度分析3.3圖像特征點(diǎn)3.3.1SIFT特征點(diǎn)DOG算子檢測(cè)SIFT算法下的圖像特征點(diǎn)的局部極值，通過(guò)比較每個(gè)像素點(diǎn)與其26個(gè)鄰域像素的值，將最大或最小的點(diǎn)保存為候選特征點(diǎn)，代表圖像的特征子集。尺度空間理論即是采用高斯核理論思想對(duì)初始的圖片進(jìn)行尺度變換運(yùn)算，得到圖片在多個(gè)不同尺度下的尺度空間的描述序列，最后在尺度空間下對(duì)得到的序列進(jìn)行特征提取。1.尺度空間的生成在上一步中，得到了圖像的特征點(diǎn)，然后利用特征點(diǎn)鄰域像素的梯度方向分布特性對(duì)每個(gè)特征點(diǎn)賦一個(gè)方向，使得這些特征點(diǎn)具有旋轉(zhuǎn)不變性。光滑與粗糙程度、形狀、結(jié)構(gòu)和紋理等特征在圖像上的表象。SIFT計(jì)算特征向量算法2.DOG極值點(diǎn)檢測(cè)與定位3.特征點(diǎn)

方向分配4.特征點(diǎn)描述子的生成SIFT（ScaleInvariantFeatureTransform，尺度不變特征變換）方法是DavidLowe于1999年提出的，一種基于尺度空間的圖像局部特征表示方法，它具有圖像縮放、旋轉(zhuǎn)甚至仿射變換不變的特性，并于2004年進(jìn)行了更深入的發(fā)展和完善。3.3圖像特征點(diǎn)3.3.2SURF特征點(diǎn)Bay提出的SURF(SpeededUpRobustFeatures)算法是一個(gè)速度較快、魯棒性能較好的方法。它是SIFT算法的改進(jìn)，融合了Harris特征和積分圖像，加快了程序的運(yùn)行速度。(1)建立積分圖像SURF算法的積分圖用于加速圖像卷積，所以加快了SURF算法的計(jì)算速度，計(jì)算時(shí)間減少。對(duì)于一個(gè)灰度圖像I計(jì)算公式如下：(2)構(gòu)建Hessian矩陣和高斯金字塔尺度空間在圖像坐標(biāo)點(diǎn)(x,y)處,尺度為σ的Hessian矩陣為：3.3圖像特征點(diǎn)3.3.2SURF特征點(diǎn)SURF算法選用DOG算子代替LOG算子來(lái)近似的表達(dá)，得到類似的Hessian矩陣的結(jié)果：(3)定位極值點(diǎn)得到各像素點(diǎn)的Hessian矩陣后，根據(jù)其行列式的正負(fù)判斷是否為極值點(diǎn)，并使用非極大值抑制法在3×3×3立體鄰域檢測(cè)極值點(diǎn)。(4)確定主方向?qū)τ诿總€(gè)候選特征點(diǎn)作為中心，Harr小波統(tǒng)計(jì)了總響應(yīng)的60度扇區(qū)和X在Y方向的所有特征點(diǎn)，以中心角60度扇區(qū)模板遍歷整個(gè)圓形區(qū)域，如圖3-6所示，將最長(zhǎng)的向量作為特征點(diǎn)的方向。(5)生成特征點(diǎn)描述子圖3-6選取特征點(diǎn)的主方向3.3圖像特征點(diǎn)3.3.3ORB特征點(diǎn)(1)oFAST特征檢測(cè)2011年Rublee等人提出了ORB(OrientedFastandRotatedBrief)算法，即帶有方向信息的FAST特征檢測(cè)oFAST和帶有旋轉(zhuǎn)角度的rBRIEF描述子組合的ORB算法。FAST算法，認(rèn)為若某點(diǎn)像素值與其周圍某鄰域內(nèi)一定數(shù)量的點(diǎn)的像素值相差較大，則該像素可能是角點(diǎn)。而ORB算法用灰度質(zhì)心法（IntensityCentroid，簡(jiǎn)稱IC）附加方向。其定義為：角點(diǎn)視為物體，物體質(zhì)心（即角點(diǎn)質(zhì)心）與角點(diǎn)灰度之間有偏移量存在，這個(gè)偏移量可以確定角點(diǎn)方向。oFAST組成如下所示：3.3圖像特征點(diǎn)3.3.3ORB特征點(diǎn)(2)rBRIEF特征描述rBRIEF特征描述是在BRIEF特征描述的基礎(chǔ)上加入旋轉(zhuǎn)因子改進(jìn)的。BRIEF以特征點(diǎn)為中心，對(duì)鄰域內(nèi)5×5的隨機(jī)子窗口用σ=2的高斯核卷積。然后以一定采樣方式選取N個(gè)點(diǎn)對(duì)如公式所示進(jìn)行二進(jìn)制賦值。在特征點(diǎn)鄰域內(nèi)選取n對(duì)二進(jìn)制特征點(diǎn)的集合，引入一個(gè)2×n的矩陣如公式所示：用oFAST特征點(diǎn)的方向θ，計(jì)算描述子旋轉(zhuǎn)矩陣，之后S矩陣更改為這樣就給描述子加上了方向信息。3.3圖像特征點(diǎn)3.3.4基于深度學(xué)習(xí)的特征點(diǎn)MihaiDusmanu等人提出的D2-Net方法使用卷積神經(jīng)網(wǎng)絡(luò)同時(shí)進(jìn)行特征檢測(cè)與特征描述符提取。這里卷積神經(jīng)網(wǎng)絡(luò)具有兩個(gè)功能:它既是密集特征描述符也是特征檢測(cè)器。稀疏匹配一般采用檢測(cè)然后描述的方法。如圖3-7（a）所示。而D2-Net方法將兩者合二為一，通過(guò)神經(jīng)網(wǎng)絡(luò)得到的特征圖既代表特征檢測(cè)結(jié)果又代表特征描述結(jié)果，如圖3-7（b）所示。圖3-7不同檢測(cè)方法對(duì)比(a)(b)3.4立體匹配

立體匹配是從左右兩個(gè)方向?qū)δ繕?biāo)進(jìn)行拍攝，采集圖像數(shù)據(jù)，然后對(duì)圖像中的像素進(jìn)行分析，找到左右視圖所對(duì)應(yīng)的像素對(duì)，再通過(guò)計(jì)算得到像素的視差，根據(jù)相機(jī)的參數(shù)以及三角測(cè)距的原理來(lái)獲得物理世界的三維信息。按照特征點(diǎn)的稀疏程度將立體匹配分為稀疏匹配和稠密匹配。代價(jià)計(jì)算代價(jià)聚合視差估計(jì)立體圖像特征網(wǎng)絡(luò)4Dcost聚合網(wǎng)絡(luò)3Dcost

回歸圖3-8立體匹配網(wǎng)絡(luò)的算法流程3.4立體匹配3.4.2稀疏匹配

稀疏匹配是對(duì)參照?qǐng)D和對(duì)照?qǐng)D進(jìn)行特征提取，并計(jì)算圖像特征的距離，使得特征距離最小的點(diǎn)即為要求的特征點(diǎn)，最后根據(jù)對(duì)應(yīng)特征點(diǎn)得到視差。在稀疏匹配中特征的選擇非常重要，匹配特征應(yīng)該對(duì)應(yīng)景物一定的特征，盡量避免產(chǎn)生誤匹配。常用到的特征包括：角點(diǎn)、邊緣、閉合區(qū)域、直線段等。左圖右圖匹配圖3-9立體匹配示意圖3.4.1稠密匹配3.4立體匹配

稠密匹配是基于生成的視差圖，對(duì)于所有像素都能生成確定視差值。稠密匹配通過(guò)改變兩組圖像的尺度或?qū)山M圖像劃分為許多具有相同尺寸的子窗口來(lái)確定對(duì)應(yīng)的區(qū)域，參照?qǐng)D中待匹配的點(diǎn)為中心選定一個(gè)小區(qū)域，并以中心像素點(diǎn)鄰域像素分布特征來(lái)表征該點(diǎn)的像素特征，然后在對(duì)準(zhǔn)圖當(dāng)中尋找一個(gè)像素，若該點(diǎn)特征與參照?qǐng)D中待匹配點(diǎn)的特征滿足相似性準(zhǔn)則條件時(shí)，則認(rèn)為該點(diǎn)為對(duì)應(yīng)的匹配點(diǎn)。稠密匹配啟發(fā)式立體匹配算法深度網(wǎng)絡(luò)立體匹配算法序號(hào)名稱特點(diǎn)1半全局立體匹配算法半全局匹配是一種介于全局和局部匹配之間的算法，結(jié)合了兩者的優(yōu)點(diǎn)，在效率和準(zhǔn)確性上達(dá)到較好的平衡。2全局立體匹配算法全局立體匹配算法通過(guò)建立對(duì)整張圖的約束，有效保留了圖像中的結(jié)構(gòu)信息，可較為準(zhǔn)確的計(jì)算出稠密視差。3端到端的立體匹配算法端到端的立體匹配算法與以往的立體匹配算法不同的是，這類算法舍棄掉分而治之的解決方案，開(kāi)始使用深度學(xué)習(xí)中的端到端思路。1.啟發(fā)式立體匹配算法3.4立體匹配3.4立體匹配2.深度網(wǎng)絡(luò)立體匹配算法代價(jià)計(jì)算代價(jià)聚合光流計(jì)算未校正圖像特征網(wǎng)絡(luò)5Dcost聚合網(wǎng)絡(luò)4Dcost

回歸

自由立體匹配與典型的行對(duì)齊立體匹配最大的區(qū)別在于匹配點(diǎn)的搜索范圍。自由立體匹配網(wǎng)絡(luò)通過(guò)增加垂直方向視差的搜索，并升級(jí)為5維矩陣來(lái)進(jìn)行匹配代價(jià)計(jì)算。在代價(jià)聚合過(guò)程中，使用4維循環(huán)神經(jīng)網(wǎng)絡(luò)代替4維CNN卷積，以降低運(yùn)算量。此外，還添加了新的模塊，提高匹配搜索過(guò)程的正確率，受到對(duì)極幾何的約束。這些改進(jìn)使得自由立體匹配具有更高的準(zhǔn)確性，但也導(dǎo)致運(yùn)算量增加。圖3-10自由立體匹配網(wǎng)絡(luò)的理想算法流程3.5.1相機(jī)標(biāo)定3.5案例-雙目立體視覺(jué)實(shí)現(xiàn)深度測(cè)量（1）相機(jī)標(biāo)定板的制作參照棋盤格布局在計(jì)算機(jī)上畫出10*7(25mm*25mm)的棋盤格（2）采集標(biāo)定板圖像改變標(biāo)定板的姿態(tài)和距離，拍攝不同狀態(tài)下的標(biāo)定的圖像10幅到20幅之間圖3-11制作棋盤格圖3-12采集圖像3.5.1相機(jī)標(biāo)定3.5案例-雙目立體視覺(jué)實(shí)現(xiàn)深度測(cè)量（3）標(biāo)定步驟1.運(yùn)行calib_gui標(biāo)定程序，對(duì)左相機(jī)進(jìn)行標(biāo)定，選擇Standrad；2.點(diǎn)擊Imagenames，輸入已經(jīng)拍攝好的左相機(jī)的12幅圖片的通配模式，如圖3-13所示；3.MATLAB加載左相機(jī)所有標(biāo)定圖片后，點(diǎn)擊Extractgridcorners，在圖片上選擇四個(gè)拐點(diǎn)，按照左上—右上—右下—左下的順時(shí)針順序選擇，重復(fù)12次，如圖3-14所示；4.點(diǎn)擊Calibration，標(biāo)定并查看標(biāo)定結(jié)果，命令行會(huì)顯示內(nèi)參和畸變系數(shù)；5.點(diǎn)擊Save，在目錄中保存標(biāo)定的結(jié)果，將“Calib_Results.mat”改成“Calib_Results_left.mat”；6.點(diǎn)擊Comp.Extrinsic計(jì)算外參；7.重復(fù)第一步到第六步，對(duì)右相機(jī)進(jìn)行標(biāo)定，將右相機(jī)標(biāo)定結(jié)果將“Calib_Results.mat”改成“Calib_Results_right.mat”；8.運(yùn)行雙目校正程序stereo_gui，計(jì)算雙目校正參數(shù)；9.點(diǎn)擊Loadleftandrightcalibrationfiles，默認(rèn)輸入即可得到相機(jī)的內(nèi)外參(如果想得到優(yōu)化結(jié)果，點(diǎn)擊Runstereocalibration即可)；圖3-13加載圖像圖3-14提取角點(diǎn)3.5.2實(shí)驗(yàn)圖片采集和矯正3.5案例-雙目立體視覺(jué)實(shí)現(xiàn)深度測(cè)量（1）分別利用左右相機(jī)拍攝圖片（圖3-15），存成ImageLeft和ImageRight，在此為空間中的圓進(jìn)行編號(hào)，左為圓1，中為圓2，右為圓3。（2）將拍攝的左右圖像進(jìn)行矯正存為frameLeftRectTestL.bmp和frameRightRectTestL.bmp如圖3-16所示圖3-15左相機(jī)圖像右相機(jī)圖像圖3-16矯正后左相機(jī)圖像矯正后右相機(jī)圖3.5.3圓心坐標(biāo)提取3.5案例-雙目立體視覺(jué)實(shí)現(xiàn)深度測(cè)量(1)利用MATLAB選擇感興趣區(qū)域；(2)在MATLAB中把圖像二值化，得到二值化后的圖像，如圖3-27所示；(3)利用質(zhì)心法提取空間中圓的圓心，如圖3-17所示；(4)輸出圓心坐標(biāo)左圖像圓心坐標(biāo)為X:705.34 812.09 960.49Y:638.02 803.98 678.38

右圖像圓心坐標(biāo)為X:535.60 638.80 807.80Y:642.94 809.18 683.52圖3-17對(duì)圖像進(jìn)行處理3.5.4視差和深度計(jì)算3.5案例-雙目立體視覺(jué)實(shí)現(xiàn)深度測(cè)量視差如公式所示：

通過(guò)計(jì)算，得到圓1與圓3深度差為84.4233mm，圓2與圓3深度差為98.6945mm，圓1與圓2深度差為15.2712mm（注：視差以像素為單位，轉(zhuǎn)化成mm需要乘以像元大小5.3um）。3.5.5計(jì)算三維坐標(biāo)并三維輸出空間位置3.5案例-雙目立體視覺(jué)實(shí)現(xiàn)深度測(cè)量利用函數(shù)function[XL,XR]=stereo_triangulation(xL,xR,om,T,fc_left,cc_left,kc_left,alpha_c_left,fc_right,cc_right,kc_right,alpha_c_right)將標(biāo)定時(shí)的得到的內(nèi)參和外參輸入到MATLAB命令行中，再調(diào)用函數(shù)即可得到空間點(diǎn)的三維坐標(biāo)。XL1=[1.0e+003*-0.0446-0.0839-1.0829]XR1=[1.0e+003*0.0697-0.0888-1.0829]XL2=[1.0e+003*-0.1131-0.1883-1.0429]XR2=[1.0e+003*0.0001-0.1930-1.0445]XL3=[1.0e+003*-0.2491-0.1272-1.2348]XR3=[1.0e+003*-0.1302-0.1330-1.2407]3.5.5計(jì)算三維坐標(biāo)并三維輸出空間位置3.5案例-雙目立體視覺(jué)實(shí)現(xiàn)深度測(cè)量XL1=[1.0e+003*-0.0446-0.0839-1.0829]XR1=[1.0e+003*0.0697-0.0888-1.0829]XL2=[1.0e+003*-0.1131-0.1883-1.0429]XR2=[1.0e+003*0.0001-0.1930-1.0445]XL3=[1.0e+003*-0.2491-0.1272-1.2348]XR3=[1.0e+003*-0.1302-0.1330-1.2407]至此得到空間中三個(gè)點(diǎn)的三維坐標(biāo)如上，畫出三維空間中各個(gè)點(diǎn)的位置，如圖3-18所示。圖3-18三維坐標(biāo)3.6雙目立體成像3.6.1立體攝像機(jī)原理(1)色差式原理色差式3D技術(shù)，其本質(zhì)是利用三基色原理來(lái)達(dá)成3D顯示效果。將左右相機(jī)拍攝到的視角不同的左圖像和右圖像分別進(jìn)行不同的顏色渲染，然后合成在同一幅圖像中，經(jīng)渲染后合成的兩幅圖像錯(cuò)位重疊在一起。圖3-18色差式成像效果圖

圖3-19紅藍(lán)眼鏡

3.6雙目立體成像3.6.1立體攝像機(jī)原理(2)快門式原理快門式3D顯示技術(shù)主要是利用的是人眼的滯留現(xiàn)象來(lái)達(dá)到將左右圖像分別、同時(shí)、獨(dú)立的導(dǎo)入雙眼的目的?？扉T式3D顯示技術(shù)的具體方法是將左圖像和右圖像連續(xù)、交錯(cuò)的顯示在屏幕上，與此同時(shí)快門式3D眼鏡的左右液晶鏡片的開(kāi)和關(guān)由紅外信號(hào)發(fā)射器同步控制，使左右圖像能夠分別、獨(dú)立、同時(shí)的輸送到左、右雙眼，然后大腦根據(jù)接收到的具有視差的左右圖像合成3D立體圖像。圖3-20快門式三維立體成像示意圖

圖3-21快門式3D眼鏡

3.6雙目立體成像3.6.1立體攝像機(jī)原理(3)偏振式原理

偏振式3D顯示技術(shù)的理論基礎(chǔ)是光的偏振原理，光是一種電磁波，由相互垂直的電場(chǎng)和磁場(chǎng)形成，而自然光是由眾多電磁波相互混合而成的，這導(dǎo)致它在各個(gè)方向均勻的振動(dòng)，若自然光通過(guò)偏光膜，則在偏光膜的作用下，在各個(gè)方向都有振動(dòng)的自然光將變成一種偏振光，其振動(dòng)方向與偏光膜方向完全一致。圖3-22偏振式3D顯示技術(shù)原理圖

圖3-23偏振式3D眼鏡

3.6雙目立體成像3.6.1立體攝像機(jī)原理(4)裸眼式原理裸眼式3D顯示技術(shù)主要由于色彩灰度的不同而使人眼產(chǎn)生視覺(jué)上的錯(cuò)覺(jué)，而將二維的計(jì)算機(jī)屏幕感知為三維圖像?；谏蕦W(xué)的有關(guān)知識(shí)，三維物體邊緣的凸出部分一般顯高亮度色，而凹下去的部分由于受光線的遮擋而顯暗色圖3-24裸眼3D原理圖

圖3-25裸眼3D顯示

3.6雙目立體成像3.6.2立體攝像機(jī)拍攝技術(shù)（1） 打開(kāi)AEE運(yùn)動(dòng)攝像機(jī)，如圖（a）所示，對(duì)周圍環(huán)境進(jìn)行拍攝。（2） 打開(kāi)2D轉(zhuǎn)3D顯示屏，并將畫面保持在2D轉(zhuǎn)3D的設(shè)置中，如圖（b）所示。（3） 佩戴偏振式眼鏡便可觀看由AEE運(yùn)動(dòng)相機(jī)所拍攝的3D畫面，實(shí)踐效果如圖(c)所示。圖3-26AEE運(yùn)動(dòng)攝像機(jī)

圖3-27

顯示屏

圖3-28

視覺(jué)實(shí)踐圖

3.7案例-雙目立體視覺(jué)三維測(cè)量3.7.1相機(jī)標(biāo)定在相機(jī)標(biāo)定的實(shí)驗(yàn)過(guò)程中，使用的是兩部攝像機(jī)對(duì)棋盤格進(jìn)行拍攝，總共采集了12對(duì)圖像。具體的過(guò)程如下：(1)制作棋盤格參照棋盤格的布局在計(jì)算機(jī)上畫出10*7的棋盤格，并打印出來(lái)粘貼在一塊板上，如圖3-29所示圖3-29棋盤格3.7案例-雙目立體視覺(jué)三維測(cè)量3.7.1相機(jī)標(biāo)定(2)兩臺(tái)攝像機(jī)拍攝棋盤格將棋盤格擺出各種不同角度的姿態(tài)，同時(shí)用攝像機(jī)進(jìn)行拍攝，根據(jù)算法的需要拍攝了左右各12幅不同的圖像。利用MATLAB相機(jī)標(biāo)定工具箱進(jìn)行角點(diǎn)提取、圖像重投影、誤差分析等求出攝像機(jī)的內(nèi)、外參數(shù)，利用非線性優(yōu)化對(duì)標(biāo)定結(jié)果進(jìn)行優(yōu)化。圖3-30左相機(jī)采集圖像圖3-31右相機(jī)采集圖像圖3-32位置關(guān)系圖3.7案例-雙目立體視覺(jué)三維測(cè)量3.7.2立體匹配根據(jù)標(biāo)定好的攝像機(jī)采集物體圖像，得到物體的雙目圖像對(duì)，緊接著對(duì)起初的圖像對(duì)進(jìn)行校正。獲得匹配點(diǎn)之后，采用視差函數(shù)求得視差圖，如圖3-33所示。圖3-33中各個(gè)區(qū)域的不同灰度值反映了雙目圖像對(duì)的視差信息，從實(shí)驗(yàn)得出的視差圖可以看出視差圖較為平滑，而且不同物體之間的視差也比較明顯。圖3-34為左右兩圖像合成在一張圖中的效果，如果帶上紅藍(lán)立體眼鏡，可感覺(jué)到圖3-34的立體場(chǎng)景。圖3-33視差圖圖3-34實(shí)際物體圖3.7案例-雙目立體視覺(jué)三維測(cè)量3.7.3三維重建在視差與標(biāo)定的基礎(chǔ)上，進(jìn)一步得到物體的三維重建結(jié)果，通過(guò)修改程序中深度的參數(shù)，去除了一些不必要的干擾的得到效果圖如圖3-35所示：圖3-35三維深度圖TheEnd機(jī)器視覺(jué)原理及應(yīng)用《機(jī)器視覺(jué)原理及應(yīng)用》第4章面結(jié)構(gòu)光三維視覺(jué)4.1單幅相位提取方法4.2多幅相位提取方法4.3相位展開(kāi)方法4.4案例-基于條紋投影結(jié)構(gòu)光三維掃描儀的牙模掃描4.5案例-鞋底打磨4.1單幅相位提取方法單幅相位提取是圖像處理中常用的技術(shù)之一，用于從圖像中提取出相位信息。以下是一些常見(jiàn)的單幅相位提取方法：

傅里葉變換法窗傅立葉脊法二維連續(xù)小波變換法BEMD法VMD法變分圖像分解法4.1單幅相位提取方法單幅相位提取是圖像處理中常用的技術(shù)之一，用于從圖像中提取出相位信息。以下是一些常見(jiàn)的單幅相位提取方法：

傅里葉變換法窗傅立葉脊法二維連續(xù)小波變換法BEMD法VMD法變分圖像分解法傅里葉變換（法語(yǔ)：TransformationdeFourier、英語(yǔ)：Fouriertransform）是一種線性積分變換，用于信號(hào)在時(shí)域（或空域）和頻域之間的變換，在物理學(xué)和工程學(xué)中有許多應(yīng)用。傅里葉4.1單幅相位提取方法4.1.1傅里葉變換法在FPP測(cè)量中，CCD采集到的條紋圖公式如下所示：其中為背景，和分別為調(diào)制部分和相位部分，為載頻頻率。

4.1.2窗傅里葉脊法

4.1.2窗傅里葉脊法

4.1.3二維連續(xù)小波變換法

二維連續(xù)小波變換是一種將二維信號(hào)或圖像進(jìn)行頻域分解的數(shù)學(xué)工具。相對(duì)于離散形式的小波變換，二維連續(xù)小波變換是連續(xù)時(shí)間和連續(xù)尺度的擴(kuò)展。根據(jù)二維連續(xù)小波變換定義，二維連續(xù)小波變換為：

4.1.3二維連續(xù)小波變換法

在二維連續(xù)小波變換中，小波函數(shù)的選擇對(duì)于變換結(jié)果是至關(guān)重要的。常用的小波基函數(shù)有Fan小波基、Morlet小波基、Paul小波基等。每種小波基函數(shù)具有不同的時(shí)頻分辨率特性和方向選擇性，適合于不同類型的信號(hào)或圖像。選取合適的小波基函數(shù)，可以使得變換結(jié)果更加準(zhǔn)確和有意義。例如，F(xiàn)an小波基為：

4.1.3二維連續(xù)小波變換法

在對(duì)條紋圖進(jìn)行二維連續(xù)小波變換后，可以通過(guò)檢測(cè)小波變換系數(shù)的小波脊來(lái)獲取位置處的條紋相位。小波脊是指在二維連續(xù)小波變換中，使得小波變換系數(shù)取得最大值的位置。進(jìn)而，通過(guò)以下公式計(jì)算該位置處的條紋相位：

4.1單幅相位提取方法(1)概念4.1.4BEMD法BEMD法是指基于經(jīng)驗(yàn)?zāi)B(tài)分解的方法（BidimensionalEmpiricalModeDecomposition）。這種方法是一種信號(hào)處理技術(shù)，用于將非線性和非平穩(wěn)信號(hào)分解成若干個(gè)具有不同頻率特征的子信號(hào)。BEMD法包含兩個(gè)步驟：首先，將信號(hào)分解為一系列的本征模態(tài)函數(shù)（IMF）。這些IMF主要包含原始信號(hào)在不同頻率下的成分。然后，通過(guò)迭代過(guò)程，進(jìn)一步將IMF分解為子IMF，直到獲得滿足特定條件的IMF。BEMD法被廣泛應(yīng)用于信號(hào)處理、圖像處理、模式識(shí)別等領(lǐng)域，具有較高的適應(yīng)性和魯棒性。一個(gè)信號(hào)包含若干個(gè)本征模態(tài)函數(shù)(IntrinsicModeFunction,IMF)，EMD則自適應(yīng)地將信號(hào)中所含IMF按頻率從高到低的順序依次提取出來(lái)。它的基本思想是首先找出信號(hào)的極值，包括極大值和極小值，然后對(duì)這些極值點(diǎn)進(jìn)行插值，來(lái)獲得信號(hào)的上下包絡(luò)線和均值包絡(luò)線。最后利用篩的算法，把本征模態(tài)函數(shù)一步一步分離出來(lái)。這樣最終把信號(hào)分解為若干個(gè)經(jīng)驗(yàn)?zāi)B(tài)分量和近似分量。4.1單幅相位提取方法(2)EMD實(shí)現(xiàn)過(guò)程4.1.4BEMD法第五步，判斷h(x,y)是否滿足篩選條件，如果不滿足，繼續(xù)重復(fù)1-4步驟，如果滿足，把h(x,y)作為一個(gè)IMF，記為c1(x,y)；第六步，從s(x,y)減去得到的h(x,y)，得到剩余值序列r1(x,y)=s(x,y)-h(x,y)，對(duì)重復(fù)以上5個(gè)步驟得到第2個(gè)、第3個(gè)直至第n個(gè)IMFcn(x,y)，當(dāng)滿足一定的條件時(shí)，停止處理，經(jīng)過(guò)上述6個(gè)步驟，將信號(hào)分解成若干個(gè)IMFcn(x,y)和一個(gè)余項(xiàng)rn(x,y)：。經(jīng)驗(yàn)?zāi)B(tài)分解存在模態(tài)混合問(wèn)題，在同一模態(tài)函數(shù)里會(huì)有其他不同尺度的信號(hào)混雜，或者統(tǒng)一尺度的信號(hào)出現(xiàn)在不同本證模態(tài)函數(shù)里。

4.1.4BEMD法

(3)MOBEMD算法中脊估計(jì)和包絡(luò)面估計(jì)的步驟4.1單幅相位提取方法首先進(jìn)行脊位置獲取：第一步，對(duì)噪聲條紋圖像進(jìn)行濾波預(yù)處理；第二步，對(duì)濾波后的條紋圖利用形態(tài)學(xué)函數(shù)進(jìn)行開(kāi)啟處理，其中采用的形態(tài)學(xué)函數(shù)為一個(gè)半徑為2個(gè)像素左右的圓盤形函數(shù)，取值僅為0或者1。該函數(shù)對(duì)條紋圖的作用特性為：條紋圖中除處于凸曲面和狹窄曲面之上以外的灰度值都會(huì)被該函數(shù)抑制。也就是說(shuō)條紋脊附近的灰度值得到保持，而其余部分的灰度值受到抑制而變?yōu)?或趨向于0，從而得到了形態(tài)學(xué)開(kāi)啟后的條紋灰度圖；第三步，對(duì)上一步中得到的條紋灰度圖進(jìn)行二值化處理，即把灰度得到保持的像素灰度值置為1，而把被抑制的像素灰度值置為0。通過(guò)二值化處理，經(jīng)形態(tài)學(xué)開(kāi)啟后操作的條紋灰度圖變?yōu)橐幌盗醒丶咕€分布的黑白分明的條帶圖。通過(guò)形態(tài)學(xué)的進(jìn)一步細(xì)化處理，這些條帶線可以被轉(zhuǎn)化為具有單像素寬度的單值線，在此單值線圖中可能殘留一些孤立的點(diǎn)，這些點(diǎn)可以通過(guò)“去端”操作來(lái)消除；第四步，將上一步中獲取的單值線圖作為初始脊位置圖，并通過(guò)迭代方法來(lái)獲取更加精確的脊位置圖R0(x,y)。4.1.4BEMD法

(4)MOBEMD算法中脊估計(jì)和包絡(luò)面估計(jì)的步驟4.1單幅相位提取方法

4.1單幅相位提取方法4.1.5VMD法

變分模態(tài)分解屬于新近提出的一種自適應(yīng)信號(hào)分析方法，其建立在變分法和維納濾波基礎(chǔ)上，能自適應(yīng)的將具有幾種不同模態(tài)的信號(hào)進(jìn)行分離，即能得到帶限本征模態(tài)函數(shù)。首先，對(duì)于每一個(gè)本征模態(tài)，通過(guò)Hilbert變換計(jì)算相應(yīng)的解析信號(hào)獲得單邊頻譜。其次，對(duì)每一個(gè)單邊譜模態(tài)，通過(guò)混合一個(gè)中心頻率的指數(shù)調(diào)制項(xiàng)移動(dòng)每一個(gè)頻譜到“基帶”。最后，通過(guò)解調(diào)信號(hào)的高斯光滑性(梯度的范數(shù))估計(jì)帶寬。綜上所述，對(duì)于一維信號(hào)，通過(guò)變分模態(tài)分解分析構(gòu)成如下約束變分問(wèn)題公式如下所示：4.1.6變分圖像分解法

Fourier變換、二維小波變換和經(jīng)驗(yàn)?zāi)B(tài)分解屬于頻域或者時(shí)頻分析的方法，在對(duì)FPP條紋分析過(guò)程中，它們是從頻域的角度來(lái)分析FPP條紋。通常，F(xiàn)PP條紋背景被認(rèn)為是緩慢變化的，即其Fourier變換譜集中在零頻點(diǎn)附近，而條紋部分由于受載頻項(xiàng)的調(diào)制其頻譜會(huì)遠(yuǎn)離原點(diǎn)，這樣背景部分和條紋部分在頻域上是分開(kāi)的。在Fourier變換方法中可以通過(guò)帶通濾波濾除背景部分來(lái)保留條紋部分。采用變分圖像分解對(duì)FPP條紋圖進(jìn)行描述是非常直觀的，因?yàn)樽兎謭D像分解建立在空間域，具有f=μ+ν+w這種簡(jiǎn)潔的形式。而Fourier變換的思想是將FPP條紋圖變換到頻域，從頻域中分析三個(gè)部分的特性和進(jìn)行濾波處理。此外，采用變分圖像分解還具有其他優(yōu)勢(shì)，比如其可以借助已經(jīng)建立的圖像空間和變分圖像分解模型，尋找適合描述FPP條紋分析的有效模型，如采用TV-Hilbert-L2模型來(lái)描述FPP條紋圖。4.1.6變分圖像分解法

采用變分圖像分解和MO-BEMD對(duì)圖4-3a進(jìn)行處理，這里采用低通濾波(LP)和離散小波變換(DWT)進(jìn)行預(yù)濾波。圖4-3d-圖4-3-f分別為MO-BEMD-LP，MO-BEMD-DWT和變分圖像分解提取出的背景部分，圖4-3g-圖4-3i為MO-BEMD-LP，MO-BEMD-DWT和變分圖像分解提取出的條紋部分。采用MO-BEMD-LP，MO-BEMD-DWT和變分圖像分解提取的背景部分的信噪比為31.0，27.2和31.6dB，提取的條紋部分信噪比為15.1,14.5和20.3dB。多幅相位提取方法主要以相移法為代表的基于多幅條紋圖的相位提取。由于多幅投影條紋圖比單幅投影條紋圖提供了更多的信息，通常相移法比其他方法具有更高的精度。與相移法相比，基于單幅投影圖的條紋相位提取是在某一時(shí)刻只采集一幅圖像，受環(huán)境擾動(dòng)的影響較小，更適合動(dòng)態(tài)過(guò)程的三維測(cè)量和顯示。相移法主要是通過(guò)精密儀器對(duì)相位進(jìn)行特定長(zhǎng)度的步進(jìn)產(chǎn)生多幅具有不同相位的條紋圖，再對(duì)這些條紋圖進(jìn)行處理以獲得所需的相位，最終獲得所需檢測(cè)的物理量。相移法通用式可以下公式表示：4.2多幅相位提取方法

4.2多幅相位提取方法四步相移是FPP條紋分析中一種常用的方法。右圖給出了四步相移提取條紋圖像的過(guò)程

4.2多幅相位提取方法圖1、圖2、圖3展示了四步相移法測(cè)量一塑料盒三維形狀過(guò)程：首先通過(guò)投影儀投射相移條紋圖到被測(cè)物體，相機(jī)采集不同相移條件下的變形條紋圖（圖1）。然后通過(guò)四步相移法提取包裹相位（圖2），進(jìn)一步進(jìn)行解包裹和去載頻得到解包裹相位（圖3）。

4.2多幅相位提取方法圖1四步相移條紋圖圖2四步相移提取包裹相位圖圖3解包裹相位圖4.3.1格雷碼格雷碼(GrayCode)是數(shù)字電子技術(shù)和自動(dòng)化檢測(cè)中的一種重要編碼。為了求解出指定掃描點(diǎn)的空間坐標(biāo)信息，必須準(zhǔn)確地標(biāo)識(shí)出每一個(gè)匹配單元，并由此確定出標(biāo)識(shí)單元來(lái)得到其解碼序列，進(jìn)而解算出掃描點(diǎn)的空間坐標(biāo)信息，因此格雷碼圖像的編解碼便成了確定解碼序列的重要手段。格雷碼編碼方法屬于時(shí)間編碼，在編碼圖像中只包含黑、白兩種顏色的條紋，且黑、白兩種顏色分別對(duì)應(yīng)于二進(jìn)制數(shù)中的0和1。在格雷碼編碼圖像的構(gòu)成上，格雷碼編碼圖像可由黑、白、白、黑或白、黑、黑、白兩種模式來(lái)構(gòu)建。4.3.1格雷碼N幅正弦相移條紋投射圖案僅能針對(duì)一個(gè)條紋周期T的空間進(jìn)行解碼，被測(cè)空間范圍大則需要周期大，那么編碼圖案中相鄰像素點(diǎn)的灰度差變小，致使灰度噪聲影響增大、編解碼準(zhǔn)確度降低。格雷碼編解碼方法則不受被測(cè)深度空間限制，此方法已經(jīng)得到廣泛應(yīng)用，但被測(cè)空間越大則所需投射圖案越多。格雷碼通常采用黑色條紋和白色條紋進(jìn)行編碼，黑色條紋對(duì)應(yīng)碼值為0，白色條紋對(duì)應(yīng)碼值為1，且相鄰兩個(gè)的碼字之間只有一位不同，抗干擾能力強(qiáng)。

4.3.2外差多頻4.3.2外差多頻

4.3.3三頻相位展開(kāi)方法（式1）（式2）

（式3）

4.3.3三頻相位展開(kāi)方法（式4）該三頻相位展開(kāi)方法將具有適當(dāng)波長(zhǎng)的三個(gè)條紋圖案投影到物體上，可以直接使用三個(gè)當(dāng)波長(zhǎng)獲得包裹相位，即不需要計(jì)算等效波長(zhǎng)及其對(duì)應(yīng)的相位圖。與傳統(tǒng)三頻相位展開(kāi)方法相比，該方法具有低噪聲及高速的優(yōu)點(diǎn)。4.3.3三頻相位展開(kāi)方法4.3.4雙互補(bǔ)相位編碼雙互補(bǔ)相位編碼方法是使用兩組正弦條紋獲得兩個(gè)包裹相位，進(jìn)行外差處理得到外差相位，使用外差相位對(duì)高頻相位進(jìn)行初次展開(kāi)，然后利用相錯(cuò)半個(gè)級(jí)次的互補(bǔ)編碼相位得到條紋級(jí)次，對(duì)初次展開(kāi)相位依照不同區(qū)域?qū)x擇不同相位編碼級(jí)次來(lái)進(jìn)行相位展開(kāi)。相較于傳統(tǒng)方法，雙互補(bǔ)相位編碼解包裹基本解決了現(xiàn)有多頻外差原理相位解包裹后存在的相位跳躍性誤差。4.4基于條紋投影結(jié)構(gòu)光三維掃描儀的牙模掃描傳統(tǒng)的義齒加工是由技師根據(jù)患者的頜骨形態(tài)靠經(jīng)驗(yàn)手工制作出來(lái)的，由于精度無(wú)法達(dá)到要求，制作出來(lái)的義齒存在不可避免的誤差，精度難以保障。齒列模型的測(cè)量和管理都非常麻煩和辛苦，所以，獲取數(shù)字化的三維牙模型的需求越來(lái)越迫切。使用三維掃描儀可快速得到樣板的三維數(shù)據(jù)，根據(jù)客戶需求直接在三維數(shù)字模型上修改設(shè)計(jì)，保證牙模全方位細(xì)節(jié)能夠得到體現(xiàn)，簡(jiǎn)化傳統(tǒng)設(shè)計(jì)流程，節(jié)省時(shí)間，提升設(shè)計(jì)效率?；陔p目立體視覺(jué)的牙模三維掃描，系統(tǒng)軟件部分是核心部分，主要包括相機(jī)標(biāo)定、轉(zhuǎn)臺(tái)標(biāo)定、圖像采集、三維拼接及顯示等幾個(gè)步驟。通過(guò)考慮各方面因素，滿足系統(tǒng)需求，系統(tǒng)硬件部分主要包括計(jì)算機(jī)、相機(jī)、投影裝置、轉(zhuǎn)臺(tái)。本節(jié)采用2臺(tái)攝像機(jī)，從多個(gè)角度通過(guò)按一定的角度轉(zhuǎn)動(dòng)牙模型進(jìn)行拍照，從而實(shí)現(xiàn)整個(gè)牙頜表面的覆蓋，4.4基于條紋投影結(jié)構(gòu)光三維掃描儀的牙模掃描由于牙模型的遮擋和視角的原因，不能一次性獲得牙模的完整的三維信息。必須對(duì)牙模從不同視場(chǎng)角度進(jìn)行圖像采集;再通過(guò)配準(zhǔn)技術(shù)進(jìn)行拼接才能構(gòu)成一個(gè)完整的三維數(shù)字化牙領(lǐng)模型。所以，將不同角度的三維牙模點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云精確配準(zhǔn)不僅能得到完整的三維牙模型，更直接影響到最終的精度。通過(guò)研究對(duì)比國(guó)內(nèi)外相關(guān)的配準(zhǔn)技術(shù)，本次實(shí)驗(yàn)分別從牙頜6個(gè)角度采集了6組圖像并進(jìn)行立體匹配，得到了各個(gè)視場(chǎng)角的三維點(diǎn)云數(shù)。4.4基于條紋投影結(jié)構(gòu)光三維掃描儀的牙模掃描通過(guò)拼接技術(shù)將得到的一組點(diǎn)云數(shù)據(jù)進(jìn)行拼接得到完整的牙模。4.5鞋底打磨在制鞋工業(yè)中，大部分鞋的鞋底和鞋幫是分開(kāi)制作的，后續(xù)再用鞋膠將兩部分黏合到一起。而鞋底多為橡膠材質(zhì)，其表面光滑、黏合度低，所以需要將鞋底面的內(nèi)邊緣部分打磨粗糙后再進(jìn)入涂膠工序，鞋底面內(nèi)邊緣的打磨質(zhì)量將直接影響鞋底和鞋幫的黏合質(zhì)量。如圖為鞋底待打磨位置。4.5鞋底打磨鞋底打磨路徑規(guī)劃系統(tǒng)分為三部分，三維掃描系統(tǒng)，路徑規(guī)劃系統(tǒng)以及柔性力控機(jī)器人打磨系統(tǒng)。本實(shí)驗(yàn)三維掃描系統(tǒng)使用了改進(jìn)的三波長(zhǎng)六步方法豎條紋解相，避免了絕對(duì)相位值計(jì)算過(guò)程中的誤差傳遞，減小了相位階躍誤差，降低了噪聲，具有較高的相位展開(kāi)精度。同時(shí)，相較于四步相移法，六步相移法對(duì)光飽和點(diǎn)的相位解算更加精準(zhǔn)，非線性誤差更小。三維掃描的具體步驟為：1）投影儀的標(biāo)定4.5鞋底打磨2）進(jìn)行三維重建，投射編碼結(jié)構(gòu)光與相位解調(diào)3）生成原始點(diǎn)云并進(jìn)行體素濾波、直通濾波、雙邊濾波4.5鞋底打磨4）進(jìn)行路徑規(guī)劃通過(guò)上述的相機(jī)標(biāo)定，三維重建以及路徑規(guī)劃，最終使用智能打磨軟件系統(tǒng)控制機(jī)器人對(duì)鞋墊進(jìn)行打磨。TheEnd機(jī)器視覺(jué)原理及應(yīng)用《機(jī)器視覺(jué)原理及應(yīng)用》第五章線結(jié)構(gòu)光三維測(cè)量5.1線結(jié)構(gòu)光提取5.2單目線結(jié)構(gòu)光測(cè)量原理5.3雙目線結(jié)構(gòu)光測(cè)量原理5.4三維人體掃描5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器內(nèi)部焊接系統(tǒng)5.1線結(jié)構(gòu)光提取線結(jié)構(gòu)光的基本原理是由結(jié)構(gòu)光投射器向被測(cè)物體表面投射可控制的光條，并由圖像傳感器(如攝像機(jī))獲得圖像，通過(guò)系統(tǒng)幾何關(guān)系，利用三角原理計(jì)算得到物體的三維坐標(biāo)。線結(jié)構(gòu)光光條圖像具有光條方向性強(qiáng)、圖像對(duì)比度高、光條形狀細(xì)長(zhǎng)等特征。在理想情況下，線結(jié)構(gòu)光光條圖像可以近似為沿光條中心線方向灰度緩慢變化，沿光條中心線法線方向具有類高斯型灰度分布的條形線狀結(jié)構(gòu)，如圖5-1所示。5.1.1線結(jié)構(gòu)光特點(diǎn)圖5-1光條寬度方向上的灰度分布圖5.1線結(jié)構(gòu)光提取5.1.2線結(jié)構(gòu)光中心線提取方法研究(1)灰度重心法提取光條中心

灰度重心法的基本原理是將待檢測(cè)區(qū)域中每個(gè)像素的灰度值加權(quán)平均從而計(jì)算得到該區(qū)域的光條中心的坐標(biāo)，可以以下公式實(shí)現(xiàn)：其中，代表的是圖像上一個(gè)像素點(diǎn)的灰度值，是待檢測(cè)區(qū)域的集合，需要設(shè)定一定的閾值，通常情況下，激光條在圖像上占用5~10個(gè)像素左右，集合的個(gè)數(shù)一般選10，是待檢測(cè)區(qū)域的重心坐標(biāo)。圖5-2灰度重心法中心線提取效果圖5.1線結(jié)構(gòu)光提取5.1.2線結(jié)構(gòu)光中心線提取方法研究(2)Steger算法提取光條中心

Steger算法提取光條中心是基于Hessian矩陣的一種亞像素級(jí)別提取方法。需要提取的激光條紋中心對(duì)應(yīng)Hessian矩陣的特征值，光條中心法線方向?qū)?yīng)Hessian矩陣的特征向量，得到法線方向之后可以沿著該方向進(jìn)行泰勒展開(kāi)即可以求解出所需要的光條中心坐標(biāo)。圖5-3Steger算法中提取效果圖5.1線結(jié)構(gòu)光提取5.1.2線結(jié)構(gòu)光中心線提取方法研究(3)曲線擬合算法提取光條中心

曲線擬合法的基本原理為：通過(guò)擬合光條灰度分布的高斯曲線，然后計(jì)算擬合得到的高斯曲線的峰值，該峰值即為光條中心的坐標(biāo)。圖5-4曲線擬合算法中心線提取效果圖5.2單目線結(jié)構(gòu)光測(cè)量原理5.2.1激光三角法簡(jiǎn)介光學(xué)激光三角法利用三角形內(nèi)的幾何關(guān)系來(lái)建立被測(cè)量與已知量之間的關(guān)系，光學(xué)激光三角法在應(yīng)用的時(shí)候，應(yīng)該滿足斯凱普夫拉格條件，在滿足該條件的情況下，即感光CCD平面、透鏡平面以及激光平面三個(gè)平面相交于同一條直線的時(shí)候，可以得到如圖(a)的測(cè)量示意圖：

圖5-5激光三角法原理示意圖5.2單目線結(jié)構(gòu)光測(cè)量原理5.2.1激光三角法簡(jiǎn)介根據(jù)三角形正弦定理可得公式如下:

公式(a)公式(c)通過(guò)公式(a)可以推導(dǎo)出公式(c):公式(b)公式(d)

5.2單目線結(jié)構(gòu)光測(cè)量原理5.2.2單目線結(jié)構(gòu)光的光平面標(biāo)定方法線結(jié)構(gòu)光標(biāo)定即求解線激光器投射出的光平面方程的過(guò)程，光平面空間方程是獲得被測(cè)物體表面上光條中心點(diǎn)相機(jī)坐標(biāo)的前提條件，光平面空間方程的求解精度，直接對(duì)最終視覺(jué)系統(tǒng)的測(cè)量精度產(chǎn)生影響。在光平面標(biāo)定的過(guò)程中，將線結(jié)構(gòu)光投射到特制靶標(biāo)上，已知在世界坐標(biāo)系下靶標(biāo)上的特征點(diǎn)之間的相對(duì)關(guān)系。在標(biāo)定的過(guò)程中，將線激光發(fā)射器固定，并將線結(jié)構(gòu)光投射至靶標(biāo)平面上并與特征點(diǎn)重合，通過(guò)改變標(biāo)靶的位姿，可以獲得若干幅標(biāo)靶圖像，利用每幅圖像上靶標(biāo)的特征點(diǎn)，可以獲得每個(gè)位姿下的相機(jī)外參及特征點(diǎn)的世界坐標(biāo)，通過(guò)獲取足夠多的特征點(diǎn)進(jìn)行幾何約束。5.2單目線結(jié)構(gòu)光測(cè)量原理5.2.2單目線結(jié)構(gòu)光的光平面標(biāo)定方法單目線結(jié)構(gòu)光標(biāo)定模型如圖(a)所示，該模型中有１個(gè)CCD相機(jī)與１個(gè)線型半導(dǎo)體激光器，并選用白紙作為光平面標(biāo)定的基準(zhǔn)，來(lái)準(zhǔn)確提取線激光的光條中心。圖5-6單目線結(jié)構(gòu)光標(biāo)定示意圖5.2單目線結(jié)構(gòu)光測(cè)量原理5.2.3系統(tǒng)設(shè)計(jì)與搭建利用相機(jī)與近紅外線激光器設(shè)計(jì)一套三維重建點(diǎn)云信息系統(tǒng)，該系統(tǒng)由一個(gè)彩色相機(jī)和一個(gè)波長(zhǎng)為780nm的近紅外線激光器構(gòu)成，其中獲取被測(cè)物體的點(diǎn)云過(guò)程是基于激光三角法測(cè)量原理完成的，其工作原理如圖所示。圖5-7激光三角法測(cè)量原理5.2單目線結(jié)構(gòu)光測(cè)量原理5.2.4結(jié)果與分析在本次三維重建實(shí)驗(yàn)中，選用了工業(yè)制造領(lǐng)域常見(jiàn)的工具刀頭和沖壓電極模具作為掃描樣本，對(duì)6次掃描結(jié)果進(jìn)行全局注冊(cè)，得到待測(cè)場(chǎng)景與重建效果如圖所示。系統(tǒng)搭建的三維點(diǎn)云獲取系統(tǒng)中生成點(diǎn)云