3D視覺3D視覺的模型傳統(tǒng)計(jì)算機(jī)視覺以二維圖像為模型，但一般的二維圖像顯然不能夠完整表示出物體的三維信息，這使得傳統(tǒng)視覺技術(shù)的應(yīng)用和發(fā)展受到了很大的限制，越發(fā)不能滿足人們對(duì)于三維世界的認(rèn)知和識(shí)別的需求。隨著三維測(cè)量及重建技術(shù)不斷發(fā)展，衍生出了多種不同形式的三維模型，其中以深度圖像、點(diǎn)云、體素模型這三種最為常見。（1）深度圖像傳統(tǒng)視覺將三維場(chǎng)景投影成二維圖像，二維圖像反應(yīng)的是場(chǎng)景的光強(qiáng)和顏色信息，由于投影成像的原理，它丟失了現(xiàn)實(shí)世界中的三維深度信息。通過對(duì)二維圖像灰度或顏色的分析來實(shí)現(xiàn)場(chǎng)景形貌的識(shí)別和測(cè)量，會(huì)受到環(huán)境光照、陰影等因素的干擾以及物體幾何特征的限制，極大的增加了識(shí)別的難度和測(cè)量的精確度。而深度圖像(RGB-D)將深度信息作為圖像的一個(gè)通道進(jìn)行保存，即可有效解決二維圖像的不足。深度圖像由包含顏色亮度信息普通RGB圖像(如圖a)和包含深度信息的深度圖(Depthmap，如圖b)組成?？梢钥闯?，深度圖與環(huán)境光照和陰影無關(guān)，它的像素點(diǎn)清晰地表達(dá)了景物的表面幾何形狀。

（a）普通RGB圖像

（b）深度圖（2）點(diǎn)云深度圖像可以直觀的表現(xiàn)出三維物體的幾何特征，然而圖像的尺度與真實(shí)世界的尺度并不相同，需要結(jié)合相機(jī)的內(nèi)外參進(jìn)一步解算才可得到物體在世界坐標(biāo)系中的真實(shí)尺寸和位置。深度圖像更適合物體識(shí)別、特征匹配等定性的分析處理，在測(cè)量、定位等定量的處理方面則比較麻煩，點(diǎn)云模型則彌補(bǔ)了這一不足。在獲取物體表面每個(gè)采樣點(diǎn)的空間坐標(biāo)后，得到的是點(diǎn)的集合，稱之為“點(diǎn)云”（PointCloud）。點(diǎn)云是在同一空間參考系下表達(dá)目標(biāo)空間分布和目標(biāo)表面特性的海量點(diǎn)集合，點(diǎn)云中每個(gè)點(diǎn)的坐標(biāo)值，以及相互之間的位置關(guān)系都與真實(shí)空間的尺度相同，這方便我們?cè)谔崛〉剿枰男螤钐卣骱?，可以直接使用到真?shí)世界中。由于點(diǎn)云模型對(duì)真實(shí)世界高度還原的特點(diǎn)，其被廣泛應(yīng)用到三維建模、逆向工程、文物保護(hù)、車輛導(dǎo)航等領(lǐng)域中，是目前3D視覺技術(shù)中最為常用的一種三維模型。如燈泡的點(diǎn)云模型，如圖所示。燈泡的點(diǎn)云模型（3）體素模型“像素”是對(duì)二維圖像的離散劃分，而“體素”則可認(rèn)為是對(duì)三維模型的離散劃分。傳統(tǒng)面圖形學(xué)以面和邊等元素來描述物體，而體表示法則以三維體單元來描述整個(gè)物體，與二維數(shù)字圖像的像素類似，每個(gè)體單元被稱為體素(Volumeelement，簡(jiǎn)稱voxel)，如圖所示為體素模型。

（a）原模型

（b）體素模型點(diǎn)云的數(shù)據(jù)結(jié)構(gòu)通常是散亂無序的，而體素模型是一個(gè)有序的三維陣列，由于體素陣列的離散性和規(guī)則性，可以方便地設(shè)計(jì)針對(duì)體素的各種運(yùn)算。但是相比點(diǎn)云，體素模型隨著分辨率的增大，其數(shù)據(jù)量以立方級(jí)的速度增加，對(duì)儲(chǔ)存空間和傳輸速度的要求也更高。體素模型由于其離散有序特點(diǎn)，在3D打印、醫(yī)學(xué)影像重建等領(lǐng)域得到廣泛應(yīng)用。深度圖像和點(diǎn)云之間可以通過傳感器的內(nèi)外參數(shù)實(shí)現(xiàn)相互轉(zhuǎn)換，點(diǎn)云和體素模型也可由體素化算法實(shí)現(xiàn)相互轉(zhuǎn)換。不同的模型有各自的優(yōu)勢(shì)和不足，隨著3D傳感技術(shù)及模型重建方法的發(fā)展，多種模型的結(jié)合使用為解決實(shí)際問題提供了更多選擇。3D視覺的重建方法基于視覺的三維模型重建是實(shí)現(xiàn)3D視覺技術(shù)的關(guān)鍵環(huán)節(jié)和前提條件。在基于視覺的重建方法出現(xiàn)之前，往往要使用標(biāo)準(zhǔn)的尺度工具通過復(fù)雜的接觸式測(cè)量來獲取物體的三維形狀數(shù)據(jù)，無論在效率還是精度上都難以滿足生產(chǎn)生活的需求。使用視覺方法進(jìn)行測(cè)量重建具有非接觸、快速、精確且不受人為因素影響等優(yōu)勢(shì)。隨著傳感技術(shù)的發(fā)展，出現(xiàn)了多種形式的3D視覺測(cè)量設(shè)備，比較具有代表性的有雙目相機(jī)、Microsoft的Kinect深度相機(jī)、iPhone的結(jié)構(gòu)光三維傳感器等，這些設(shè)備分別基于雙目立體視覺法、飛行時(shí)間法、結(jié)構(gòu)光法來實(shí)現(xiàn)三維的測(cè)量重建，這也是目前最為常見的三種重建方法，具有很高的研究?jī)r(jià)值和實(shí)際意義。（1）雙目立體視覺法雙目立體視覺(BinocularStereoVision)是視覺技術(shù)最基本的一種形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像，通過計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來獲取物體三維幾何信息的方法。對(duì)生物視覺系統(tǒng)，人們?cè)缇妥⒁獾?，幾乎所有具有視覺的生物都有兩個(gè)眼睛。用兩個(gè)眼睛同時(shí)觀察物體時(shí)，會(huì)有深度或遠(yuǎn)近的感覺。1982年，美國(guó)麻省理工學(xué)院的Marr首次從信息處理的角度綜合了圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)及臨床神經(jīng)病學(xué)等方面已取得的重要研究成果，提出了第一個(gè)較為完善的視覺系統(tǒng)框架，這也是雙目視覺技術(shù)的起源，它在研究人眼的視覺原理以及各種基于視覺的工程領(lǐng)域都有很重要的應(yīng)用。

因此，雙目視覺可以看成是由圖像坐標(biāo)向三維世界坐標(biāo)映射的一個(gè)過程。只要在左右兩部相機(jī)上找到匹配的像點(diǎn)，即可解算出此像點(diǎn)在空間中的三維坐標(biāo)。雙目法是3D視覺重建最基礎(chǔ)和經(jīng)典的方法，但其重建的結(jié)果在分辨率上受限于特征點(diǎn)檢測(cè)的數(shù)量；在精度上受特征點(diǎn)匹配結(jié)果的影響，只適合在特征明顯的場(chǎng)景下進(jìn)行稀疏的重建，但在此基礎(chǔ)上衍生出了結(jié)構(gòu)光法，進(jìn)一步提升了三維重建的效果。（2）結(jié)構(gòu)光法結(jié)構(gòu)光法在重建的數(shù)學(xué)原理上與雙目法基本相同，如圖所示，但結(jié)構(gòu)光法通過投射固定形狀結(jié)構(gòu)的光源，來人為地制造特征點(diǎn)，從而解決雙目法中圖像特征點(diǎn)檢測(cè)數(shù)目和匹配精度的問題。結(jié)構(gòu)光測(cè)量示意圖結(jié)構(gòu)光的使用最早出現(xiàn)在80年代早期，Rioux等人使用點(diǎn)激光測(cè)距法，通過不斷獲取經(jīng)物體表面反射回的結(jié)構(gòu)光點(diǎn)，結(jié)合三角原理獲取物體三維信息。這種方法也稱為點(diǎn)結(jié)構(gòu)光法，由于需要逐點(diǎn)掃描，要獲得物體全部表面信息，耗時(shí)較長(zhǎng)。隨著光學(xué)投影技術(shù)的發(fā)展，出現(xiàn)了投射線激光以及二維圖像投影的方法。線結(jié)構(gòu)光指的是投向待測(cè)物體的為線光，這種方法逐線掃描物體，每次得到待測(cè)物體位于同一投影光線上的各點(diǎn)的三維坐標(biāo)，這種方法的測(cè)量速度有所提高，計(jì)算量相應(yīng)減小，但是測(cè)量效率仍較低。面結(jié)構(gòu)光是指將一整個(gè)經(jīng)由計(jì)算的特定圖案投向待測(cè)物體的表面，然后大范圍的獲取由物體表面調(diào)制的信息，再經(jīng)過解調(diào)得到整個(gè)覆蓋面的三維信息，因而測(cè)量效率高，計(jì)算速度快。在面結(jié)構(gòu)光中，又主要有光柵光和編碼光兩類：光柵光即使用物理或模擬光柵向待測(cè)物體投影，而編碼光則投影的是一些經(jīng)由編碼的特制圖案，某種程度上說，光柵光也是一種特殊的編碼光。如圖所示分別為光柵型結(jié)構(gòu)光、二值編碼型結(jié)構(gòu)光、隨機(jī)編碼型結(jié)構(gòu)光的投影圖案。面結(jié)構(gòu)光測(cè)量的精度較高，而且圖像獲取時(shí)間短，測(cè)量速度快，是目前3D視覺測(cè)量重建技術(shù)的主要發(fā)展方向之一。（a）光柵型結(jié)構(gòu)光

（b）二值編碼型結(jié)構(gòu)光

（c）隨機(jī)編碼型結(jié)構(gòu)光

光柵型、二值編碼型、隨機(jī)編碼型結(jié)構(gòu)光圖案作為一種有效而可靠的三維重建和主動(dòng)測(cè)量手段，結(jié)構(gòu)光三維視覺技術(shù)以其低成本、高精度、大視場(chǎng)、實(shí)時(shí)性好和抗干擾能力強(qiáng)等特點(diǎn)，工業(yè)方面，廣泛應(yīng)用于自動(dòng)化測(cè)量、機(jī)器人引導(dǎo)、大規(guī)模復(fù)雜三維場(chǎng)景重建等領(lǐng)域，而在日常的生活中，也被應(yīng)用在人臉識(shí)別、車輛導(dǎo)航、VR設(shè)備等領(lǐng)域中，為我們的生活帶來了新的體驗(yàn)。（3）飛行時(shí)間法飛行時(shí)間法也稱為TOF，是Timeofflight的簡(jiǎn)寫。所謂飛行時(shí)間法3D成像，是通過給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過探測(cè)光脈沖的飛行（往返）時(shí)間來得到目標(biāo)物距離。TOF相機(jī)是近十年發(fā)展起來的3D成像設(shè)備，它不僅能像傳統(tǒng)2D相機(jī)那樣獲得強(qiáng)度圖像，還能實(shí)時(shí)獲得感光器件上每個(gè)像素點(diǎn)到目標(biāo)物體對(duì)應(yīng)點(diǎn)的距離。下圖演示了TOF相機(jī)測(cè)距系統(tǒng)的基本原理。測(cè)量開始時(shí)，由相機(jī)上的二極管陣列向整個(gè)場(chǎng)景投射調(diào)制光線，用返回相機(jī)感光元件表面的反射信號(hào)與參考信號(hào)卷積、采樣，得到反射信號(hào)的相位，進(jìn)而得出測(cè)量信號(hào)的飛行時(shí)間，結(jié)合光速，就可計(jì)算相機(jī)到被測(cè)物體的距離。TOF相機(jī)測(cè)距的基本公式是：基于TOF技術(shù)的3D相機(jī)是一種新型的、小型化立體成像設(shè)備，該相機(jī)可實(shí)時(shí)高效的捕捉動(dòng)態(tài)目標(biāo)的亮度信息與距離信息。這種相機(jī)操作簡(jiǎn)便，信息最大，有著廣闊的發(fā)展?jié)摿εc市場(chǎng)前景，將會(huì)給許多領(lǐng)域帶來革命性的改變。3D視覺的典型應(yīng)用3D視覺作為一個(gè)學(xué)科來講，是多學(xué)科的交叉融合，包含了計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、人工智能、自動(dòng)化控制等學(xué)科領(lǐng)域的內(nèi)容，這也使得3D視覺技術(shù)在許多領(lǐng)域都能發(fā)揮重要作用。近年來，在國(guó)內(nèi)外相關(guān)企業(yè)和科研人士的不懈努力下，不斷有新的產(chǎn)品，產(chǎn)業(yè)線等應(yīng)用上了3D視覺技術(shù)，在人們的日常生活上帶來更加便捷的體驗(yàn)，在工業(yè)上也進(jìn)一步提升了自動(dòng)化、智能化的水平。本節(jié)將通過描述幾個(gè)具體的實(shí)施案例來展現(xiàn)3D視覺技術(shù)的強(qiáng)大實(shí)力。（1）工業(yè)機(jī)器人定位引導(dǎo)隨著我國(guó)工業(yè)化與信息化進(jìn)程的不斷發(fā)展，以及國(guó)家“工業(yè)4.0”戰(zhàn)略的實(shí)施，工業(yè)機(jī)器人正在被廣泛應(yīng)用在自動(dòng)裝配、航空領(lǐng)域、智能制造、交通導(dǎo)航等領(lǐng)域，在工業(yè)流水線上主要用于分揀、碼垛、焊接等流程工藝。傳統(tǒng)的機(jī)器人引導(dǎo)通過手動(dòng)示教或離線編程的方式來規(guī)劃?rùn)C(jī)器人的工作路徑，這種方法制約了機(jī)器人的工作效率、靈活性和智能性，無法滿足柔性生產(chǎn)系統(tǒng)的要求。而通過3D視覺引導(dǎo)的方式協(xié)助機(jī)器人完成對(duì)目標(biāo)對(duì)象的定位，這種方法可以有效地提高生產(chǎn)線的工作效率和自動(dòng)化水平。隨機(jī)箱體抓取系統(tǒng)(RandomBinPicking，RBP)是目前普及率最高的一種機(jī)器人3D視覺引導(dǎo)系統(tǒng)，典型的bin-picking系統(tǒng)包括三個(gè)部分：機(jī)器人(機(jī)械臂)，視覺模塊和計(jì)算機(jī)控制模塊。整個(gè)系統(tǒng)的工作流程大致為：通過視覺傳感器對(duì)目標(biāo)檢測(cè)區(qū)域進(jìn)行掃描分析，獲取場(chǎng)景內(nèi)的工件三維信息，并計(jì)算出目標(biāo)工件的位置姿態(tài)，根據(jù)位姿不同規(guī)劃?rùn)C(jī)械臂的抓取路徑。視覺模塊中的視覺算法是RBP系統(tǒng)的核心部分，算法主要分為3D數(shù)據(jù)采集和目標(biāo)定位。3D數(shù)據(jù)采集可以通過線結(jié)構(gòu)光的方法，結(jié)合機(jī)器人機(jī)械臂可移動(dòng)平臺(tái)來對(duì)工件進(jìn)行掃描，從而解算出工件的三維坐標(biāo)信息（如圖所示），近年來也有使用面結(jié)構(gòu)光來直接獲取工件表面三維數(shù)據(jù)的方法，進(jìn)一步提升了數(shù)據(jù)采集的速度。BRP系統(tǒng)示意圖目標(biāo)定位則是視覺系統(tǒng)對(duì)3D數(shù)據(jù)的分析和理解，一般采集到的3D數(shù)據(jù)用點(diǎn)云模型表示，通過提取目標(biāo)點(diǎn)云的特征，并進(jìn)行特征匹配，可以從場(chǎng)景中提取出具有固定特征的工件點(diǎn)云(如圖所示)。實(shí)現(xiàn)目標(biāo)定位后，再通過傳感器和機(jī)器人坐標(biāo)系之間的關(guān)系，將定位結(jié)果轉(zhuǎn)換為機(jī)器人參考系下的坐標(biāo)數(shù)據(jù)，即可引導(dǎo)機(jī)器人對(duì)目標(biāo)工件進(jìn)行抓取。

（a）工件圖片

（b）工件點(diǎn)云RBP技術(shù)在工業(yè)自動(dòng)化、流水線生產(chǎn)、智慧工廠、無人倉庫等領(lǐng)域有著非常廣闊的應(yīng)用前景。在未來，機(jī)器人的3D視覺引導(dǎo)技術(shù)還可能往可移動(dòng)機(jī)器人、大視場(chǎng)、復(fù)雜場(chǎng)景等方向發(fā)展，逐漸提升工業(yè)生產(chǎn)的自動(dòng)化智能化水平，帶來更高的效益和產(chǎn)能。（2）視覺SLAMSLAM(simultaneouslocalizationandmapping)即同時(shí)定位與地圖構(gòu)建。它是指搭載特定傳感器的主體，在沒有環(huán)境先驗(yàn)信息的條件下，于運(yùn)動(dòng)過程中建立環(huán)境的模型，同時(shí)估計(jì)自身的運(yùn)動(dòng)軌跡。如果搭載的傳感器為視覺傳感器，就稱為“視覺SLAM”，其流程圖如圖所示。視覺SLAM流程圖通俗得講，以機(jī)器人為例，SLAM解決的問題可以描述為：將一個(gè)機(jī)器人隨機(jī)放入某一空間中，機(jī)器人需要感知周圍的環(huán)境并判斷自己的位置。SLAM不同于傳統(tǒng)意義上機(jī)器人的行為方式在于所處的環(huán)境沒有先驗(yàn)性，也就是說從采集環(huán)境形貌，到認(rèn)知環(huán)境特征，再到判斷機(jī)器人自己的位置都是由機(jī)器人自發(fā)地去完成。這其實(shí)是一個(gè)很直觀的問題，因?yàn)槿祟愖约鹤哌M(jìn)陌生環(huán)境時(shí)就是這么做的。目前的SLAM技術(shù)主要分為激光SLAM和視覺SLAM。激光SLAM使用激光雷達(dá)作為傳感器，目前已經(jīng)有比較成熟的產(chǎn)品，但是成本較高，而視覺SLAM則是使用雙目相機(jī)、結(jié)構(gòu)光3D傳感器、深度相機(jī)等作為視覺傳感器，應(yīng)用場(chǎng)景相比激光雷達(dá)更加豐富，成本也相對(duì)較低。作為3D視覺技術(shù)未來最重要的發(fā)展方向之一，視覺SLAM已經(jīng)開始應(yīng)用在車輛輔助駕駛、無人機(jī)自主導(dǎo)航、城市3D地圖重建、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域。隨著城市物聯(lián)網(wǎng)和智能系統(tǒng)的完善，視覺SLAM必是大勢(shì)所趨。雖然目前視覺SLAM技術(shù)方面還存在著一些問題，但這些都會(huì)隨著消費(fèi)刺激和產(chǎn)業(yè)鏈的發(fā)展逐步解決、趨于完善。（3）人臉識(shí)別人臉識(shí)別因具有非接觸性、易被人們接受等優(yōu)勢(shì)，在個(gè)人身份認(rèn)證中具有廣闊的應(yīng)用前景。傳統(tǒng)基于2D圖像的人臉識(shí)別技術(shù)，提取到的人臉特征比較有限，并且受光照、姿態(tài)、遮擋、妝容的影響比較大，魯棒性較差，適用場(chǎng)合也受到很大限制。種種制約使得2D人臉識(shí)別技術(shù)一直難以推廣，而隨著3D成像技術(shù)的發(fā)展，從3D數(shù)據(jù)模型中提取到的人臉特征，不僅數(shù)量豐富，且受上述干擾因素的影響小，發(fā)展至今，已經(jīng)成為了主流的身份認(rèn)證方式之一。人臉識(shí)別的是實(shí)現(xiàn)的步驟分為：數(shù)據(jù)獲取，人臉檢測(cè)，特征提取，信息比對(duì)。主要的步驟上2D和3D的都是相同的，但在具體的實(shí)施方式上3D識(shí)別則更加豐富，如圖所示，分別描述了2D和3D人臉識(shí)別的流程。人臉識(shí)別流程基于3D視覺技術(shù)的人臉識(shí)別目前已經(jīng)進(jìn)入我們?nèi)粘Ｉ畹姆椒矫婷?。我?guó)在這方面發(fā)展迅速，有許多成功的案例。比如現(xiàn)在眾多手機(jī)廠商都在使用的faceID，在識(shí)別速度相近的情況下識(shí)別精度是指紋識(shí)別的20倍；支付包的人臉支付也在線下得到了極大的推廣，幾乎實(shí)現(xiàn)了空手出門即可把東西買回家；?？低暋⒋笕A、科大訊飛等國(guó)內(nèi)視