機(jī)器視覺原理與應(yīng)用第1章機(jī)器視覺理論簡介1.1機(jī)器視覺簡介1.2機(jī)器視覺的發(fā)展1.3Marr視覺計(jì)算理論1.3.1機(jī)器視覺的三個(gè)層次1.3.2視覺表示框架1.4深度學(xué)習(xí)1.5機(jī)器視覺的研究內(nèi)容及面臨的問題1.5.1機(jī)器視覺的研究內(nèi)容1.5.2機(jī)器視覺研究面臨的問題1.6機(jī)器視覺的應(yīng)用1.1

機(jī)器視覺簡介機(jī)器視覺（MachineVision）機(jī)器視覺是一個(gè)系統(tǒng)的概念，集成了光學(xué)、機(jī)械、電子、計(jì)算機(jī)軟硬件等方面的技術(shù)，涉及計(jì)算機(jī)、圖像處理、模式識(shí)別、機(jī)械工程、電光源照明、人工智能、信號(hào)處理、光機(jī)電一體化、光學(xué)成像、傳感器、模擬與數(shù)字視頻技術(shù)、計(jì)算機(jī)軟硬件技術(shù)(圖像增強(qiáng)和分析算法、圖像卡、

I/O卡等)等多個(gè)領(lǐng)域。一個(gè)典型的機(jī)器視覺應(yīng)用系統(tǒng)包括圖像捕捉、光源系統(tǒng)、圖像數(shù)字化模塊、數(shù)字圖像處理模塊、智能判斷決策模塊和機(jī)械控制執(zhí)行模塊。1.1

機(jī)器視覺簡介國際制造工程師學(xué)會(huì)（SME）機(jī)器視覺分會(huì)和美國機(jī)器人工業(yè)協(xié)會(huì)（RIA）自動(dòng)化視覺分會(huì)關(guān)于機(jī)器視覺的定義為：機(jī)器視覺是使用光學(xué)器件進(jìn)行非接觸感知，自動(dòng)獲取和解釋一個(gè)真實(shí)場景的圖像，以獲取信息和用于控制機(jī)器運(yùn)動(dòng)的裝置。通俗地講，機(jī)器視覺就是為機(jī)器安裝上一雙“智慧的眼睛”，讓機(jī)器具有像人一樣的視覺功能，從而實(shí)現(xiàn)引導(dǎo)、檢測、測量、識(shí)別等功能。1.1

機(jī)器視覺簡介機(jī)器視覺與計(jì)算機(jī)視覺既有區(qū)別又有聯(lián)系。機(jī)器視覺側(cè)重于機(jī)器，也就是機(jī)器應(yīng)用。而計(jì)算機(jī)視覺側(cè)重于計(jì)算機(jī)，也就是計(jì)算機(jī)圖像處理。從學(xué)科上說，計(jì)算機(jī)視覺是計(jì)算機(jī)科學(xué)發(fā)展出來的一個(gè)分支，機(jī)器視覺則是系統(tǒng)工程領(lǐng)域內(nèi)多學(xué)科知識(shí)的交叉應(yīng)用。機(jī)器視覺屬于應(yīng)用領(lǐng)域，更多的是利用現(xiàn)有的各學(xué)科理論來實(shí)現(xiàn)機(jī)器替代，最終結(jié)果是完成現(xiàn)實(shí)生產(chǎn)目標(biāo)。計(jì)算機(jī)視覺則側(cè)重于理論研究，其研究在實(shí)踐中存在著不確定性。機(jī)器視覺系統(tǒng)是可以自動(dòng)獲取一幅或多幅目標(biāo)物體圖像，對(duì)所獲取圖像的各種特征量進(jìn)行處理、分析和測量，根據(jù)最終結(jié)果做出定性分析和定量解釋，從而得到有關(guān)目標(biāo)物體的某種認(rèn)識(shí)并作出相應(yīng)決策，執(zhí)行可直接創(chuàng)造經(jīng)濟(jì)價(jià)值或社會(huì)價(jià)值的功能活動(dòng)。1.1

機(jī)器視覺簡介機(jī)器視覺對(duì)于計(jì)算機(jī)的圖像處理功能存在極強(qiáng)的依賴性。計(jì)算機(jī)視覺為機(jī)器視覺提供了圖像處理分析的理論和算法，而機(jī)器視覺則實(shí)現(xiàn)了計(jì)算機(jī)視覺研究成果向?qū)嶋H應(yīng)用的轉(zhuǎn)化。機(jī)器視覺和計(jì)算機(jī)視覺的區(qū)別機(jī)器視覺機(jī)器視覺側(cè)重于機(jī)器，也就是機(jī)器應(yīng)用從學(xué)科上說，機(jī)器視覺則是系統(tǒng)工程領(lǐng)域內(nèi)多學(xué)科知識(shí)的交叉應(yīng)用機(jī)器視覺屬于應(yīng)用領(lǐng)域，更多的是利用現(xiàn)有的各學(xué)科理論來實(shí)現(xiàn)機(jī)器替代，最終結(jié)果是完成現(xiàn)實(shí)生產(chǎn)目標(biāo)。計(jì)算機(jī)視覺計(jì)算機(jī)視覺側(cè)重于計(jì)算機(jī)，也就是計(jì)算機(jī)圖像處理從學(xué)科上說，計(jì)算機(jī)視覺是計(jì)算機(jī)科學(xué)發(fā)展出來的一個(gè)分支計(jì)算機(jī)視覺則側(cè)重于理論研究，其研究在實(shí)踐中存在著不確定性。71.2機(jī)器視覺的發(fā)展機(jī)器視覺的發(fā)展經(jīng)過初期的數(shù)字圖像處理，20世紀(jì)80年代的卡爾曼濾波及正則化時(shí)代，20世紀(jì)90年代的圖像分割，21世紀(jì)的計(jì)算攝像學(xué)與機(jī)器視覺中的深度學(xué)習(xí)等。20世紀(jì)70年代：初期的數(shù)字圖像處理階段機(jī)器視覺始于20世紀(jì)70年代早期，它被視為模擬人類智能并賦予機(jī)器人智能行為的感知組成部分。人工智能和機(jī)器人的早期研究者（麻省理工大學(xué)、斯坦福大學(xué)、卡內(nèi)基梅隆大學(xué)的研究者）認(rèn)為，在解決高層次推理和規(guī)劃等更困難問題的過程中，針對(duì)“視覺輸入”問題應(yīng)該是一個(gè)簡單的步驟。比如，1966年麻省理工大學(xué)的MarvinMinsky讓他的本科生GeraldJaySussman在暑期將相機(jī)連接到計(jì)算機(jī)上，讓計(jì)算機(jī)描述它所看到的事物?，F(xiàn)在我們覺得很簡單，但是在當(dāng)時(shí)是不容易解決的。1.2機(jī)器視覺的發(fā)展20世紀(jì)70年代，人們對(duì)物體的三位建模進(jìn)行了研究。Barrow、Tenenbaum與Marr提出了一種理解亮度和陰影變化的方法，并通過表面朝向和陰影等恢復(fù)三維結(jié)構(gòu)。同時(shí)出現(xiàn)了基于特征的立體視覺對(duì)應(yīng)（stereocorrespondence）算法和基于亮度的光流（opticalflow）算法。在這個(gè)時(shí)期，DavidMarr介紹了視覺信息處理表達(dá)的三個(gè)層次。20世紀(jì)80年代：卡爾曼濾波及正則化時(shí)代20世紀(jì)80年代，計(jì)算機(jī)視覺獲得蓬勃發(fā)展，新概念、新方法和新理論不斷涌現(xiàn)，如基于感知特征群的物體識(shí)別理論框架、主動(dòng)識(shí)別理論框架、視覺集成理論框架等。圖像金字塔和尺度空間用于對(duì)應(yīng)點(diǎn)搜索。三維視覺重建中出現(xiàn)“由X到形狀”的方法，包括由陰影到形狀、由光度立體視覺到形狀、由紋理到形狀及由聚焦到形狀。1.2機(jī)器視覺的發(fā)展20世紀(jì)90年代：圖像分割計(jì)算機(jī)視覺技術(shù)進(jìn)入深入發(fā)展、廣泛應(yīng)用時(shí)期。在這段時(shí)期，光流方法得到了不斷改進(jìn)，產(chǎn)生了完整三維表面的多視圖立體視覺算法，同時(shí)跟蹤算法也得到了很多改進(jìn)，包括使用“活動(dòng)輪廓”方法的輪廓跟蹤（如蛇形、粒子濾波和水平集方法）和基于亮度的跟蹤方法。21世紀(jì)：計(jì)算攝像學(xué)與機(jī)器視覺中的深度學(xué)習(xí)計(jì)算機(jī)視覺與計(jì)算機(jī)圖形學(xué)之間的交叉越來越明顯，特別是在基于圖像的建模和繪制交叉領(lǐng)域。計(jì)算攝像學(xué)得到深入發(fā)展，其中光場獲取和繪制以及通過多曝光實(shí)現(xiàn)的高動(dòng)態(tài)范圍成像得到了發(fā)展。1.3Marr視覺計(jì)算理論Marr視覺計(jì)算理論立足于計(jì)算機(jī)科學(xué)，系統(tǒng)地概括了心理生理學(xué)、神經(jīng)生理學(xué)等方面業(yè)已取得的所有重要成果，是視覺研究中迄今為止最為完善的視覺理論。Marr建立的視覺計(jì)算理論，使計(jì)算機(jī)視覺研究有了一個(gè)比較明確的體系，并大大推動(dòng)了計(jì)算機(jī)視覺研究的發(fā)展。人們普遍認(rèn)為，計(jì)算機(jī)視覺這門學(xué)科的形成與Marr的視覺理論有著密切的關(guān)系。事實(shí)上，盡管20世紀(jì)70年代初期就有人使用計(jì)算機(jī)視覺這個(gè)名詞，但正是Marr于70年代末建立的視覺理論促使計(jì)算機(jī)視覺這一名詞的流行。下面簡要地介紹Marr視覺理論的基本思想及其理論框架。1.3.1機(jī)器視覺的三個(gè)層次計(jì)算理論表示和算法硬件實(shí)現(xiàn)計(jì)算的目的是什么?為什么這一計(jì)算是合適的?執(zhí)行計(jì)算的策略是什么?如何實(shí)現(xiàn)這個(gè)理論計(jì)算?輸入、輸出的表示是什么？表示與表示之間的變換是什么？在物理上如何實(shí)現(xiàn)這些表示和算法？

Marr認(rèn)為，視覺是一個(gè)信息處理系統(tǒng)。因此，系統(tǒng)研究分為三個(gè)層次：計(jì)算理論層次，表示(epresenain)與算法層次，硬件實(shí)現(xiàn)層次，如表1-1所示。:表1-1Marr視覺理論的三個(gè)層次1.3.1機(jī)器視覺的三個(gè)層次按照Marr的理論,計(jì)算視覺理論要回答視覺系統(tǒng)的計(jì)算目的和策略是什么，或視覺系統(tǒng)的輸入和輸出是什么，如何由系統(tǒng)的輸入求出系統(tǒng)的輸出：在這個(gè)層次上，信息系統(tǒng)的特征，是將一種信息(輸入)映射為另一種信息(輸出)。比如，系統(tǒng)輸入是二維灰度圖象，輸出則是三維物體的形狀、位置和姿態(tài)，視覺系統(tǒng)的任務(wù)就是研究如何建立輸入輸出之間的關(guān)系和約束，如何由二維灰度圖象恢復(fù)物體的三維信息。表示與算法層次：進(jìn)一步回答如何表示輸入和輸出信息，如何實(shí)現(xiàn)計(jì)算理論所對(duì)應(yīng)的功能的算法，以及如何由一種表示變換成另一種表示，比如創(chuàng)建數(shù)據(jù)結(jié)構(gòu)和符號(hào)。一般來說，不同的輸入、輸出和計(jì)算理論對(duì)應(yīng)不同的表示，而同一種輸入、輸出或計(jì)算理論可能對(duì)應(yīng)若干種表示。1.3.1機(jī)器視覺的三個(gè)層次硬件實(shí)現(xiàn)層次：在解決了理論問題和表示問題后，最后一個(gè)層次是解決用硬件實(shí)現(xiàn)上述表示和算法的問題。比如計(jì)算機(jī)體系結(jié)構(gòu)及具體的計(jì)算裝置及其細(xì)節(jié)。從信息處理的觀點(diǎn)來看,至關(guān)重要的乃是最高層次，即計(jì)算理論層次。這是因?yàn)闃?gòu)成知覺的計(jì)算本質(zhì)，取決于解決計(jì)算問題本身。而不取決于用來解決計(jì)算問題的特殊硬件。換句話說，通過正確理解待解決問題的本質(zhì)，將有助于理解并創(chuàng)造算法。如果考慮解決問題的機(jī)制和物理實(shí)現(xiàn)，則對(duì)理解算法往往無濟(jì)于事。1.3.1機(jī)器視覺的三個(gè)層次上述三個(gè)層次之間存在著邏輯的因果關(guān)系，但它們之間的聯(lián)系不是十分緊密。因此，某些現(xiàn)象只能在其中一個(gè)或兩個(gè)層次上進(jìn)行解釋。比如神經(jīng)解剖學(xué)原則上與第三層次（即物理實(shí)現(xiàn)）聯(lián)系在一起。突觸機(jī)制、動(dòng)作電位抑制性相互作用都在第三個(gè)層次上。心理物理學(xué)與第二層次（即表示與算法）有著更直接的聯(lián)系。更一般地說，不同的現(xiàn)象必須在不同的層次上進(jìn)行解釋，這會(huì)有助于人們把握正確的研究方向。例如，人們常說，人腦完全不同于計(jì)算機(jī)，因?yàn)榍罢呤遣⑿屑庸さ?，后者是串行的。?duì)于這個(gè)問題，應(yīng)該這樣回答：并行加工和串行加工是在算法這個(gè)層次上的區(qū)別，而不是根本性的區(qū)別，因?yàn)槿魏我粋€(gè)并行的計(jì)算程序都可以寫成串行的程序。因此，這種并行與串行的區(qū)別并不支持這種觀點(diǎn)，即人腦的運(yùn)行與計(jì)算機(jī)的運(yùn)算是不同的，因而人腦所完成的任務(wù)是不可能通過編制程序用計(jì)算機(jī)來完成。1.3.1機(jī)器視覺的三個(gè)層次16計(jì)算視覺理論層次：回答視覺系統(tǒng)的計(jì)算目的和策略是什么，或視覺系統(tǒng)的輸入和輸出是什么，如何由系統(tǒng)的輸入求出系統(tǒng)的輸出表示與算法層次：進(jìn)一步回答如何表示輸入和輸出信息，如何實(shí)現(xiàn)計(jì)算理論所對(duì)應(yīng)的功能的算法，以及如何由一種表示變換成另一種表示硬件實(shí)現(xiàn)層次：在解決了理論問題和表示問題后，最后一個(gè)層次是解決用硬件實(shí)現(xiàn)上述表示和算法的問題三個(gè)層次之間存在著邏輯的因果關(guān)系，但它們之間的聯(lián)系不是十分緊密。因此，某些現(xiàn)象只能在其中一個(gè)或兩個(gè)層次上進(jìn)行解釋1.3.2視覺表示框架視覺過程可劃分為三個(gè)階段，如表1-2所示。第一階段(也稱為早期階段)是將輸入的原始圖象進(jìn)行處理，抽取圖象中諸如角點(diǎn)、邊緣、紋理、線條、邊界等基本特征。這些特征的集合稱為基元圖(primitivesketch)；第二階段(中期階段)是指在以觀測者為中心的坐標(biāo)系中，由輸入圖象和基元圖恢復(fù)場景可見部分的深度、法線方向、輪廓等，這些信息包含了深度信息，但不是真正的物體三維表示。因此,稱為二維半圖(2.5dimensionalsketch)；在以物體為中心的坐標(biāo)系中，由輸入圖象、基元圖、二維半圖來恢復(fù)、表示和識(shí)別三維物體的過程稱為視覺的第三階段(后期階段)。1.3.2視覺表示框架Marr理論是計(jì)算機(jī)視覺研究領(lǐng)域的劃時(shí)代成就，但該理論不是十分完善的，許多方面還有爭議。比如，該理論所建立的視覺處理框架基本上是自下而上，沒有反饋。還有，該理論沒有足夠地重視知識(shí)的應(yīng)用。盡管如此，Marr理論給了我們研究計(jì)算機(jī)視覺許多珍貴的哲學(xué)思想和研究方法，同時(shí)也給計(jì)算機(jī)視覺研究領(lǐng)域創(chuàng)造了許多研究起點(diǎn)。1.3.2視覺表示框架視覺過程可分為三個(gè)階段表1-2由圖像恢復(fù)形狀信息的表示框架名

稱目的基元圖像亮度表示圖像中每一點(diǎn)的亮度值基元圖表示二維圖像的重要信息，主要是圖像中的亮度變化位置及其幾何分布和組織結(jié)構(gòu)零交叉、斑點(diǎn)，端點(diǎn)和不連接點(diǎn)，邊緣，有效線段，組合群，曲線組織，邊界2.5維圖在以觀測者為中心的坐標(biāo)系中，表示可見表面的方向，深度值和不連續(xù)的輪廓局部表面朝上（“針”基元）離觀測者的距離深度上的不連續(xù)點(diǎn)表面朝上的不連續(xù)點(diǎn)3維模型表示在以物體為中心的坐標(biāo)系中，用三維體積基元面積構(gòu)成的模塊化多層次表示，描述形狀及空間組織形式分層次組成若干三維模型，每個(gè)三維模型都是在幾個(gè)軸線空間的基礎(chǔ)上構(gòu)成的，所有體積基元或面積形狀基元都附著在軸線上1.4深度學(xué)習(xí)深度學(xué)習(xí)（Deeplearning）是機(jī)器學(xué)習(xí)的分支，它是使用包含復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)成的多個(gè)處理層對(duì)數(shù)據(jù)進(jìn)行高層抽象的機(jī)器學(xué)習(xí)的算法。它和機(jī)器學(xué)習(xí)以及人工智能的關(guān)系如圖1-1所示，在最外面的一環(huán)是人工智能（ArtificialIntelligence，AI），使用計(jì)算推理，里面的一環(huán)是機(jī)器學(xué)習(xí)（Machinelearning），深度學(xué)習(xí)在最中心。1.4深度學(xué)習(xí)圖1-1深度學(xué)習(xí)在人工智能中的位置211.4深度學(xué)習(xí)在過去的若干年中，由于功能更強(qiáng)大和價(jià)格更便宜的計(jì)算的出現(xiàn)，許多研究人員開始采用復(fù)雜（深層）神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)來實(shí)現(xiàn)20年前難以想象的目標(biāo)。自1957年Rosenblatt發(fā)明感知器后，人們對(duì)神經(jīng)網(wǎng)絡(luò)的興趣變得越來越大。然而，許多限制（擔(dān)心內(nèi)存和CPU速度）阻礙了此方面的研究，并且限制了算法的大量應(yīng)用。在過去十年中，研究人員開始瞄準(zhǔn)越來越大的模型，建立幾個(gè)不同層次的神經(jīng)網(wǎng)絡(luò)模型（這就是為什么這種方法被稱為深度學(xué)習(xí)），以解決新的具有挑戰(zhàn)性的問題。便宜和快速的計(jì)算機(jī)的可用性允許他們使用非常大的數(shù)據(jù)集（由圖像、文本和動(dòng)畫組成的數(shù)據(jù)）在可接受的時(shí)間范圍內(nèi)獲得結(jié)果。這一努力產(chǎn)生了令人印象深刻的成果，如基于圖片元素的分類和使用強(qiáng)化學(xué)習(xí)的實(shí)時(shí)智能交互。1.4深度學(xué)習(xí)這些技術(shù)背后的想法是創(chuàng)建像大腦一樣工作的算法，由于神經(jīng)科學(xué)和認(rèn)知心理學(xué)的貢獻(xiàn)，這一領(lǐng)域已經(jīng)有了很多重要進(jìn)展。特別是人們對(duì)于模式識(shí)別和聯(lián)想記憶的研究興趣越來越濃厚，采用了與人類大腦皮層相似的結(jié)構(gòu)和功能。神經(jīng)網(wǎng)絡(luò)還包括更簡單的稱為無模型（model-free）的算法，這些算法更多是基于通用學(xué)習(xí)技巧和重復(fù)經(jīng)驗(yàn)，而不是基于特定問題的數(shù)學(xué)物理方法。當(dāng)然，對(duì)不同的構(gòu)架和優(yōu)化算法的測試可以通過并行處理來進(jìn)行，從而使得其比定義一個(gè)復(fù)雜的模型要簡單得多，并且復(fù)雜的模型也更難以適應(yīng)不同的情況，此外，即使是沒有基于上下文的模型，深度學(xué)習(xí)也表現(xiàn)出比其他方法更好的性能。這表明在許多情況下，最好是用不確定性做出不太精確的決定，而不是由非常復(fù)雜的模型（通常不是很快）輸出確定的精確決策。對(duì)于動(dòng)物來說，這種決策往往生死攸關(guān)，如果決策成功，也是因?yàn)樗[含地放棄了一些精確性。1.4深度學(xué)習(xí)常見的深度學(xué)習(xí)應(yīng)用包括：圖像分類、實(shí)時(shí)視覺跟蹤、自動(dòng)駕駛、物流優(yōu)化、生物信息、語音識(shí)別。這些問題中，有許多也可以使用經(jīng)典方法來求解，但有時(shí)候要復(fù)雜很多，而深度學(xué)習(xí)的效果更好。此外，深度學(xué)習(xí)可以將其應(yīng)用擴(kuò)展到最初被認(rèn)為非常復(fù)雜的情況下，例如自動(dòng)駕駛汽車或?qū)崿F(xiàn)視覺對(duì)象識(shí)別。本書詳細(xì)介紹了一些經(jīng)典算法。然而，有許多介紹性和更高級(jí)的討論資源可供參考。GeogleDeepMind團(tuán)隊(duì)已經(jīng)得到了許多有趣的結(jié)果，建議訪問他們的網(wǎng)站，了解他們的最新研究結(jié)果。1.4深度學(xué)習(xí)深度學(xué)習(xí)（Deeplearning）是機(jī)器學(xué)習(xí)的分支，它是使用包含復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)成的多個(gè)處理層對(duì)數(shù)據(jù)進(jìn)行高層抽象的機(jī)器學(xué)習(xí)的算法。25常見的深度學(xué)習(xí)的應(yīng)用圖像分類1.4深度學(xué)習(xí)26實(shí)時(shí)視覺跟蹤自動(dòng)駕駛物流優(yōu)化、生物信息、語音識(shí)別……1.5.1機(jī)器視覺的研究內(nèi)容輸入設(shè)備輸入設(shè)備包括成像設(shè)備和數(shù)字化設(shè)備。成像設(shè)備是指通過光學(xué)攝像機(jī)或紅外、激光、超聲、X射線對(duì)周圍場景或物體進(jìn)行探測成像，然后使用數(shù)字化設(shè)備得到關(guān)于場景或物體的二維或三維數(shù)字化圖像。獲取數(shù)字化圖像是機(jī)器視覺系統(tǒng)的最基本功能。目前用于研究視覺的大多數(shù)輸入設(shè)備是商業(yè)化產(chǎn)品，如CCD黑白或彩色攝像機(jī)、數(shù)字掃描儀、超聲成像探測儀、CT（計(jì)算機(jī)斷層掃描）成像設(shè)備等。但是這些商業(yè)化的輸入設(shè)備遠(yuǎn)遠(yuǎn)不能滿足實(shí)際的需要，因此研究人員正在研究各種性能先進(jìn)的成像系統(tǒng)，如紅外成像系統(tǒng)、激光成像系統(tǒng)、計(jì)算機(jī)成像系統(tǒng)、高分辨率智能成像顯微儀器（RUSH，每秒能夠拍到百億像素，是國際上首個(gè)能實(shí)現(xiàn)小鼠全腦皮層范圍神經(jīng)活動(dòng)高分辨率成像的儀器。）1.5.1機(jī)器視覺的研究內(nèi)容圖像生成圖像生成主要研究相機(jī)內(nèi)參數(shù)和外參數(shù)，使用線性或非線性對(duì)相機(jī)進(jìn)行標(biāo)定，光源類型及其產(chǎn)生的效果、光照及陰影，色彩匹配及線性顏色空間和非線性顏色空間，圖像顏色模型中的漫反射項(xiàng)及鏡面反射項(xiàng)受表面的顏色與光源的互反射的顏色影響。1.5.1機(jī)器視覺的研究內(nèi)容低層視覺低層視覺主要對(duì)輸入的原始圖像進(jìn)行處理，主要包括圖像線性濾波或非線性濾波、圖像增強(qiáng)、邊緣檢測、圖像紋理檢測、圖像運(yùn)動(dòng)檢測，由紋理恢復(fù)形狀、圖像去噪等。中層視覺中層視覺的主要任務(wù)是恢復(fù)場景深度、表面法線方向、輪廓等有關(guān)場景的2.5維信息，實(shí)現(xiàn)途徑有立體視覺、測距成像、運(yùn)動(dòng)估計(jì)以及利用明暗特征、紋理特征等進(jìn)行形狀恢復(fù)的方法。291.5.1機(jī)器視覺的研究內(nèi)容高層視覺高層視覺的主要任務(wù)是在以物體為中心的坐標(biāo)系中，根據(jù)原始輸入圖像及基本特征，恢復(fù)物體的三維結(jié)構(gòu)，并確定物體的位置和方向。另外，利用微分幾何知識(shí)，描述物體的平滑表面及輪廓，同時(shí)利用滑動(dòng)窗口法進(jìn)行的人臉檢測、行人檢測和邊界檢測，形變物體檢測等。301.5.2機(jī)器視覺研究面臨的問題目前所建立的各種機(jī)器視覺系統(tǒng)只適用于某種特定環(huán)境或應(yīng)用場合，而要建立一個(gè)可以與人類視覺相比擬的通用視覺系統(tǒng)是非常困難的，機(jī)器視覺研究面臨的困難如下。信息損失在相機(jī)或者人眼圖像獲取過程中，會(huì)出現(xiàn)3D向2D轉(zhuǎn)換過程中信息損失。這是由針孔模型的近似或者透鏡成像模型決定的，在成像過程中丟失了深度等的信息，在投影變換過程中，會(huì)將點(diǎn)沿著射線做映射，但不保持角度和共線性。局部窗口和對(duì)全局視圖的需要一般來說，圖像分析與處理的是全局圖像的一部分像素，也就是說通過小孔來看圖像。因此通過局部（小孔）很難實(shí)現(xiàn)全局上下文的理解。20世紀(jì)80年代，1.5.2機(jī)器視覺研究面臨的問題McCarthy指出構(gòu)造上下文是解決推廣性問題的關(guān)鍵，而僅從局部來看或只有一些局部小孔可供觀察時(shí)，解釋一幅圖像一般時(shí)非常困難的。噪聲實(shí)際的視覺檢測都含有噪聲，需要使用相應(yīng)的數(shù)學(xué)工具和方法對(duì)含有噪聲的視覺感知結(jié)果進(jìn)行分析與處理，進(jìn)而獲得復(fù)原真實(shí)視覺數(shù)據(jù)。亮度測量輻射率用圖像亮度近似表示。輻射率依賴于輻照度（輻照度與光源類型、強(qiáng)度和位置有關(guān)）、觀察者位置、表面的局部幾何性質(zhì)。大數(shù)據(jù)灰度圖像、彩色圖像、深度圖像的信息量是巨大的，視頻數(shù)據(jù)會(huì)更大。巨大的數(shù)據(jù)量處理的相率仍然是一個(gè)重要的問題。1.6機(jī)器視覺的應(yīng)用機(jī)器視覺在很多領(lǐng)域已經(jīng)得到了廣發(fā)應(yīng)用，如工業(yè)自動(dòng)化生產(chǎn)線、視覺導(dǎo)航、光學(xué)字符識(shí)別、人機(jī)交互、醫(yī)學(xué)成像及虛擬現(xiàn)實(shí)等