第3章人工智能領(lǐng)域應(yīng)用3.1計(jì)算機(jī)視覺(jué)教學(xué)設(shè)計(jì)教學(xué)背景信息科技是現(xiàn)代科學(xué)技術(shù)領(lǐng)域的重要部分，主要研究以數(shù)字形式表達(dá)的信息及其應(yīng)用中的科學(xué)原理、思維方法、處理過(guò)程和工程實(shí)現(xiàn)。當(dāng)代高速發(fā)展的信息科技對(duì)全球經(jīng)濟(jì)、社會(huì)和文化發(fā)展起著越來(lái)越重要的作用。義務(wù)教育信息科技課程具有基礎(chǔ)性、實(shí)踐性和綜合性，為高中階段信息技術(shù)課程的學(xué)習(xí)奠定基礎(chǔ)。信息科技課程旨在培養(yǎng)科學(xué)精神和科技倫理，提升自主可控意識(shí)，培育社會(huì)主義核心價(jià)值觀，樹(shù)立總體國(guó)家安全觀，提升數(shù)字素養(yǎng)與技能。教材分析本節(jié)課的教學(xué)內(nèi)容選自人教/地圖出版社選擇性必修4人工智能初步第3章人工智能領(lǐng)域應(yīng)用3.1計(jì)算機(jī)視覺(jué)。人工智能的發(fā)展是以各種算法為基礎(chǔ)的，而飛速發(fā)展的大數(shù)據(jù)和云計(jì)算使人工智能的算法在多個(gè)領(lǐng)域發(fā)揮了重要的作用，也改變著我們的生活。里有語(yǔ)音助理、智能搜索、人臉識(shí)別，汽車(chē)能自動(dòng)駕駛......不知不覺(jué)中，生活中的常用設(shè)備變得越來(lái)越智能。人工智能并不是讓機(jī)器模擬人的形態(tài)和人的行為，而是讓機(jī)器對(duì)人的思維意識(shí)和處理信息的過(guò)程進(jìn)行模擬，像人一樣處理事情。這一目標(biāo)是以計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、機(jī)器理解與推理、博弈決策與智能機(jī)器人等基礎(chǔ)技術(shù)的研究為基礎(chǔ)來(lái)實(shí)現(xiàn)的。在本章的學(xué)習(xí)中，我們將借助各領(lǐng)域現(xiàn)有的人工智能開(kāi)發(fā)工具與平臺(tái)，以“智能陪伴巧實(shí)踐”為主題，開(kāi)展項(xiàng)目活動(dòng)，定制智能陪伴機(jī)器人，掌握簡(jiǎn)單人工智能應(yīng)用模塊的搭建方法，體驗(yàn)人工智能應(yīng)用的實(shí)現(xiàn)過(guò)程。教學(xué)目標(biāo)1.理解計(jì)算機(jī)視覺(jué)對(duì)人工智能的意義。2.掌握計(jì)算機(jī)視覺(jué)的核心原理及技術(shù)。3.通過(guò)典型案例體驗(yàn)計(jì)算機(jī)視覺(jué)在不同領(lǐng)域的應(yīng)用。教學(xué)重點(diǎn)與難點(diǎn)教學(xué)重點(diǎn):掌握計(jì)算機(jī)視覺(jué)的核心原理及技術(shù)。教學(xué)難點(diǎn):初通過(guò)典型案例體驗(yàn)計(jì)算機(jī)視覺(jué)在不同領(lǐng)域的應(yīng)用。教學(xué)方法與教學(xué)手段案例分析法、講授法、任務(wù)驅(qū)動(dòng)法。教學(xué)過(guò)程問(wèn)題導(dǎo)入體驗(yàn)探索“牽掛你”防走失平臺(tái)小孩天生活潑好動(dòng)，在成長(zhǎng)的過(guò)程中如果有孩子走失，會(huì)給家庭和社會(huì)帶來(lái)巨大的傷痛。早些年，無(wú)論是走失孩子的家人還是警察，都只能完全依靠人力摸排式的搜尋，需要耗費(fèi)大量的人力、物力、財(cái)力，不少走失孩子在尋找多年后也沒(méi)有結(jié)果。2017年3月，我國(guó)科研人員開(kāi)發(fā)的“牽掛你”防走失平臺(tái)（圖3.1.1）（參見(jiàn)教材P85）正式上線。該平臺(tái)利用人臉識(shí)別技術(shù)，用戶在平臺(tái)上傳走失或者疑似走失人員照片，與圖庫(kù)信息進(jìn)行比對(duì)，為幫助尋找走失人員節(jié)省了大量的時(shí)間。該平臺(tái)在上線短短兩年的時(shí)間里，已累計(jì)幫助找回走失人員千余人。隨著人臉識(shí)別技術(shù)的深入研究和不斷發(fā)展，將為我們的生活提供更多的服務(wù)和便利。思考：1.計(jì)算機(jī)是如何從圖像中檢測(cè)出人臉的？2.日常生活中還有哪些人臉識(shí)別的應(yīng)用場(chǎng)景？計(jì)算機(jī)視覺(jué)簡(jiǎn)介人類(lèi)大腦皮層大約70%的活動(dòng)是在處理與視覺(jué)相關(guān)的信息，因而人類(lèi)可以很容易地感知和理解周?chē)氖澜?。比如，通過(guò)面部表情猜測(cè)對(duì)方的情感狀態(tài)，僅通過(guò)步態(tài)或者背影就能快速識(shí)別出這個(gè)人是誰(shuí)。但是，人類(lèi)視覺(jué)系統(tǒng)是如何工作的，這個(gè)問(wèn)題至今也沒(méi)有得到很好的解答。人工智能的計(jì)算機(jī)視覺(jué)就像人的“眼睛”一樣，它通過(guò)電子化的方式來(lái)感知和理解周?chē)h(huán)境。換句話說(shuō)，計(jì)算機(jī)視覺(jué)就是利用成像設(shè)備對(duì)目標(biāo)進(jìn)行識(shí)別、跟蹤和測(cè)量，并對(duì)圖像作進(jìn)一步處理，使圖像更適合人眼觀察或儀器檢測(cè)，建立能夠從圖像或者多維數(shù)據(jù)中獲取“信息”的人工智能系統(tǒng)。思考活動(dòng)人類(lèi)視覺(jué)與計(jì)算機(jī)視覺(jué)如果有人突然朝你扔一個(gè)球，你會(huì)作何反應(yīng)？當(dāng)然會(huì)馬上接住或者躲避，這對(duì)人來(lái)說(shuō)是很正常的應(yīng)激反應(yīng)。人做出這種反應(yīng)，是受視覺(jué)系統(tǒng)和大腦神經(jīng)系統(tǒng)的支配。首先，球的圖像呈現(xiàn)在人的視網(wǎng)膜上，人的視覺(jué)系統(tǒng)會(huì)辨識(shí)出此物體的屬性、位置、運(yùn)行軌跡及速度，然后大腦神經(jīng)系統(tǒng)會(huì)判斷接下來(lái)要做出的動(dòng)作——接住或者躲避，并下達(dá)對(duì)應(yīng)的行動(dòng)指令。整個(gè)過(guò)程幾乎在0.1s內(nèi)就完成了。對(duì)于計(jì)算機(jī)而言，僅僅識(shí)別出靜態(tài)圖像中的全部物體就已經(jīng)很困難了，而分析圖像中物體之間的關(guān)聯(lián)以及潛在的邏輯關(guān)系，又是另一個(gè)更高層次的智能問(wèn)題。思考：1.查閱相關(guān)資料，試從神經(jīng)生物學(xué)角度，了解人類(lèi)視覺(jué)系統(tǒng)是如何工作的，人類(lèi)是如何從零開(kāi)始，一步一步從認(rèn)識(shí)周?chē)奈矬w到認(rèn)識(shí)世界的。2.人類(lèi)視覺(jué)和計(jì)算機(jī)視覺(jué)有什么異同？人類(lèi)視覺(jué)系統(tǒng)對(duì)計(jì)算機(jī)視覺(jué)的工作機(jī)理有什么啟示?計(jì)算機(jī)視覺(jué)的發(fā)展歷程1966年，麻省理工學(xué)院馬文·明斯基教授突發(fā)奇想，給學(xué)生布置了一個(gè)課題作業(yè)：計(jì)算機(jī)能否像人類(lèi)一樣讀取圖像？此問(wèn)題對(duì)計(jì)算機(jī)視覺(jué)的誕生和發(fā)展起到了重要的推動(dòng)作用。隨后的幾十年，計(jì)算機(jī)視覺(jué)技術(shù)不斷發(fā)展，相繼出現(xiàn)的主要理論和技術(shù)如表3.1.1所示。表3.1.1計(jì)算機(jī)視覺(jué)主要理論和技術(shù)的發(fā)展階段時(shí)間階段計(jì)算機(jī)視覺(jué)的主要理論和技術(shù)20世紀(jì)70年代馬爾視覺(jué)計(jì)算理論20世紀(jì)80年代主動(dòng)視覺(jué)理論和定性視覺(jué)理論20世紀(jì)90年代統(tǒng)計(jì)分析方法、局部特征描述算子21世紀(jì)模式識(shí)別、機(jī)器學(xué)習(xí)、現(xiàn)代數(shù)據(jù)集、深度學(xué)習(xí)20世紀(jì)70年代1972年，英國(guó)人大衛(wèi)·馬爾教授提出了信息處理系統(tǒng)概念的三個(gè)層次：計(jì)算理論層次、表達(dá)和算法層次、硬件實(shí)現(xiàn)層次，并提出人類(lèi)視覺(jué)的重構(gòu)過(guò)程是可以通過(guò)計(jì)算的方式來(lái)完成的。他將視覺(jué)計(jì)算過(guò)程分為三個(gè)階段：初始簡(jiǎn)圖、2.5維簡(jiǎn)圖和三維模型，如圖3.1.2（參見(jiàn)教材P87）所示。直到今天，馬爾的視覺(jué)計(jì)算理論依舊是視覺(jué)領(lǐng)域表達(dá)和解決問(wèn)題的正確向?qū)А?0世紀(jì)80年代視覺(jué)計(jì)算理論提出后，計(jì)算機(jī)視覺(jué)進(jìn)入蓬勃發(fā)展期。20世紀(jì)80年代提出的主動(dòng)視覺(jué)理論和定性視覺(jué)理論認(rèn)為，視覺(jué)的過(guò)程是主動(dòng)的、有目的性和選擇性的。20世紀(jì)90年代這一時(shí)期的研究重點(diǎn)關(guān)注于定量分析圖像和場(chǎng)景的更為復(fù)雜的數(shù)學(xué)方法。機(jī)器學(xué)習(xí)成為計(jì)算機(jī)視覺(jué)中不可或缺的工具，各種檢測(cè)和識(shí)別算法迎來(lái)了較大發(fā)展。描述圖像特征的算子也越來(lái)越豐富，其中局部特征描述算子（如尺度不變特征變換算子SIFT）開(kāi)始流行。21世紀(jì)模式識(shí)別在文字識(shí)別和語(yǔ)音識(shí)別等方面有廣泛的應(yīng)用，是人工智能的基礎(chǔ)技術(shù)之一；隨著計(jì)算機(jī)處理和存儲(chǔ)能力的大幅度提升，機(jī)器學(xué)習(xí)已經(jīng)在視覺(jué)領(lǐng)域廣泛應(yīng)用；現(xiàn)代數(shù)據(jù)集的快速發(fā)展也促進(jìn)了學(xué)習(xí)算法的發(fā)展；深度學(xué)習(xí)算法特別是卷積神經(jīng)網(wǎng)絡(luò)在圖像處理、目標(biāo)識(shí)別過(guò)程中已能夠取得非常好的效果。計(jì)算機(jī)視覺(jué)的主要研究領(lǐng)域圖像理解與人類(lèi)通過(guò)視覺(jué)理解外部世界一樣，圖像理解是通過(guò)計(jì)算機(jī)系統(tǒng)來(lái)感知并理解圖像的。根據(jù)理解的抽象程度可將圖像理解分為三個(gè)層次：淺層理解、中層理解和高層理解。淺層理解：計(jì)算機(jī)把圖像像素點(diǎn)抽象為邊緣、角點(diǎn)和紋理等基本元素。中層理解：在淺層理解的基礎(chǔ)上抽象理解物體邊界、輪廓和區(qū)域等。高層理解：主要包括圖像分類(lèi)、目標(biāo)檢測(cè)、目標(biāo)識(shí)別和圖像文字說(shuō)明等。計(jì)算機(jī)視覺(jué)工作的基礎(chǔ)是對(duì)單張圖像的識(shí)別和理解。動(dòng)態(tài)視覺(jué)除理解單張圖像外，計(jì)算機(jī)視覺(jué)也關(guān)注分析視頻或圖像序列中的內(nèi)容，尋找圖像元素在時(shí)序上的對(duì)應(yīng)關(guān)系，提取上下文語(yǔ)義信息。動(dòng)態(tài)視覺(jué)研究被廣泛應(yīng)用于目標(biāo)跟蹤、視頻分析和人機(jī)交互等。三維視覺(jué)三維視覺(jué)即研究如何通過(guò)視覺(jué)獲取三維信息（三維重建）以及三維信息理解的科學(xué)。三維信息理解，即使用三維信息輔助圖像理解或者直接理解。三維視覺(jué)技術(shù)可以廣泛應(yīng)用于機(jī)器人、無(wú)人駕駛、智慧工廠、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和場(chǎng)景建模等方向的研究。技術(shù)支持常用圖像數(shù)據(jù)庫(kù)MNIST手寫(xiě)數(shù)字圖像庫(kù)：共有約7萬(wàn)張圖片，每張大小為28×28像素，包含10類(lèi)從數(shù)字0~9的手寫(xiě)字符圖像。CIFAR10圖像庫(kù)：包含10類(lèi)圖像，每類(lèi)有6000張圖片，每張大小為32×32像素。CIFAR100圖像庫(kù)：包含100類(lèi)圖像，每類(lèi)有600張圖片。Tiny圖像庫(kù)：CIFAR10以及CIFAR100都是從該庫(kù)中篩選出來(lái)的，該庫(kù)中有8000萬(wàn)張圖片。Caltech101和Caltech256：分別有101類(lèi)和256類(lèi)圖像，多用于圖像分類(lèi)。FDDB：有2854張圖片，5171張人臉圖片，均拍攝于自然場(chǎng)景。LFW：無(wú)約束自然場(chǎng)景人臉識(shí)別數(shù)據(jù)集，有5000多人的1.3萬(wàn)多張人臉圖片。JAFFE表情數(shù)據(jù)庫(kù)：共有213張圖片，涉及10個(gè)人，每人有7種表情，每種表情有三四張樣圖。7種表情分別為悲傷、高興、憤怒、厭惡、驚訝、恐懼和平靜。CK以及CK+表情識(shí)別圖像庫(kù)：CK中有97個(gè)被測(cè)試者的表情，只有靜態(tài)圖片；CK+中有123個(gè)被測(cè)試者的593個(gè)圖像序列，包括靜態(tài)圖片和視頻，其中有327個(gè)序列做了表情標(biāo)記。GENKI4K笑臉數(shù)據(jù)庫(kù)：共有4000張人臉圖片，分為“笑”和“不笑”兩種，每張圖片中的人臉尺度大小不一、姿態(tài)不同、光照不同，并且頭部轉(zhuǎn)動(dòng)角度也有差別。計(jì)算機(jī)視覺(jué)的應(yīng)用我們從表情識(shí)別入手，開(kāi)始實(shí)現(xiàn)智能陪伴機(jī)器人的人機(jī)交互功能。表情識(shí)別基本過(guò)程為：首先通過(guò)采集的圖像檢測(cè)到圖像中的人臉，定位人臉區(qū)域；然后提取表情關(guān)鍵特征點(diǎn)；接著利用表情分類(lèi)器進(jìn)行表情識(shí)別；最后輸出識(shí)別結(jié)果。智能機(jī)器人可以根據(jù)表情識(shí)別結(jié)果作出陪伴決策。表情識(shí)別的基本流程如圖3.1.3（參見(jiàn)教材P89）所示。人臉檢測(cè)與定位按照?qǐng)D3.1.3（參見(jiàn)教材P89）所示的流程，要實(shí)現(xiàn)表情識(shí)別，第一個(gè)關(guān)鍵任務(wù)是檢測(cè)到圖像中的人臉并定位人臉區(qū)域。以圖3.1.4（參見(jiàn)教材P89）所示的圖像為例，智能陪伴機(jī)器人要檢測(cè)出圖像中的人臉，通常要實(shí)施以下三個(gè)步驟：1.選擇圖像中的某個(gè)矩形區(qū)域，例如圖3.1.5（參見(jiàn)教材P89）中左上方矩形區(qū)域；2.在選定區(qū)域窗口內(nèi)，提取特征；3.根據(jù)特征描述，判斷區(qū)域窗口內(nèi)是否恰好是人臉。將待測(cè)矩形區(qū)域窗口從圖像的左上方開(kāi)始向右下方滑動(dòng)。如果窗口中檢測(cè)到人臉，則給出人臉區(qū)域的矩形范圍，如圖3.1.5（參見(jiàn)教材P89）所示的綠色矩形框，然后繼續(xù)遍歷圖像的剩余區(qū)域；如果遍歷完圖像的全部區(qū)域后，所有窗口均不含人臉，則判斷所給圖像不包含人臉。人臉檢測(cè)與定位流程如圖3.1.6（參見(jiàn)教材P90）所示，其中重要的環(huán)節(jié)是特征提取和分類(lèi)器。哈爾特征基于哈爾特征（HaarLikeFeatures）的算法是人臉檢測(cè)的經(jīng)典算法。哈爾特征描述了相鄰圖像區(qū)域的對(duì)比模式，有三種基本類(lèi)型：兩矩形特征（包括兩類(lèi)）、三矩形特征和四矩形特征，如圖3.1.7（參見(jiàn)教材P90）所示。圖3.1.7（e）和圖3.1.7（f）均顯示了人臉中的哈爾特征，前者對(duì)暗的水平區(qū)域首先響應(yīng)的是人眼部分，后者對(duì)相對(duì)亮的豎直區(qū)域響應(yīng)的是鼻梁部分。分類(lèi)器使用哈爾特征檢測(cè)圖像，需要遍歷所有可行的區(qū)域，其中把左上起點(diǎn)和右下終點(diǎn)作為矩形特征的起始點(diǎn)和結(jié)束點(diǎn)，來(lái)獲得圖像的矩形特征（圖3.1.7）（參見(jiàn)教材P90）。因此，由一幅圖像獲得的哈爾特征的數(shù)據(jù)量是巨大的?？墒褂梅诸?lèi)算法從上述哈爾特征中選取最能夠區(qū)分人臉區(qū)域和非人臉區(qū)域的特征，并按照區(qū)分準(zhǔn)確性進(jìn)行加權(quán)，得到一個(gè)人臉區(qū)域與非人臉區(qū)域的分類(lèi)器，完成人臉檢測(cè)。OpenCV是一個(gè)用于圖像處理、分析和機(jī)器視覺(jué)等方面的開(kāi)源函數(shù)庫(kù)，是完全免費(fèi)的，因此無(wú)論是科學(xué)研究還是商業(yè)應(yīng)用，OpenCV都可以作為理想的工具庫(kù)。該庫(kù)用C和C++語(yǔ)言編寫(xiě)，支持其他語(yǔ)言接口，可以在Windows、Linux和MacOSX等操作系統(tǒng)中運(yùn)行。OpenCV包含了工業(yè)產(chǎn)品檢測(cè)、醫(yī)學(xué)圖像處理、安防、用戶界面、攝像頭標(biāo)定、三維成像和機(jī)器視覺(jué)等領(lǐng)域的超過(guò)500個(gè)接口函數(shù)，所有代碼都已經(jīng)過(guò)優(yōu)化，計(jì)算效率較高。OpenCV開(kāi)源庫(kù)中有可以直接調(diào)用的用于人臉檢測(cè)的函數(shù)包，使用哈爾特征分類(lèi)器haarcascade_frontalface_alt.xml和多尺度檢測(cè)人臉?biāo)惴ê瘮?shù)detectMultiScale()即可檢測(cè)圖像中的人臉。表情識(shí)別按照?qǐng)D3.1.3（參見(jiàn)教材P89）所示的流程，在檢測(cè)及定位人臉區(qū)域后，就可以檢測(cè)人臉輪廓的關(guān)鍵特征點(diǎn)了，然后利用關(guān)鍵特征點(diǎn)訓(xùn)練分類(lèi)器來(lái)識(shí)別表情。表情識(shí)別可以定義為多分類(lèi)問(wèn)題，將人類(lèi)表情分為7種模式：憤怒、厭惡、恐懼、高興、悲傷、驚訝和平靜。圖3.1.11（參見(jiàn)教材P94）展示了除“平靜”外其他表情模式的人臉關(guān)鍵特征點(diǎn)，利用關(guān)鍵特征點(diǎn)進(jìn)行訓(xùn)練，使用訓(xùn)練好的分類(lèi)器將待測(cè)表情進(jìn)行分類(lèi)。Keras是由Python編程語(yǔ)言編寫(xiě)而成的深度學(xué)習(xí)庫(kù)，后端基于TensorFlow、Theano以及CNTK（開(kāi)源深度學(xué)習(xí)工具包）。Keras提供簡(jiǎn)單一致的API，可以滿足一般應(yīng)用情況的調(diào)用，還提供了清晰的、具有實(shí)踐意義的糾錯(cuò)反饋。Keras具有高度模塊化的特點(diǎn)，高層神經(jīng)網(wǎng)絡(luò)中的網(wǎng)絡(luò)層、損失函數(shù)、優(yōu)化器、初始化策略、激活函數(shù)和正則化方法等都是獨(dú)立的模塊，用它們可以很方便地構(gòu)建神經(jīng)網(wǎng)絡(luò)模型。Keras具有很好的擴(kuò)展性，添加新模塊非常容易，只需要仿照現(xiàn)有的模塊編寫(xiě)新的類(lèi)或者函數(shù)即可。利用Keras庫(kù)可以很方便地搭建神經(jīng)網(wǎng)絡(luò)，如利用Keras序貫?zāi)Ｐ停◤念^到尾的線性結(jié)構(gòu)順序，不發(fā)生分叉）添加卷積層、池化層和全連接層，可構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型。利用該網(wǎng)絡(luò)模型以及標(biāo)注好的圖像庫(kù)，可以訓(xùn)練表情識(shí)別分類(lèi)器，調(diào)用分類(lèi)器即可完成表情識(shí)別。表情識(shí)別的結(jié)果如圖3.1.12（參見(jiàn)教材P96）所示，圖中顯示“happy”，表示識(shí)別出的表情為“高興”。項(xiàng)目實(shí)施搭建智能陪伴機(jī)器人的物體識(shí)別模塊一、項(xiàng)目活動(dòng)1.任選一個(gè)人工智能開(kāi)放平臺(tái)的“圖像識(shí)別”模塊，調(diào)用開(kāi)