項目二使用計算機視覺算法實現(xiàn)圖像識別嵌入式人工智能技術(shù)應(yīng)用項目引導(dǎo)案例計算機視覺（ComputerVision，CV）是一門研究如何讓計算機達到人類那樣“看”的學(xué)科。也就是用計算機來實現(xiàn)對客觀的三維世界的識別與理解，這種三維理解是指被觀察對象的形狀、尺寸、離開觀察點的距離、姿態(tài)、質(zhì)地、運動特征等的理解，更準確點說，它是利用攝像機和電腦代替人眼使得計算機擁有類似于人類的那種對目標進行分割、分類、識別、跟蹤、判別決策的功能。思考一下,大家見過哪些場合用到計算機視覺？項目引導(dǎo)案例基于人臉識別算法實現(xiàn)人臉檢測任務(wù)一職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一基于人臉識別算法實現(xiàn)人臉檢測了解人臉檢測算法原理；理解如何使用多線程的方式實現(xiàn)圖像采集和人臉檢測。掌握利用OpenCV實現(xiàn)圖像的采集；掌握調(diào)用算法接口，進行圖像識別。職業(yè)能力目標01知識目標技能目標職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一基于人臉識別算法實現(xiàn)人臉檢測

本實驗將實現(xiàn)用人臉檢測算法庫對USB攝像頭實時采集并顯示在jupyterlab的畫面進行人臉檢測并標注人臉框。任務(wù)描述任務(wù)要求使用人臉檢測算法對單張圖像進行人臉檢測；基于多線程使用人臉檢測算法對視頻流進行人臉檢測；標注人臉框并進行顯示。任務(wù)描述與要求02職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一基于人臉識別算法實現(xiàn)人臉檢測任務(wù)分析實現(xiàn)人臉檢測可能會涉及到哪些步驟？根據(jù)自己的了解說說人臉檢測原理？任務(wù)分析與計劃03任務(wù)計劃表項目名稱使用計算機視覺算法實現(xiàn)圖像識別任務(wù)名稱基于人臉識別算法實現(xiàn)人臉檢測計劃方式自主設(shè)計計劃要求請用8個計劃步驟來完整描述出如何完成本次任務(wù)序號任務(wù)計劃1

2

3

4

5

678

通過上面的思考，你是否對本任務(wù)要完成的工作有所了解？讓我們一起來制訂完成本次任務(wù)的實施計劃吧！任務(wù)分析與計劃03職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一基于人臉識別算法實現(xiàn)人臉檢測04知識儲備pywidgets2人臉檢測1人臉檢測04隨著電子商務(wù)等應(yīng)用的發(fā)展，人臉識別成為最有潛力的生物身份驗證手段，這種應(yīng)用背景要求自動人臉識別系統(tǒng)能夠?qū)σ话銏D象具有一定的識別能力，由此所面臨的一系列問題使得人臉檢測開始作為一個獨立的課題受到研究者的重視。人臉檢測04人臉檢測是人臉識別技術(shù)的第一個流程，這一步驟所獲取的精確度與速率可以直接影響到全部人臉識別技術(shù)的特性。除此之外，人臉檢測的使用也大大超越了人臉識別技術(shù)的范圍，在人臉表情識別系統(tǒng)軟件、根據(jù)內(nèi)容的查找、視頻會議系統(tǒng)、三維人臉實體模型等層面也是有至關(guān)重要的使用使用價值。人臉檢測04人臉檢測方法1.根據(jù)常識的方式：

關(guān)鍵利用先驗知識將人臉當(dāng)作人體器官特征的組成，依據(jù)雙眼、眼眉、嘴、鼻部等部位的特征及其彼此之間的幾何圖形位置關(guān)系來檢測人臉。人臉檢測04人臉檢測方法實際檢測方式：

依據(jù)常用先驗知識的不一樣，根據(jù)常識的人臉檢測方式包含：輪廊標準法、器官分布法、皮膚顏色紋路法、模板配對法等。(1)輪廊標準法(2)器官分布法(3)皮膚顏色紋路法(4)模板配對法人臉檢測04人臉檢測方法2.根據(jù)統(tǒng)計分析的方式：

將人臉檢測作為一個“二分類問題”。即應(yīng)用很多的人臉和非人臉樣版練習(xí)，結(jié)構(gòu)支持向量機，根據(jù)辨別圖象中全部很有可能地區(qū)歸屬于那種方式的辦法完成人臉的檢測，把人臉檢測問題轉(zhuǎn)換為統(tǒng)計分析計算機視覺問題。人臉檢測04人臉檢測方法實際檢測方式：

根據(jù)統(tǒng)計分析的人臉檢測方式包含：特征室內(nèi)空間法、概率模型法、svm算法法、Adaboost法、神經(jīng)網(wǎng)絡(luò)法等。(1)特征室內(nèi)空間法(2)概率模型法(3)適用向量法(4)AdaBoost法(5)神經(jīng)網(wǎng)絡(luò)法人臉檢測04

每個人都有一張臉，而且是一個人最重要的外貌特征。這種技術(shù)最熱門的應(yīng)用領(lǐng)域有三個方面：人臉檢測應(yīng)用場景人臉檢測041.身份認證與安全防護

在這個世界上，只要有門的地方幾乎都帶有一把鎖。當(dāng)然，在許多安全級別要求較高的區(qū)域，例如金融機構(gòu)、機關(guān)辦公大樓、運動場館、甚至重要設(shè)施的工地，都需要對大量的人員進行基于身份認證的門禁管理。手機、筆記本電腦等個人電子用品，在開機和使用中經(jīng)常要用到身份驗證功能。人臉檢測042.媒體與娛樂

人們的許多娛樂活動都是跟臉部有關(guān)的。最著名的娛樂節(jié)目之一就是川劇的變臉。在網(wǎng)絡(luò)虛擬世界里，通過人臉的變化，可以產(chǎn)生大量的娛樂節(jié)目和效果。手機、數(shù)碼相機等消費電子產(chǎn)品中，基于人臉的娛樂項目越來越豐富。QQ、MSN等即時通信工具以及虛擬化身網(wǎng)絡(luò)游戲也是人臉合成技術(shù)的廣闊市場。人臉檢測043.圖像搜索

傳統(tǒng)搜索引擎的圖像搜索其實還是文字搜索。基于人臉圖像識別技術(shù)的搜索引擎將會具有廣泛的應(yīng)用前景。2010年推出的百度識圖在經(jīng)歷兩年多的沉寂之后，開始向另一個方向探索。與之前的區(qū)別在于，如果用戶給出一張圖片，百度識圖會判斷里面是否出現(xiàn)人臉，如果有，百度識圖在相似圖片搜索之外，同時會全網(wǎng)尋找出現(xiàn)過的類似人像。人臉檢測04一方面是由于人臉內(nèi)在的變化所引起：（1）人臉具有相當(dāng)復(fù)雜的細節(jié)變化，不同的外貌如臉形、膚色等，不同的表情如眼、嘴的開與閉等。（2）人臉的遮擋，如眼鏡、頭發(fā)和頭部飾物以及其他外部物體等。人臉檢測難點人臉檢測04另外一方面由于外在條件變化所引起：（1）由于成像角度的不同造成人臉的多姿態(tài)，如平面內(nèi)旋轉(zhuǎn)、深度旋轉(zhuǎn)以及上下旋轉(zhuǎn)，其中深度旋轉(zhuǎn)影響較大。（2）光照的影響，如圖像中的亮度、對比度的變化和陰影等。（3）圖像的成像條件，如攝像設(shè)備的焦距、成像距離，圖像獲得的途徑等等。人臉檢測難點pywidgets04知識儲備人臉檢測2104pywidgetswidget是可以和用戶交互的控件，如文本輸入框，滑動條，按鈕等，從而在JupyterNotebook中構(gòu)建可交互的用戶界面。

ipywidgets包含了豐富的widget，這些widget既是后端的python對象，也是前端的網(wǎng)頁元素，他們可以相互發(fā)送和同步信息。ipywidgets04pywidgetsipywidgets里的Image模塊在Jupiter網(wǎng)頁開發(fā)時可以像opencv窗口一樣播放視頻、預(yù)覽圖像，甚至可以做一個在線播放器以查看遠程服務(wù)器里的視頻、圖像文件。04pywidgets使用pip安裝pipinstallipywidgets使用conda安裝condainstall-cconda-forgeipywidgetsipywidgets安裝用戶可以使用pip或conda安裝當(dāng)前版本的ipywidgets。04pywidgetswidgets.Text()：文本框，構(gòu)造函數(shù)沒有形參，常用事件.on_submit(callback)widgets.Button(**kwages)：按鈕，構(gòu)造函數(shù)的形參包括：description：顯示在按鈕上的文字tooltip：鼠標懸浮時顯示的提示文字icon：圖標（沒有成功使用過）disabled：bool值，是否禁止交互ipywidgets常用控件04pywidgetswidgets.Box()：容器，將其它控件組合在一起的控件，類似.Net中的Panel，在構(gòu)造時傳入一個其它控件的數(shù)組，沒有常用事件。除此外還有HBox()、VBox()等容器。widgets.Label(value:str)：普通文本標簽，通常與其它控件共同組合在Box中以顯示說明文本，在構(gòu)造時傳入實參value作為要顯示的文本，沒有常用事件。widgets.Label(value:str)：普通文本標簽，通常與其它控件共同組合在Box中以顯示說明文本，在構(gòu)造時傳入實參value作為要顯示的文本，沒有常用事件。ipywidgets常用控件04pywidgets

Widgets是多事的python對象，在瀏覽器中具有表示形式，通常作為滑塊，文本框等控件。

控件有什么用？可以使用小組件為筆記本構(gòu)建交互式GUI?？梢允褂眯〔考赑ython和JavaScript之間同步有狀態(tài)和無狀態(tài)信息。04pywidgets

JupyterWidgets主要是一個提供交互式控件的框架。該包還提供了一組基本的、輕量級的核心窗體控件，這些控件使用此框架。這些包含的控件包括文本區(qū)域、文本框、選擇和多選控件、復(fù)選框、滑塊、選項卡面板、網(wǎng)格布局等。

04pywidgets示例包括：基本表單控件，如滑塊、復(fù)選框、文本輸入容器控件，如選項卡、折疊面板、水平和垂直布局框、網(wǎng)格布局高級控件，如地圖、2D和3D可視化、數(shù)據(jù)網(wǎng)格等04pywidgetsJupyterWidgets框架有幾個組件：內(nèi)核中的一個包，用于為小部件提供接口。Python軟件包為IPython內(nèi)核提供了JupyterWidgets。其他內(nèi)核也可能提供JupyterWidgets支持。瀏覽器Jupyter前端的擴展，用于管理JupyterWidgets。安裝會自動安裝JupyterLab和JupyterNotebook（和軟件包）的擴展。JupyterWidgets項目還維護了一個普通的HTML界面，用于在網(wǎng)頁上嵌入JupyterWidgets，許多其他前端支持JupyterWidgets。職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)一基于人臉識別算法實現(xiàn)人臉檢測05任務(wù)實施利用opencv采集圖像1調(diào)用人臉識別算法接口2利用多線程方式實現(xiàn)視頻流的人臉檢測342打開攝像頭1引入相關(guān)的庫3設(shè)置攝像頭的分辨率寬高值從攝像頭獲取一幀圖片5顯示獲取的圖片利用opencv采集圖像05利用opencv采集圖像利用opencv采集圖像05importcv2importtimeimportipywidgetsaswidgets#jupyter畫圖庫fromIPython.displayimportdisplay#jupyter顯示庫fromlib.faceDetectimportNLFaceDetect1.引入相關(guān)的庫cap=cv2.VideoCapture(0)2.打開攝像頭使用cv2.VideoCapture(camera_id)方法來打開攝像頭,賦值給cap。參數(shù)1camera_id指的是默認打開第一個接入的攝像頭id，比如0。如果存在兩個攝像頭，id就是可選，0或者1代表的就是不同的兩個攝像頭。執(zhí)行如果沒有報錯，表示打開成功。利用opencv采集圖像05cap.set(cv2.CAP_PROP_FRAME_WIDTH,640)cap.set(cv2.CAP_PROP_FRAME_HEIGHT,480)3.設(shè)置攝像頭的分辨率寬高值使用cv2.set方法來設(shè)置攝像頭分辨率參數(shù)camera_width是攝像頭分辨率寬度，camera_height是攝像頭分辨率的高度.ret,image=cap.read()4.從攝像頭獲取一幀圖片返回值ret為狀態(tài)布爾值，是否獲取到圖片，True表示獲取成功，反之失敗，image為圖片數(shù)據(jù)，如果需要顯示視頻流，則需要循環(huán)讀取圖片。importipywidgetsaswidgets#jupyter畫圖庫fromIPython.displayimportdisplay#jupyter顯示庫imgbox=widgets.Image()#定義一個圖像盒子，用于裝載圖像數(shù)據(jù)display(imgbox)#將盒子顯示出來imgbox.value=cv2.imencode('.jpg',image)[1].tobytes()#把圖像按照jpg格式編碼cap.release()#釋放攝像頭5.顯示獲取的圖片利用jupyter的畫圖庫和顯示庫，來顯示獲取的圖片。05任務(wù)實施利用opencv采集圖像1調(diào)用人臉識別算法接口2利用多線程方式實現(xiàn)視頻流的人臉檢測342圖片加載與顯示1算法實例化與模型加載3調(diào)用人臉檢測主函數(shù)獲取人臉框信息顯示算法處理的圖像調(diào)用人臉識別算法接口05調(diào)用人臉識別算法接口調(diào)用人臉識別算法接口05fromlib.faceDetectimportNLFaceDetectimportcv21.算法實例化與模型加載（1）算法實例化該人臉算法庫是底層由C寫的算法庫，集成在核心開發(fā)板上，在經(jīng)過python的對接后，形成了一套python的接口庫，可以直接調(diào)用。libNamePath='/usr/local/lib/libNL_faceEnc.so'#指定庫文件路徑nlFaceDetect=NLFaceDetect(libNamePath)#實例化算法類（2）模型加載nlFaceDetect=NLFaceDetect(libNamePath)加載庫，以及指定函數(shù)參數(shù)類型和返回值類型，并初始化結(jié)構(gòu)體變量，libNamePath是固定庫文件路徑，執(zhí)行沒有報錯，表示實例化成功。調(diào)用人臉識別算法接口05image=cv2.imread("./exp/boy.jpg")ret1=nlFaceDetect.NL_FD_InitVarIn(image)2.圖片加載與顯示（1）加載圖片nlFaceDetect.NL_FD_InitVarIn(image)將采集到的圖片數(shù)據(jù)，加載到算法中(limg為圖片數(shù)據(jù))，返回0表示加載成功。importipywidgetsaswidgets#jupyter畫圖庫fromIPython.displayimportdisplay#jupyter顯示庫imgbox=widgets.Image()#定義一個圖像盒子，用于裝載圖像數(shù)據(jù)display(imgbox)#將盒子顯示出來imgbox.value=cv2.imencode('.jpg',image)[1].tobytes()#把圖像值轉(zhuǎn)成byte類型的值（2）顯示圖片打印原始的照片。調(diào)用人臉識別算法接口05face_num=nlFaceDetect.NL_FD_Process_C()#返回值是目標個數(shù)face_num=nlFaceDetect.djEDVarOut.num#取出人臉個數(shù)值3.調(diào)用人臉檢測主函數(shù)獲取人臉框信息人臉檢測主函數(shù)nlFaceDetect.NL_FD_Process_C()可以識別圖片中的人臉,并且返回人臉個數(shù)。foriinrange(face_num):outObject=nlFaceDetect.djEDVarOut.faceInfos[i].bboxprint("Totalface:",face_num,"ID:",i)#打印人臉個數(shù)

print('facebox:%0.2f,%0.2f,%0.2f,%0.2f'%(outObject.x1,outObject.y1,outObject.x2,outObject.y2))#打印人臉框的位置信息

print('Scores:%f'%outObject.score)#打印識別置信度

font=cv2.FONT_HERSHEY_SIMPLEX#定義字體

cv2.putText(image,str('Face'),(int(outObject.x1),int(outObject.y1)),font,0.8,(255,0,0),2)#在圖片上描繪文字

cv2.rectangle(image,(int(outObject.x1),int(outObject.y1)),(int(outObject.x2),int(outObject.y2)),(0,0,255),2)#在圖片上畫出人臉框取出人臉框位置信息。調(diào)用人臉識別算法接口05imgbox=widgets.Image()#定義一個圖像盒子，用于裝載圖像數(shù)據(jù)display(imgbox)#將盒子顯示出來imgbox.value=cv2.imencode('.jpg',image)[1].tobytes()#把圖像值轉(zhuǎn)成byte類型的值nlFaceDetect.NL_FD_Exit()#釋放算法內(nèi)存和模型4.顯示算法處理的圖像nlFaceDetect.NL_FD_InitVarIn(image)將采集到的圖片數(shù)據(jù)，加載到算法中(limg為圖片數(shù)據(jù))，返回0表示加載成功。05任務(wù)實施利用opencv采集圖像1調(diào)用人臉識別算法接口2利用多線程方式實現(xiàn)視頻流的人臉檢測342定義攝像頭采集線程1引入相關(guān)的庫3定義算法識別線程啟動與停止線程利用多線程方式實現(xiàn)視頻流的人臉檢測05利用多線程方式實現(xiàn)視頻流的人臉檢測利用多線程，使圖像采集和算法識別同時運行，從而實現(xiàn)視頻流的人臉檢測，并且可以避免一些因花時間太久，導(dǎo)致的視頻卡頓。利用多線程方式實現(xiàn)視頻流的人臉檢測05importtime#時間庫importcv2#引入opencv圖像處理庫importthreading#這是python的標準庫，線程庫importipywidgetsaswidgets#jupyter畫圖庫fromIPython.displayimportdisplay#jupyter顯示庫fromlib.faceDetectimportNLFaceDetect#人臉識別算法庫接口1.引入相關(guān)的庫threading線程庫多線程類似于同時執(zhí)行多個不同程序，多線程運行有如下優(yōu)點：使用線程可以把占據(jù)長時間的程序中的任務(wù)放到后臺去處理；用戶界面可以更加吸引人，比如用戶點擊了一個按鈕去觸發(fā)某些事件的處理，可以彈出一個進度條來顯示處理的進度；程序的運行速度可能加快；在一些等待的任務(wù)實現(xiàn)上如用戶輸入、文件讀寫和網(wǎng)絡(luò)收發(fā)數(shù)據(jù)等，線程就比較有用了。在這種情況下我們可以釋放一些珍貴的資源如內(nèi)存占用等等。每個獨立的線程有一個程序運行的入口、順序執(zhí)行序列和程序的出口。但是線程不能夠獨立執(zhí)行，必須依存在應(yīng)用程序中，由應(yīng)用程序提供多個線程執(zhí)行控制。利用多線程方式實現(xiàn)視頻流的人臉檢測05classCameraThread(threading.Thread):def__init__(self,camera_id,camera_width,camera_height):threading.Thread.__init__(self)self.working=Trueself.cap=cv2.VideoCapture(camera_id)#打開攝像頭

self.cap.set(cv2.CAP_PROP_FRAME_WIDTH,camera_width)#設(shè)置攝像頭分辨率寬度

self.cap.set(cv2.CAP_PROP_FRAME_HEIGHT,camera_height)#設(shè)置攝像頭分辨率高度

defrun(self):globalcamera_img#定義一個全局變量，用于存儲獲取的圖片，以便于算法可以直接調(diào)用

camera_img=Nonewhileself.working:ret,image=self.cap.read()#獲取新的一幀圖片

ifret:camera_img=imagedefstop(self):self.working=Falseself.cap.release()2.定義攝像頭采集線程結(jié)合上面的opencv采集圖像的內(nèi)容，利用多線程的方式串起來，形成一個可傳參，可調(diào)用的通用類。這里定義了一個全局變量camera_img，用作存儲獲取的圖片數(shù)據(jù)，以便于其他線程可以調(diào)用。init初始化函數(shù)實例化該線程的時候，會自動執(zhí)行初始化函數(shù)，在初始化函數(shù)里面，打開攝像頭，并設(shè)置分辨率。run函數(shù)該函數(shù)是在實例化后，執(zhí)行start啟動函數(shù)的時候，會自動執(zhí)行。在該函數(shù)里，實現(xiàn)了循環(huán)獲取圖像的內(nèi)容。利用多線程方式實現(xiàn)視頻流的人臉檢測053.定義算法識別線程結(jié)合調(diào)用算法接口的內(nèi)容和圖像顯示內(nèi)容，利用多線程的方式整合起來，循環(huán)識別，對攝像頭采集線程中獲取的每一幀圖片進行識別，并顯示，形成視頻流的畫面。init初始化函數(shù)實例化該線程的時候，會自動執(zhí)行初始化函數(shù)，在初始化函數(shù)里面，定義了顯示內(nèi)容，并實例化算法和加載模型。run函數(shù)該函數(shù)是在實例化后，執(zhí)行start啟動函數(shù)的時候，會自動執(zhí)行。在該函數(shù)是一個循環(huán)，實現(xiàn)了對采集的每一幀圖片進行算法識別，然后將結(jié)果繪畫在圖片上，并將處理后的圖片顯示出來。利用多線程方式實現(xiàn)視頻流的人臉檢測05camera_th=CameraThread(0,640,480)face_detect_th=FaceDetectThread()camera_th.start()face_detect_th.start()4.啟動和停止線程（1）啟動線程實例化兩個線程，并啟動這兩個線程，實現(xiàn)完整的人臉檢測功能，運行時加載模型比較久，