11.1特征提取及分類(lèi)概述

圖像特征提取與分析的目的是為了讓計(jì)算機(jī)具有認(rèn)識(shí)或者識(shí)別圖像的能力，即圖像識(shí)別。

圖像識(shí)別是根據(jù)一定的圖像特征進(jìn)行的，因而，這些特征的選擇便尤為重要，將會(huì)直接影響到圖像識(shí)別分類(lèi)器的設(shè)計(jì)、性能及識(shí)別結(jié)果的準(zhǔn)確性。

11.1特稱(chēng)提取與分類(lèi)概述（一）、模式識(shí)別系統(tǒng)的基本構(gòu)成模式識(shí)別處理流程（二）、目標(biāo)描述的概念

為便于識(shí)別，目標(biāo)描述符應(yīng)該具備如下重要的屬性：

1、當(dāng)兩個(gè)目標(biāo)具有相同的形狀時(shí)，它們一定具有相同的描述符。

2、當(dāng)同一目標(biāo)發(fā)生一定的旋轉(zhuǎn)或平移時(shí)，描述符不變，表明描述的是同一個(gè)物體。

3、描述符盡量具備的性質(zhì)，即它所描述的盡量包含一些該物體所特有的，區(qū)別于其他物體的獨(dú)一無(wú)二的特征。

11.1特稱(chēng)提取與分類(lèi)概述

11.1特稱(chēng)提取與分類(lèi)概述（三）、圖像特征的概念特征是某一類(lèi)對(duì)象區(qū)別于其他對(duì)象的相應(yīng)特點(diǎn)或特性，或是這些特點(diǎn)和特性的集合。特征是通過(guò)測(cè)量或處理能夠抽取的數(shù)據(jù)。對(duì)于圖像而言，每一幅圖像都具有能夠區(qū)別于其他類(lèi)圖像的自身特征，有些是可以直觀地感受到的自然特征，比如亮度。邊緣、紋理和色彩等等吧，有些則是需要通過(guò)變換或處理才能得到的，如矩、直方圖以及主成分等。

11.1特稱(chēng)提取與分類(lèi)概述（四）、特征選擇及分類(lèi)的概念

從一組特征中挑選出一些有效的特征以達(dá)到降低特征空間維數(shù)的目的，這個(gè)過(guò)程叫特征選擇。

評(píng)判的標(biāo)準(zhǔn)有以下4個(gè)方面：

1.可區(qū)別性

2.可靠性

3.獨(dú)立性

4.數(shù)量少

特征提取和選擇的總原則是：盡可能減少整個(gè)識(shí)別系統(tǒng)的處理時(shí)間和錯(cuò)誤識(shí)別率，當(dāng)兩者無(wú)法兼得時(shí)，需要做出相應(yīng)的平衡；或者縮小錯(cuò)誤識(shí)別的概率，以提高識(shí)別精度，但會(huì)增加系統(tǒng)運(yùn)行的時(shí)間；或者提高整個(gè)系統(tǒng)速度以適應(yīng)實(shí)時(shí)需要，但會(huì)增加錯(cuò)誤識(shí)別的概率。

11.1特稱(chēng)提取與分類(lèi)概述11.2常用的圖像特征提取方法

11.2.1低層次特征提取

（一）、灰度特征

灰度特征可以在圖像的某些特定的像素點(diǎn)上或者其鄰域內(nèi)測(cè)定，也可以在某個(gè)區(qū)域內(nèi)測(cè)定。

11.2.1低層次特征提取（二）、周長(zhǎng)和面積周長(zhǎng)與面積是描述圖像區(qū)域大小的最基本的特征，周長(zhǎng)與面積只與區(qū)域的邊緣有關(guān)，而與其內(nèi)部灰度值的變化沒(méi)有關(guān)系。計(jì)算區(qū)域周長(zhǎng)的方法：

(1)邊界點(diǎn)的面積之和。（2）當(dāng)鏈碼值為奇數(shù)時(shí)，其長(zhǎng)度記作，當(dāng)鏈碼值為偶數(shù)時(shí)，其長(zhǎng)度記作1。周長(zhǎng)P如下：

11.2.1低層次特征提取

常用的面積計(jì)算方法：

(1)一種是利用像素點(diǎn)數(shù)計(jì)算面積。(2)利用鏈碼計(jì)算面積。

11.2.1低層次特征提取設(shè)

則相應(yīng)邊緣包圍的面積

11.2.1低層次特征提取

(3)利用邊緣坐標(biāo)計(jì)算面積。

11.2.1低層次特征提?。ㄈ?、最小外接矩形——長(zhǎng)軸與短軸

11.2.1低層次特征提取

MER計(jì)算方法：將物體每次以左右的增量在范圍內(nèi)旋轉(zhuǎn)。每旋轉(zhuǎn)一次，記錄其坐標(biāo)系方向上的外接矩形邊緣點(diǎn)的最大和最小值，從而求出外接矩形的面積。11.2.2高層次特征提取（一）、鏈碼

利用一系列具有特定長(zhǎng)度和方向的相連直線(xiàn)段來(lái)表示目標(biāo)的邊界。

算法描述：

(1)給每一個(gè)線(xiàn)段一個(gè)方向編碼；

(2)有4鏈碼和8鏈碼兩種編碼方法；

(3)從起點(diǎn)開(kāi)始，沿邊界編碼，至起點(diǎn)被重新碰到，結(jié)束一個(gè)對(duì)象的編碼。11.2.2高層次特征提取4方向鏈碼8方向鏈碼11.2.2高層次特征提取

例：若設(shè)起始點(diǎn)的坐標(biāo)為，則分別用4方向和8方向鏈碼按逆時(shí)針順序表示圖11-4中網(wǎng)格圖像的區(qū)域邊界。則4方向鏈碼：111232323000；8方向鏈碼：2224556000；網(wǎng)格圖像11.2.2高層次特征提取

鏈碼表示的特點(diǎn)：

（1）只有邊界的起點(diǎn)需用絕對(duì)坐標(biāo)表示，其余點(diǎn)都可只用接續(xù)方向來(lái)代表偏移量；

（2）鏈碼表達(dá)可大大減少邊界表示所需的數(shù)據(jù)量。

采用鏈碼的方法存在的問(wèn)題：

（1）產(chǎn)生的碼串通常情況下會(huì)很長(zhǎng)；

（2）鏈碼發(fā)生與目標(biāo)整體形狀無(wú)關(guān)的較大變動(dòng)。11.2.2高層次特征提取疊加在數(shù)字化邊界線(xiàn)上的重取樣網(wǎng)格

重取樣的結(jié)果11.2.2高層次特征提取重取樣鏈碼表示

邊界的鏈碼取決于起始點(diǎn)。可以通過(guò)簡(jiǎn)單的過(guò)程實(shí)現(xiàn)關(guān)于起始點(diǎn)的歸一化11.2.2高層次特征提取起始點(diǎn)歸一化11.2.2高層次特征提取

原始鏈碼在邊界旋轉(zhuǎn)后發(fā)生變化，所以利用鏈碼的一階差分來(lái)重新構(gòu)造的序列就不會(huì)隨邊界的旋轉(zhuǎn)而變化。實(shí)現(xiàn)一階差分鏈碼：通過(guò)計(jì)算目標(biāo)元素與其逆時(shí)針?lè)较蛳噜徳氐臄?shù)字來(lái)得到。鏈碼旋轉(zhuǎn)歸一化的意義11.2.2高層次特征提取旋轉(zhuǎn)歸一化11.2.2高層次特征提?。ǘ?、傅立葉描繪子

假定物體的形狀是一條封閉的曲線(xiàn)，沿邊界曲線(xiàn)上的一個(gè)動(dòng)點(diǎn)p(l)的坐標(biāo)變化為x(l)+jy(l)是一個(gè)以形狀邊界周長(zhǎng)為周期的函數(shù)。反變換11.2.2高層次特征提取11.2.2高層次特征提取原圖K=64

p=4

p=61

p=6211.2.2高層次特征提?。ㄈ?、紋理譜像素點(diǎn)的紋理單元TU11.2.2高層次特征提取像素值的紋理模式歸一化的紋理譜11.3圖像特征分類(lèi)基礎(chǔ)11.3.1距離分類(lèi)器設(shè)計(jì)與應(yīng)用

距離是描述像素點(diǎn)之間關(guān)系的重要度量，也是特征分類(lèi)最簡(jiǎn)單的方法之一。常用的表示方法有歐式距離，市區(qū)街道距離，棋盤(pán)距離等。（一）、歐式距離（二）、市區(qū)街道距離11.3.1距離分類(lèi)器設(shè)計(jì)與應(yīng)用（三）、棋盤(pán)距離歐幾里德距離

市區(qū)街道距離

棋盤(pán)距離11.3.2神經(jīng)網(wǎng)絡(luò)方法（一）、BP神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

BP網(wǎng)絡(luò)是一種單向傳播的多層前向網(wǎng)絡(luò)，它具有三層或三層以上的神經(jīng)網(wǎng)絡(luò)，包括輸入層、中間層和輸出層。特點(diǎn)：

各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互全連接，同層內(nèi)神經(jīng)元之間無(wú)連接，各層神經(jīng)元之間無(wú)反饋連接，構(gòu)成具有層次結(jié)構(gòu)的前饋型神經(jīng)網(wǎng)絡(luò)系統(tǒng)。11.3.2神經(jīng)網(wǎng)絡(luò)方法BP神經(jīng)網(wǎng)絡(luò)的模型（二）、BP神經(jīng)網(wǎng)絡(luò)算法

BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)全稱(chēng)為基于誤差反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)。相比較于數(shù)字計(jì)算機(jī)，人工神經(jīng)網(wǎng)絡(luò)在構(gòu)成原理和功能特點(diǎn)等方面更加接近人腦，與計(jì)算機(jī)不同，它不是按給定的程序一步一步地執(zhí)行運(yùn)算，而是能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運(yùn)算、識(shí)別或過(guò)程控制。11.3.2神經(jīng)網(wǎng)絡(luò)方法11.3.2神經(jīng)網(wǎng)絡(luò)方法

(1)正向傳播過(guò)程

設(shè)網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)為N，隱含層節(jié)點(diǎn)數(shù)為L(zhǎng)，輸出層節(jié)點(diǎn)數(shù)為M。輸入向量為，其期望輸出向量為，實(shí)際輸出為①輸入層:第i個(gè)節(jié)點(diǎn)的輸入為：②隱含層:第j個(gè)節(jié)點(diǎn)的輸入：11.3.2神經(jīng)網(wǎng)絡(luò)方法③輸出層:第k個(gè)結(jié)點(diǎn)輸入：BP網(wǎng)絡(luò)的誤差函數(shù)11.3.2神經(jīng)網(wǎng)絡(luò)方法(2)權(quán)值修正過(guò)程輸出層與隱含層之間的權(quán)值的調(diào)整對(duì)于每一個(gè)的修正值11.3.2神經(jīng)網(wǎng)絡(luò)方法(3)權(quán)值的調(diào)整方式11.3.2神經(jīng)網(wǎng)絡(luò)方法11.3.2神經(jīng)網(wǎng)絡(luò)方法

BP網(wǎng)絡(luò)的實(shí)現(xiàn)分為兩個(gè)階段，即學(xué)習(xí)階段和識(shí)別階段。

學(xué)習(xí)階段，輸入要學(xué)習(xí)的樣本，按照網(wǎng)絡(luò)初始設(shè)定的權(quán)值以及傳輸函數(shù)進(jìn)行計(jì)算得出每一層神經(jīng)元的輸出。

識(shí)別階段，對(duì)給定的輸入根據(jù)訓(xùn)練完成的神經(jīng)網(wǎng)格進(jìn)行計(jì)算，從而得到識(shí)別結(jié)果。11.3.2神經(jīng)網(wǎng)絡(luò)方法11.3.2神經(jīng)網(wǎng)絡(luò)方法（三）、BP網(wǎng)絡(luò)的訓(xùn)練(1)將權(quán)值初始化為0-1之間的隨機(jī)值；(2)從樣本組中取出，輸入網(wǎng)絡(luò)，制定期望輸出；(3)計(jì)算隱含層輸出

和網(wǎng)絡(luò)實(shí)際輸出；(4)計(jì)算實(shí)輸出和期望輸出的誤差：際11.3.2神經(jīng)網(wǎng)絡(luò)方法隱含層誤差(5)調(diào)整權(quán)值

(6)返回第(2)步，用所有樣本反復(fù)訓(xùn)練網(wǎng)絡(luò)，多次迭代，只到權(quán)值達(dá)到穩(wěn)定。實(shí)際訓(xùn)練時(shí)，定義出反映實(shí)際輸出和期望誤差平方和的價(jià)值函數(shù)11.3.2神經(jīng)網(wǎng)絡(luò)方法收斂規(guī)則（四）、BP網(wǎng)絡(luò)參數(shù)選擇11.3.2神經(jīng)網(wǎng)絡(luò)方法（1）網(wǎng)絡(luò)層數(shù)

BP網(wǎng)絡(luò)可以包含不同的隱含層。在不限隱含層節(jié)點(diǎn)數(shù)的情況下，兩層的BP網(wǎng)絡(luò)就可以實(shí)現(xiàn)任意非線(xiàn)性映射，但BP網(wǎng)絡(luò)隱含層數(shù)目一般不超過(guò)兩層。

(2)輸入層節(jié)點(diǎn)個(gè)數(shù)

輸入層神經(jīng)元個(gè)數(shù)根據(jù)具體的字符所抽取的網(wǎng)格像素概率分布特征的維數(shù)來(lái)確定。11.3.2神經(jīng)網(wǎng)絡(luò)方法(3)輸出層節(jié)點(diǎn)個(gè)數(shù)輸出層神經(jīng)元個(gè)數(shù)：(4)隱含層節(jié)點(diǎn)個(gè)數(shù)對(duì)于用于模式識(shí)別/分類(lèi)的BP網(wǎng)絡(luò)11.3.2神經(jīng)網(wǎng)絡(luò)方法(5)傳輸函數(shù)BP網(wǎng)絡(luò)中的傳輸函數(shù)通常采用(Sigmoid)型函數(shù)

(6)訓(xùn)練方法及參數(shù)的選擇

BP網(wǎng)絡(luò)學(xué)習(xí)算法有多種：最速下降BP算法、動(dòng)量BP算法、學(xué)習(xí)率可變的BP算法、彈性BP算法、變梯度算法、擬牛頓算法等。11.3.3統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)識(shí)別方法SVM示意圖11.3.3統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)識(shí)別方法超平面集滿(mǎn)足表達(dá)式使分類(lèi)間隔

最大的分類(lèi)面就是最優(yōu)分類(lèi)超平面。歸一化表達(dá)式11.3.3統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)識(shí)別方法求解最佳問(wèn)題轉(zhuǎn)化為二次規(guī)劃問(wèn)題11.3.3統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)識(shí)別方法規(guī)劃問(wèn)題的對(duì)偶問(wèn)題，即最大目標(biāo)函數(shù)相應(yīng)的分類(lèi)決策函數(shù)

對(duì)于線(xiàn)性不可分的情況，一方面用直線(xiàn)對(duì)其劃分，另一方面通過(guò)事先確定的非線(xiàn)性映射將輸入向量x映射到一個(gè)高維的特征空間中去，然后在此高維空間中構(gòu)建最優(yōu)超平面。11.3.3統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)識(shí)別方法11.3.3統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)識(shí)別方法滿(mǎn)足Mercer條件的核函數(shù)，它就對(duì)應(yīng)某一空間變換的內(nèi)積二次規(guī)劃問(wèn)題的目標(biāo)函數(shù)11.4基于人臉圖像的性別分類(lèi)系統(tǒng)11.4.1基于Gabor濾波人眼定位算法

人眼定位的目的為了實(shí)現(xiàn)人臉圖像的歸一化校正?，F(xiàn)有人眼定位的方法主要有灰度投影、模板匹配、神經(jīng)網(wǎng)絡(luò)、活動(dòng)形狀模板(ASM)等方法。

（一）、Gabor濾波人眼定位算法的選擇依據(jù)

將一幅圖像分解為局部對(duì)稱(chēng)和反對(duì)稱(chēng)的基圖像表示。而且能夠較好地解決由于環(huán)境變化而引起的圖像變化問(wèn)題。該算法分為三個(gè)部分：Gabor變換，投影分析確定人眼區(qū)域的橫坐標(biāo)和縱坐標(biāo)。11.4.1基于Gabor濾波人眼定位算法（二）、人臉圖像的Gabor變換

Gabor濾波器的核函數(shù)11.4.1基于Gabor濾波人眼定位算法Gabor基的實(shí)部11.4.1基于Gabor濾波人眼定位算法Gabor基的模Gabor變換需要延拓圖像邊緣的過(guò)程11.4.1基于Gabor濾波人眼定位算法Gabor變換的實(shí)部圖11.4.1基于Gabor濾波人眼定位算法（三）投影分析11.4.1基于Gabor濾波人眼定位算法Gabor變換后的人臉圖像11.4.1基于Gabor濾波人眼定位算法Gabor變換的人臉圖像在水平和垂直方向的投影11.4.1基于Gabor濾波人眼定位算法人眼定位效果圖11.4.2增強(qiáng)型PCA-SIFT特征提?。ㄒ唬?、PCA-SIFT介紹首先利用SIFT檢測(cè)關(guān)鍵點(diǎn)，然后利用關(guān)鍵點(diǎn)的特征向量使用PCA計(jì)算投影矩陣，這樣將新圖像的SIFT特征向量與投影矩陣相乘就可以生成PCA-SIFT特征向量。

計(jì)算PCA-SIFT投影矩陣的步驟：首先選取有代表性的圖像，檢測(cè)到這些圖像的所有關(guān)鍵點(diǎn)之后，

(1)以每個(gè)關(guān)鍵點(diǎn)為中心選擇一個(gè)大小為41×41的像斑

(2)分別計(jì)算區(qū)域內(nèi)像素點(diǎn)（不包括邊緣點(diǎn)）的垂直，水平梯度，得到一個(gè)2×39×39=3042維的特征向量。(3)將關(guān)鍵點(diǎn)特征向量組成一個(gè)k×3042的矩陣A(4)使用PCA算法，得到一個(gè)n×3042的投影矩陣。11.4.2增強(qiáng)型PCA-SIFT特征提取

計(jì)算PCA-SIFT投影矩陣的步驟：首先選取有代表性的圖像，檢測(cè)到這些圖像的所有關(guān)鍵點(diǎn)之后，

(1)以每個(gè)關(guān)鍵點(diǎn)為中心選擇一個(gè)大小為41×41的像斑

(2)分別計(jì)算區(qū)域內(nèi)像素點(diǎn)（不包括邊緣點(diǎn)）的垂直，水平梯度，得到一個(gè)2×39×39=3042維的特征向量。

(3)將關(guān)鍵點(diǎn)特征向量組成一個(gè)k×3042的矩陣A(4)使用PCA算法，得到一個(gè)n×3042的投影矩陣。11.4.2增強(qiáng)型PCA-SIFT特征提取對(duì)輸入的圖像提取PCA-SIFT特征：

(1)確定關(guān)鍵點(diǎn)的方向。

(2)以關(guān)鍵點(diǎn)為中心提取一個(gè)的像斑，旋轉(zhuǎn)到它的主方向。

(3)形成一個(gè)大小為3042的矢量

(4)生成一個(gè)n維的PCA-SIFT描述子。（二）、增強(qiáng)型PCA-SIFT在訓(xùn)練階段分別挑選有代表性的男、女兩類(lèi)圖像集，分別采用上述的PCA-SIFT方法計(jì)算投影矩陣，則可以分別得到男性投影矩陣和女性投影矩陣。11.4.2增強(qiáng)型PCA-SIFT特征提取增強(qiáng)型PCA-SIFT算法的步驟：

(1)在訓(xùn)練階段，得到男性投影矩陣和女性投影矩陣；

(2)分別得到男女的一系列關(guān)鍵點(diǎn)的PCA-SIFT描述子矢量和男女的類(lèi)別特征中心；

(3)生成兩個(gè)大小均為n的PCA-SIFT描述子;

(4)采用關(guān)鍵點(diǎn)特征向量和男女聚類(lèi)中心的歐式距離作為關(guān)鍵點(diǎn)的相似性判定標(biāo)準(zhǔn)。采用下式來(lái)比較這幅圖像的所有關(guān)鍵點(diǎn)與聚類(lèi)中心和的距離：11.4.2增強(qiáng)型PCA-SIFT特征提取

(5)如果r<1，采用通過(guò)男性投影矩陣得到的PCA-SIFT特征向量。否則，采用通過(guò)女性投影矩陣得到的PCA-SIFT特征向量。11.4.2增強(qiáng)型PCA-SIFT特征提取11.4.3基于LVQ增強(qiáng)型FSVM人臉?lè)诸?lèi)（一）、FSVM原理

首先對(duì)樣本進(jìn)行模糊化，訓(xùn)練集就變成了模糊訓(xùn)練集。

設(shè)輸入一個(gè)帶隸屬度標(biāo)記的訓(xùn)練樣本集S。隸屬度函數(shù)曲線(xiàn)11.4.3基于LVQ增強(qiáng)型FSVM人臉?lè)诸?lèi)模糊支持向量機(jī)（FSVM）的約束最優(yōu)化問(wèn)題支持向量11.4.3基于LVQ增強(qiáng)型FSVM人臉?lè)诸?lèi)計(jì)算閾值最優(yōu)分類(lèi)函數(shù)

C越大罰越大，對(duì)錯(cuò)分樣本的約束程度就越大，得到分類(lèi)面的間隔就越小。隨著C的降低，支持向量機(jī)忽略更多的樣本，得到較大邊緣間隔的分類(lèi)面。11.4.3基于LVQ增強(qiáng)型FSVM人臉?lè)诸?lèi)（二）、模糊思想在人臉識(shí)別中的應(yīng)用在模糊支持向量機(jī)中使用模糊隸屬度，可以控制相應(yīng)的訓(xùn)練變量的分類(lèi)誤判率。

將模糊的思想應(yīng)用到人臉圖像的識(shí)別上，對(duì)于某一人臉圖像，給其賦予隸屬度用來(lái)代表其屬于男性或者女性的程度，可以降低參數(shù)的影響，從而降低識(shí)別的錯(cuò)誤率。（三）、模糊隸屬度函數(shù)的構(gòu)造

隸屬度函數(shù)構(gòu)造方法主要是基于樣本到類(lèi)中心之間的距離來(lái)度量其隸屬度的大小，有統(tǒng)計(jì)法、經(jīng)驗(yàn)法等。11.4.3基于LVQ增強(qiáng)型FSVM人臉?lè)诸?lèi)確定隸屬度大小的基本原則是依據(jù)樣本所在類(lèi)中的相對(duì)重要性，或?qū)λ陬?lèi)的貢獻(xiàn)大小。（四）、基于LVQ的模糊隸屬度函數(shù)構(gòu)造方法

LVQ算法的實(shí)質(zhì)是以訓(xùn)練樣本的特征為依據(jù)，不斷進(jìn)行“獎(jiǎng)—懲”過(guò)程的迭代學(xué)習(xí)算法?；贚VQ的模糊隸屬度函數(shù)定義11.4.3基于LVQ增強(qiáng)型FSVM人臉?lè)诸?lèi)（五）、基于增強(qiáng)型PCA-SIFT的隸屬度構(gòu)造方法計(jì)算距離的比值模糊隸屬度構(gòu)造函數(shù)可定義11.4.4人臉性別識(shí)別系統(tǒng)設(shè)計(jì)人臉圖像輸入頁(yè)面11.4.4人臉性別識(shí)別系統(tǒng)設(shè)計(jì)人臉圖像性別識(shí)別結(jié)果示例11.5基于步態(tài)的性別分類(lèi)研究11.5.1IRIP步態(tài)數(shù)據(jù)庫(kù)介紹（一）、步態(tài)數(shù)據(jù)庫(kù)采集設(shè)備

8臺(tái)三星攝像機(jī)用于采集步態(tài)的視頻數(shù)據(jù)，1臺(tái)高清晰索尼視頻會(huì)議攝像機(jī)用于采集人臉的圖像數(shù)據(jù)。（二）、步態(tài)數(shù)據(jù)采集環(huán)境布局步態(tài)數(shù)據(jù)采集環(huán)境布局示意圖11.5.1IRIP步態(tài)數(shù)據(jù)庫(kù)介紹步態(tài)數(shù)據(jù)真實(shí)采集布景11.5.1IRIP步態(tài)數(shù)據(jù)庫(kù)介紹（三）、步態(tài)數(shù)據(jù)正常狀態(tài)下的步態(tài)視頻圖像11.5.2步態(tài)數(shù)據(jù)庫(kù)預(yù)處理——ViBe算法步態(tài)分割

ViBe(VisualBackgroundExtractor)算法就是視覺(jué)背景提取算法，該算法具有較高的實(shí)時(shí)性和魯棒性，它適用于各種視頻流、多種不同的場(chǎng)景、不同顏色的空間以及易發(fā)生變化的場(chǎng)景。

ViBe算法的主要內(nèi)容包括四部分：像素點(diǎn)背景建模、背景模型初始化、前景檢測(cè)和模型更新、異常情況處理模塊。11.5.2步態(tài)數(shù)據(jù)庫(kù)預(yù)處理——ViBe算法步態(tài)分割（一）、像素點(diǎn)背景建模為每個(gè)像素點(diǎn)建立的包括N個(gè)樣本的背景模型表示為ViBe的背景模型11.5.2步態(tài)數(shù)據(jù)庫(kù)預(yù)處理——ViBe算法步態(tài)分割（二）、背景模型初始化像素點(diǎn)的8鄰域分布11.5.2步態(tài)數(shù)據(jù)庫(kù)預(yù)處理——ViBe算法步態(tài)分割（三）、前景檢測(cè)為了給像素點(diǎn)分類(lèi)，將其與背景模型M(x)的相似度進(jìn)行比較，如果相似，則將其分類(lèi)為背景，否則將其分類(lèi)為前景。（四）、背景模型更新假設(shè)更新概率為φ，那么在某像素被判定為背景后，更新該像素點(diǎn)的ViBe模型且其鄰域模型的概率為1/φ，從模型里隨機(jī)的抽取一個(gè)樣本，并把該像素的灰度值與該樣本替換。11.5.2步態(tài)數(shù)據(jù)庫(kù)預(yù)處理——ViBe算法步態(tài)分割然后更新該像素點(diǎn)的鄰域的ViBe模型，隨后從該像素8鄰域里隨機(jī)的抽取一個(gè)像素，再將該像素點(diǎn)的灰度值與隨機(jī)抽取的鄰域像素值替換，最后更新選定的鄰域像素值的ViBe模型。（五）、異常情況處理模塊

當(dāng)某位置的像素點(diǎn)被連續(xù)地判定為前景點(diǎn)的次數(shù)超過(guò)預(yù)先設(shè)定的閾值時(shí)，則把該位置直接判定為背景。11.5.2步態(tài)數(shù)據(jù)庫(kù)預(yù)處理——ViBe算法步態(tài)分割利用ViBe算法提取出前景后的正常狀態(tài)步態(tài)二值圖像11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)

在特征提取之前：

1.要對(duì)預(yù)處理過(guò)的步態(tài)數(shù)據(jù)庫(kù)進(jìn)行歸一化，得到統(tǒng)一重心的二值圖像；

2.進(jìn)行步態(tài)周期檢測(cè)，得到一個(gè)周期的步態(tài)數(shù)據(jù)；

3.通過(guò)GPCI算法分別在時(shí)間和空間上得到步態(tài)特征；

4.進(jìn)行時(shí)間和空間特征矩陣的融合；

5.基于K最近鄰結(jié)點(diǎn)算法分類(lèi)器進(jìn)行性別分類(lèi)。11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)（一）、步態(tài)圖像的歸一化歸一化前歸一化后11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)8個(gè)角度歸一化后的步態(tài)圖像11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)（二）、基于像素?cái)?shù)目的步態(tài)周期檢測(cè)

步態(tài)周期可以通過(guò)計(jì)算輪廓序列中隨著時(shí)間變化的每一幀前景像素的數(shù)量來(lái)提取。11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)（三）、基于局部線(xiàn)性嵌入算法（LLE）的步態(tài)周期檢測(cè)

局部線(xiàn)性嵌入算法（LLE）是一種將高維圖像序列映射到低維的非線(xiàn)性降維法。11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)

LLE算法一共包括三部分:(1)尋找每個(gè)樣本數(shù)據(jù)點(diǎn)

的k個(gè)最鄰近點(diǎn)；

(2)根據(jù)下式通過(guò)解決最小二乘法問(wèn)題來(lái)計(jì)算局部的重建權(quán)值的矩陣

；11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)(3)根據(jù)下式計(jì)算最好的低維輸出向量Y歸一化后的LLE系數(shù)自相關(guān)序列（四）、GPCI特征提取11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)

步態(tài)主成份圖像（GPCI）是一種灰度級(jí)圖像，它是通過(guò)放大個(gè)人身體不同部位的動(dòng)態(tài)變化來(lái)壓縮步態(tài)所呈現(xiàn)出的時(shí)空信息。GPCI將步態(tài)看作是一系列輪廓幀，它可以描述單獨(dú)的圖像一個(gè)步態(tài)周期內(nèi)的分類(lèi)信息。11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)一個(gè)周期內(nèi)的時(shí)間和空間的步態(tài)序列圖像11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)（五）、基于時(shí)間的GPCI特征提取11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)基于時(shí)間的GPCI實(shí)例11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)（六）、基于空間的GPCI特征提取基于空間的GPCI實(shí)例11.5.3基于時(shí)間和空間GPCI特征融合的性別分類(lèi)（七）、時(shí)間和空間特征矩陣融合特征融合流程圖11.5.4基于步態(tài)的分類(lèi)實(shí)驗(yàn)

把步態(tài)序列分為兩部分：訓(xùn)練集序列（gallery）和測(cè)試集序列（probe）。利用留一法來(lái)劃分測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)。分別針對(duì)基于時(shí)間的GPCI特征、基于空間的GPCI特征以及融合時(shí)間和空間的特征矩陣三種情況進(jìn)行性別分類(lèi)實(shí)驗(yàn)。11.5.4基于步態(tài)的分類(lèi)實(shí)驗(yàn)實(shí)驗(yàn)一基于GPCI特征的性別識(shí)別流程11.5.4基于步態(tài)的分類(lèi)實(shí)驗(yàn)角度

_1

_2正確率89.4791.2389.4794.7492.9891.2391.2387.72

實(shí)驗(yàn)二實(shí)驗(yàn)三幀數(shù)123456789~1011~18正確率94.7496.4996.4996.4998.2596.4994.7498.2596.4998.25角度

_1

_2正確率96.4998.2596.4998.2598.2598.2596.4992.9811.6手背靜脈身份識(shí)別系統(tǒng)手背識(shí)別系統(tǒng)的總體框架11.6.1手背靜脈圖像預(yù)處理預(yù)處理包括以下七部分：噪聲抑制、圖像增強(qiáng)、圖像歸一化、ROI提取、靜脈紋理分割。（一）、圖像噪聲抑制

為了抑制白噪聲和椒鹽噪聲并考慮到對(duì)處理速度的要求，系統(tǒng)采用中值濾波算法來(lái)完成去噪。11.6.1手背靜脈圖像預(yù)處理中值濾波效果圖原始圖像11.6.1手背靜脈圖像預(yù)處理（二）、靜脈圖像矯正

二維幾何變換發(fā)生在二維平面中，包括線(xiàn)性位移、成角度旋轉(zhuǎn)、大小放縮、投影等。線(xiàn)性位移即平移代表圖像中各個(gè)像素與原始位置之間是線(xiàn)性移動(dòng)。11.6.1手背靜脈圖像預(yù)處理

旋轉(zhuǎn)和平移的結(jié)合是二維平面中的剛體運(yùn)動(dòng)形成的，也稱(chēng)為二維歐氏變換

放縮變換也稱(chēng)為相似變換，變換前后向量間所成的夾角保持不變。11.6.1手背靜脈圖像預(yù)處理

由于手腕根部靜脈信息幾乎沒(méi)有，所以可以利用剪切矯正法快速處理失真圖像矯正后的圖像原始圖像11.6.1手背靜脈圖像預(yù)處理（三）、ROI提取

ROI(RegionofInterest)，即圖像中剔除背景、邊緣后需要處理的區(qū)域，ROI提取的好壞直接影響到系統(tǒng)的魯棒性以及最終的識(shí)別結(jié)果。11.6.1手背靜脈圖像預(yù)處理

方法一：質(zhì)心法

(1)計(jì)算二值圖像質(zhì)心11.6.1手背靜脈圖像預(yù)處理

(2)以質(zhì)心P為基準(zhǔn)點(diǎn)，自適應(yīng)選擇ROI

從左邊開(kāi)始，按順時(shí)針?lè)较?，依次判斷目?biāo)矩形的四邊是否與黑區(qū)有交點(diǎn)，若沒(méi)有則與該邊對(duì)應(yīng)的增長(zhǎng)向量元素加1，若有交點(diǎn)，則該方向停止增長(zhǎng)。如此循環(huán)，直至四條邊都停止增長(zhǎng)，可得最終內(nèi)含矩形，質(zhì)心提取的部分質(zhì)心計(jì)算和提取中心區(qū)域示意11.6.1手背靜脈圖像預(yù)處理（四）、

圖像增強(qiáng)為了提高模式分割的準(zhǔn)確率，需要在預(yù)處理靜脈圖像上進(jìn)一步通過(guò)圖像增強(qiáng)加強(qiáng)對(duì)比度，并進(jìn)一步濾除脈絡(luò)中無(wú)關(guān)緊要的細(xì)小部分。

CLAHE方法保持在全局使用相同的灰度級(jí)，但是在局部直方圖中使用不同的幅值。通過(guò)CLAHE處理，不僅增強(qiáng)了對(duì)比度，而且保持了所有清晰的血管脈絡(luò)。11.6.1手背靜脈圖像預(yù)處理CLAHE增強(qiáng)原始圖像11.6.1手背靜脈圖像預(yù)處理（五）、手背靜脈的圖像的歸一化歸一化后的圖像原始圖像11.6.2手背靜脈圖像的分割算法（一）、改進(jìn)Niblack方法計(jì)算鄰域中的均值和方差來(lái)確定局部閾值通過(guò)去除均值在方差中的部分，來(lái)均衡不均勻的背景11.6.2手背靜脈圖像的分割算法（二）、邊界特性方法掃描該圖像，尋找諸如下式的模式

正的部分為血管部分，取值為1；負(fù)的部分為背景部分，取值為0。11.6.2手背靜脈圖像的分割算法（三）、梯度增強(qiáng)的靜脈圖像分割方法

由Niblack算法，由于k是負(fù)值，令k為正值引入全局最大灰度方差R（一般令其為128），則為Sauvola算法11.6.2手背靜脈圖像的分割算法引入全局最大梯度G

通過(guò)k(x,y)的調(diào)節(jié)，可以抑制這種現(xiàn)象的發(fā)生，改善分割效果。11.6.2手背靜脈圖像的分割算法11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)（一）、靜脈SIFT特征提取

SIFT算法是將特征點(diǎn)檢測(cè)、特征向量生成和特征點(diǎn)匹配結(jié)合到一起進(jìn)行全局優(yōu)化，提高運(yùn)算效率。SIFT算法流程11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)(1)DoG空間的生成圖像I(x,y)的尺度空間由高斯核函數(shù)和圖像卷積生成

在高斯尺度空間中，每?jī)蓚€(gè)相鄰的的圖像做減法便得到高斯差分圖像，稱(chēng)為DoG11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)

DoG保留了各個(gè)尺度空間的圖像，在使用時(shí)無(wú)需再次生成該圖像；手背靜脈圖像的DoG圖像11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)

(2)極值點(diǎn)搜索

已知二維函數(shù)的泰勒展開(kāi)式11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)當(dāng)矢量的長(zhǎng)度為n時(shí)11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)令11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)

(3)刪除不穩(wěn)定點(diǎn)

對(duì)于公式中的矢量x，當(dāng)極值點(diǎn)位置x不在同一位置時(shí)，如果比偏移量x大0.5時(shí)，意味著插值中心已經(jīng)不在，這樣的點(diǎn)就要被去除；當(dāng)時(shí)，這樣的極值點(diǎn)不穩(wěn)定，也需要去除。

用Hessian矩陣可以求出像素點(diǎn)的主曲率11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)設(shè)特征值最大值與最小值之比為n刪除冗余SIFT特征點(diǎn)前后靜脈圖像11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)（二）、靜脈SIFT特征匹配用余弦?jiàn)A角作為匹配規(guī)則如果滿(mǎn)足條件，就認(rèn)為這兩個(gè)特征向量匹配成功11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)

(4)特征方向分配

為了使靜脈圖像的特征點(diǎn)對(duì)旋轉(zhuǎn)有很好的魯棒性，需要使用鄰域內(nèi)像素點(diǎn)的梯度來(lái)實(shí)現(xiàn)對(duì)該特征點(diǎn)的方向描述。11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)

(5)特征描述向量

主方向確定以后，特征點(diǎn)像素周?chē)徲虬凑罩鞣较驃A角旋轉(zhuǎn)相同角度。將該鄰域分割成為8×8的小塊，每一塊由4×4像素構(gòu)成，每一小塊內(nèi)分別計(jì)算梯度，統(tǒng)計(jì)16個(gè)方向范圍內(nèi)的梯度方向直方圖，這樣每個(gè)小塊便構(gòu)成一個(gè)種子像素。由于統(tǒng)計(jì)16個(gè)方向的梯度信息，所以SIFT特征點(diǎn)的描述子為8×8×16維向量。11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)原始匹配圖和基于最近距離的多對(duì)一匹配挑選11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)水平方向誤匹配檢測(cè)11.6.3基于SIFT的多模版分類(lèi)器設(shè)計(jì)豎直重排豎直方向誤匹配結(jié)果

11.6.4基于局部二值模式的手背靜脈特征提?。ㄒ唬⒒镜腖BP算子LBP算法

11.