摘要 手勢(shì)是人與人之間一種非常重要的交流方式，在人機(jī)交互的研究中也有非 常大的實(shí)用性。隨著計(jì)算機(jī)技術(shù)的發(fā)展，以及人與計(jì)算機(jī)之間的交互的多樣化， 手勢(shì)識(shí)別技術(shù)涉及圖像處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)等領(lǐng)域的一個(gè)交叉學(xué)科， 加之手勢(shì)的多樣性、多義性，以及時(shí)問(wèn)和空間上的差異性等特點(diǎn)，因此手勢(shì)識(shí) 別自然成為一個(gè)極具吸引力的研究課題。手勢(shì)識(shí)別的過(guò)程可分為手勢(shì)建模、手 部數(shù)據(jù)的獲取、手部數(shù)據(jù)預(yù)處理、手部特征的提取、手部特征的識(shí)別五個(gè)階段。 本文研究的是靜態(tài)手勢(shì)識(shí)別，主要通過(guò)對(duì)目標(biāo)手勢(shì)進(jìn)行建模分析得到可能有效 的特征參數(shù)，然后分析基于輪廓圖像的特征參數(shù)的提取方法，最后通過(guò)基于模 版匹配的手勢(shì)識(shí)別算法對(duì)提取到的特征參數(shù)進(jìn)行實(shí)驗(yàn)，比較它們有效性。 首先，本文對(duì)基于三維模型的手勢(shì)建模和基于表現(xiàn)的手勢(shì)建模進(jìn)行比較分 析，針對(duì)本文研究的待識(shí)別目標(biāo)樣本設(shè)計(jì)了一種基于表現(xiàn)的手勢(shì)模型人手 部t o r t o i s e 模型，它的優(yōu)點(diǎn)是將手指和手掌區(qū)分開來(lái)，能夠很好的描述手部的基 本特征，便于分析特征參數(shù)。通過(guò)對(duì)人手部t o r t o i s e 模型的分析，得到若干個(gè)可 能有效的特征參數(shù)，具體包括手勢(shì)中伸出的手指的個(gè)數(shù)、手部輪廓的缺陷個(gè)數(shù) 和手勢(shì)輪廓的面積與周長(zhǎng)的比值。另外，圖像的不變矩特征作為圖像識(shí)別中的 重要參數(shù)，本研究中也分析計(jì)算了7 個(gè)h u 矩不變量作為特征參數(shù)。 本文預(yù)處理部分重點(diǎn)比較了一般自適應(yīng)閾值分割方法和基于大津法的閾值 分割方法對(duì)手勢(shì)分割的效果，實(shí)驗(yàn)證明利用基于大津法的閾值分割方法進(jìn)行手 勢(shì)分割效果比一般自適應(yīng)閾值分割方法好。 本文特征參數(shù)提取部分通過(guò)對(duì)人手部t o r t o i s e 模型的分析，研究出計(jì)算手掌 輪廓、手掌半徑、手掌重心、缺陷個(gè)數(shù)、手指?jìng)€(gè)數(shù)和輪廓面積與周長(zhǎng)的比值的 方法，尤其是通過(guò)凸多邊形驗(yàn)證等四個(gè)規(guī)則求手掌輪廓的方法，以及基于手掌 輪廓的手指?jìng)€(gè)數(shù)的計(jì)算法方法。另外，本文研究h u 不變量，實(shí)現(xiàn)了基于輪廓圖 像的h u 矩不變量的計(jì)算，得到7 個(gè)h u 矩不變量。 最后，本文對(duì)十個(gè)特征參數(shù)的計(jì)算結(jié)果進(jìn)行詳細(xì)分析，將所有特征參數(shù)分 為三組，為了比較三組特征參數(shù)的有效性，設(shè)計(jì)了一套基于模版匹配的手勢(shì)識(shí) 別系統(tǒng)，實(shí)驗(yàn)結(jié)果表明提取的十個(gè)特征參數(shù)用于手勢(shì)識(shí)別是有效的。 關(guān)鍵字：手勢(shì)識(shí)別，特征提取，識(shí)別算法，不變矩，手勢(shì)建模 a b s t r a c t t h eg e s t u r ei sav e r yi m p o r t a n tm e a n so fc o m m u n i c a t i o n b e t w e e np e o p i em m e 咖d vo fh 啪鋤c o m p u t e r i n t e r a c t i o ni sa l s ov e r yl a r g ep r a c t i c a l w i m t h e d i v e r s i f i c a t i o no ft h ei n t e r a c t i o nb e t w e e nt h ed e v e l o p m e n t o fc o m p u t e rt e c h n o l o g y , c o m p u t e r g e s t u r er e c o g n i t i o nt e c h n o l o g yi n v o l v e s 鋤i n t e r d i s c i p l i n a r yf i e l d o fi m a g e p r o c e s s i n g ，p a t e mr e c o g n i t i o n ，c o m p u t e r v i s i o n ，c o u p l e dw i t ht h e d i v e r s i t yo f g e s t u r e s ，m u l t ia m b i g u i t y , a n dt i m ea n dt h es p a t i a l v a r i a b i l i t yo fc h a r a c t e n s t l c s ， g e s n 鵬r e c o g n i t i o nw i l ln a t u r a l l y b e c o m ea l la t t r a c t i v er e s e a r c ht o p i c t h eg e s t u r e r e c o g n i t i o np r o c e s sc a nb ed i v i d e d i n t o i d e n t i f yt h ef i v es t a g e so ft h eh a n dd a t a g e s t u r em o d e l i n g ，h a n dd a t aa c q u i s i t i o n , p r e p r o c e s s i n g ，f e a t u r ee x t r a c t i o no f h a n d ， h a i l dc h 鼬c t e r i s t i c s i nt h i sp a p e r , t h es t a t i cg e s t u r er e e o g n i f l o p , m a i n l y t h r o u g h m o d e l i n ga n a l y s i sm a yb ee f f e c t i v e i nt h ec h a r a c t e r i s t i cp a r a m e t e r so ft h et a r 卿 g c s t u r e ，a n dt h e na n a l y s i s b a s e d0 1 1t h eo u t l i n eo ft h ei m a g e 觸t u r cp 撒m e 做 e x 缸粥t i o nm e 1 0 d ，a n df m a l l yb y t h eg e s t u r er e c o g n i t i o na l g o r i t h mb a s e do nt e m p l a t e m 糾曲i n gt 0 刪t h e c h a r a e t e d s t i c st h ep a r a m e t e r so ft h ee x p e r i m e n t , m p 鋤8 0 n o ft h e i rv a l i d i t y f 樅y t h ec o m p a r a t i v ea n a l y s i s o ft h r e e - d i m e n s i o n a l m o d e lo fm c g c s 眥船e dm o d e l i n g a n d p e r f o r m a n c e b a s e d g e s t u r em o d e l i n g ，蘆l d l n g i d e n t i f i c a t i o no ft h et a r g e ts a m p l e f o r t h i s s t u d yd e s i g n t h e g e s t u r e o fa p e r f 0 咖鋤c e j b 嬲e dm o d e l s t a f f i n gt h ed e p a r t m e n to ft o r t o i s em o d e l ，i t h a st h e a d v a n t a g ef i n g e l sa n dt h ep a l mt od i s t i n g u i s hag o o dd e s c r i p t i o no f t h eb a s l cf e 礬鵬s o ft h eh a n d ，t 0f a c i l i t a ：t ct h ea n a l y s i so fc h a r a c t e r i s t i cp a r a m e t e r s t o r t o i m o d e i s t a f f i n gd e p a r t m e n tt og e ta n u m b e ro fp o t e n t i a l l ye f f e c t i v ec h a r a c t e r i s t l cp 啪m e t e r s ， i n e l u d i n gt i l en 哪b e ro ff i n g e r so u t s t r e t c h e di nt h eg e s t u r e ，t h er a t i oo f t h en u m b e ro f d e f i e c t so fh a n dc o n t o u ra n dg e s t u r ec o n t o u r a r e aa n dp e r i m e t e r i na d d i t i o n ，t h e1 m a g e o ft h em o m e t a ti n v a r i a n tf e a t u r e sa si m a g er e c o g n i t i o no f t h ei m p o r t a n tp a r a m e t e ：r sl n t h i ss t u d ya n a l y s i so fs e v e nh um o m e n ti n v a r i a n t sa sc h a r a c t e r i s t i cp a r 鋤e t e 娼 t h ef o c u so ft h i sa r t i c l ep r e t r e a t m e n tp a r to fg e n e r a la d a p t i v et h r e s h o l d i n g m e t h o d 鋤dt h eg e s t u r es e g m e n t a t i o ns e g m e n t a t i o nm e t h o db a s e do no t s u st h r e s h o l d e f f - e c t t h ee x p e r i m e n t ss h o wt h a tt h eu s eo fg e s t u r es e g m e n t a t i o nm e t h o d b a s e do n n o t s ut h r e s h o l d s e g m e n t a t i o n t h a nt h e g e n e r a la d a p t i v et h r e s h o l ds e g m e n t a t i o n m e t h o d ih i sa r t i c l ef e a t u r ep a r a m e t e re x t r a c t i o np a r tb yt h e m i n i s t r yt o r t o i s es t a f f i n g m o d e la n a l y s i st ow o r ko u tt h eo u t l i n eo fc a l c u l a t i o no ft h ep a l mo f y o u rh a n d ，t h e r a d i u so ft h ep a l mo fy o u rh a n d ，p a l mc e n t e ro f g r a v i t y , t h er a t i oo ft h ed e f e c t si nt h e n u m b e ro ff i n g e r st h en u m b e ra n dp r o f i l ea r e aa n d p e r i m e t e r , e s p e c i a l l yt h r o u g ht h e c o n v e xp o l y g o nv e r i f i c a t i o nf o u rr u l e s s e e kt h ep a l mo fy o u rh a n dc o n t o u ra n d c o n t o u rb a s e do nt h e p a l mo fy o u rh a n d ，f i n g e r st h en u m b e ro ft h ec a l c u l a t i o n m e t h o d i na d d i t i o n ，t h i ss t u d yh ui n v a r i a n t s ，t oa c h i e v ea t a l c u l a t i o nb a s e do n 他 o u t l i n ei m a g eo fh um o m e n t s i n v a r i a n t s ，s e v e nh un 1 咖e n t si n v a r i a n t s f i n a l l y , ad e t a i l e da n a l y s i so ft h ec a l c u l a t i o nr e s u l t so ft h e10f b a t u r ep a r a m e t e r s ， a l lt h ec h a r a c t e r i s t i cp a r a m e t e r sa r ed i v i d e di n t ot h r e e g r o u p s ，t h r e eg r o u p sw e r e c o m p a r e dt h ee f f e c t i v e n e s so ft h ec h a r a c t e r i s t i cp a r a m e t e r s ，t h ed e s i g no fag e s t u r e r e c o g n i t i o ns y s t e mb 嬲e do nt e m p l a t em a t c h i n g ，e x p e r i m e n t a lr e s u l t ss h o wt h a t e x t r a c t i o nt e nc h a r a c t e r i s t i cp a r a m e t e r sf o rg e s t u r er e c o g n i t i o n i sv a l i d k e y w o r d s ：g e s t u r er e c o g n i t i o n ，f e a t u r ee x t r a c t i o n ，r e c o g n i t i o na l g o r i t h m ，i n v a r i a n t m o m e n t s ，g e s t u r em o d e l i n g i l l 武漢理jl ：人學(xué)碩七學(xué)位論文 1 1 研究背景和意義 第1 章緒論 隨著信息時(shí)代的到來(lái)，計(jì)算機(jī)技術(shù)在現(xiàn)代社會(huì)中的影響在不斷的增大【l l 。隨 著人們使用計(jì)算機(jī)的水平的不斷提高，各行各業(yè)對(duì)于計(jì)算機(jī)的使用也不斷深入， 對(duì)于計(jì)算機(jī)的性能以及適用環(huán)境的要求也越來(lái)越高1 2 1 。信息技術(shù)的快速發(fā)展激發(fā) 了人們對(duì)人機(jī)交互更加擬人化、自然化的渴望。如何建立和諧自然的人機(jī)交互 環(huán)境，使用戶可方便地以人類所熟知的方式使用計(jì)算機(jī)是我們急需解決的難題。 傳統(tǒng)的人機(jī)交互方式由當(dāng)初的只有鍵盤輸入到目前的鼠標(biāo)、遙桿、無(wú)線輸入設(shè) 備等等都大大的便利了人們與計(jì)算機(jī)之間的交互【3 l ，使得人們能夠更方便的操作 計(jì)算機(jī)，從而能夠快速的完成一定的任務(wù)，然而這些交互方式既要依賴額外的 輸入設(shè)備，又不符合人們的交互習(xí)慣，因此并未能完全滿足人們與計(jì)算機(jī)交互 的需要1 4 j 。隨著計(jì)算機(jī)技術(shù)的進(jìn)步，特別是圖像處理和識(shí)別技術(shù)的進(jìn)步，人們的 目光不再局限于傳統(tǒng)輸入方式的改進(jìn)上，如何利用人自身的生物特征，讓人與 計(jì)算機(jī)直接進(jìn)行交互成為當(dāng)前人機(jī)交互的研究熱點(diǎn)。這種利用人的生物特征進(jìn) 行人機(jī)交互的領(lǐng)域統(tǒng)稱為生物識(shí)別【5 】。 目前，人體可以利用的特征主要包括人臉、指紋、掌紋、手勢(shì)、虹膜及步 姿步態(tài)等，而這些特征主要應(yīng)用于信息安全及身份識(shí)別等較窄的領(lǐng)域1 6 】。其中， 人手是人體最靈活的部位，可以表達(dá)豐富多變的含義，手語(yǔ)是人們?nèi)粘Ｉ钪?的第二語(yǔ)言1 丌。由此，想到將人的手勢(shì)作為人機(jī)交互的手段，相比其他人體特征 而言更為自然、直接、豐富瞪j 。另外，相對(duì)于傳統(tǒng)的人與人之間豐富多彩的交互 方式，人們與機(jī)器的交流往往沒(méi)有表情，沒(méi)有動(dòng)作，機(jī)械呆板不自然。因而， 使機(jī)器能夠感知人體語(yǔ)言，對(duì)于提高人機(jī)交互水平和加強(qiáng)人機(jī)接口的可實(shí)用性 具有不可估量的意義1 9 1 。而手勢(shì)具有很強(qiáng)的視覺(jué)沖擊和效果，它生動(dòng)、形象、直 觀，并且富含大量的交互信息，有著與口語(yǔ)、書面語(yǔ)言等自然語(yǔ)言相同的表達(dá) 能力，是人體語(yǔ)言的一個(gè)重要組成部分，因此它完全可以充當(dāng)人機(jī)自然交流的 手段，在人機(jī)交互領(lǐng)域中起到至關(guān)重要的作用i 1 0 1 。然而由于人手本身是一個(gè)復(fù) 雜的可變形體，而且手勢(shì)具有多樣性、多義性及不確定性l l ，因此這是一個(gè)極 富挑戰(zhàn)性的多學(xué)科交叉的研究課題，是近年來(lái)人機(jī)交互的研究熱點(diǎn)及難點(diǎn)。研 武漢理i ：人學(xué)碩十學(xué)位論文 究手勢(shì)識(shí)別對(duì)于改善人機(jī)交互的意義很大12 1 。 1 2 國(guó)內(nèi)外發(fā)展現(xiàn)狀 從上個(gè)世紀(jì)9 0 年代起，人們就開始了手勢(shì)識(shí)別的研究，手勢(shì)識(shí)別主要分 為兩個(gè)方面：基于數(shù)據(jù)手套的手勢(shì)識(shí)別和基于視覺(jué)的手勢(shì)識(shí)別【l3 1 ?；跀?shù)據(jù) 手套的手勢(shì)識(shí)別目前采用較多的神經(jīng)網(wǎng)絡(luò)等模式識(shí)別的方法，要求用戶戴上特 殊的傳感器手套，利用傳感器手套來(lái)跟蹤和標(biāo)記人手在空問(wèn)坐標(biāo)中運(yùn)動(dòng)的軌跡 和時(shí)序信息，通過(guò)一些信號(hào)處理手段達(dá)到人機(jī)交互的目的i l4 1 。這種方式的優(yōu)點(diǎn) 在于輸入的數(shù)據(jù)量少，識(shí)別率非常高，而且實(shí)時(shí)性很強(qiáng)；但它昂貴的設(shè)備，交互 動(dòng)作的不自然也成為了明顯的缺點(diǎn)【l 習(xí)。 基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別主要是利用攝像頭來(lái)獲取手勢(shì)圖像數(shù)據(jù)，通 過(guò)對(duì)圖像數(shù)據(jù)的處理及分析，包括圖像預(yù)處理、手勢(shì)分割、手勢(shì)建模、手勢(shì) 分析和特征提取，從而識(shí)別手勢(shì)的含義達(dá)到與計(jì)算機(jī)交互的目的【l6 1 。該方法 的最大優(yōu)點(diǎn)是交互方式自然簡(jiǎn)單，對(duì)設(shè)備要求也非常低，然而，它的識(shí)別率 相對(duì)比較低，實(shí)時(shí)性較差，在實(shí)時(shí)性要求比較高的場(chǎng)合這種方法還值得我們 研究1 1 7 l 。目前，國(guó)內(nèi)外主要研究基于傳感器手套的手勢(shì)識(shí)別，而且取得非常 可喜的成績(jī)，然而隨著信息技術(shù)尤其的模式識(shí)別技術(shù)的提高，越來(lái)越多的研 究者把目光投向基于視覺(jué)的手勢(shì)識(shí)別上來(lái)了 1 8 1 。以下簡(jiǎn)單介紹了在基于傳感 器手套和計(jì)算機(jī)視覺(jué)兩個(gè)方面比較重大的研究成果。 在利用傳感器手套等典型傳感設(shè)備的方法中，臺(tái)灣大學(xué)的l i a n g 等人利用 單個(gè)v p l d a t a g l o v e s ( 美國(guó)加州v p l 公司研發(fā)的數(shù)據(jù)手套) 作為手語(yǔ)輸入設(shè) 備，可識(shí)別臺(tái)灣手語(yǔ)課本中的2 5 0 個(gè)基本詞條，識(shí)別率為9 0 5 1 2 們，c m u 的 c h r i s t o p h e rl e e 和x u 在l9 9 5 年完成了一個(gè)操縱機(jī)器人的手勢(shì)控制系統(tǒng)1 2 1 1 ； m w k a d o u s 用p o w e rg l o v e s ( 超能手套) 作為手語(yǔ)輸入設(shè)備，識(shí)別由9 5 個(gè)孤立詞構(gòu)成的詞匯集，正確率為8 0 1 2 2 1 。 在基于視覺(jué)的方法方面，具有代表性的研究成果包括：1 9 9 1 年富士通實(shí) 驗(yàn)室完成了對(duì)4 6 個(gè)手語(yǔ)符號(hào)的識(shí)別工作【2 3 1 ；j d a v i s 和m s h a h 將戴上指尖具 有高亮標(biāo)記的視覺(jué)手套的手勢(shì)作為系統(tǒng)的輸入，可識(shí)別7 種手勢(shì)【2 4 】；s t a r n e r 等在對(duì)美國(guó)手語(yǔ)中帶有詞性的4 0 個(gè)詞匯隨機(jī)組成的短句子識(shí)別率達(dá)到 9 9 2 1 2 5 1 ；k g r o b e l 和m a s s a m 從視頻錄像中提取特征，采用h m m ( 隱馬爾 科夫模型) 技術(shù)識(shí)別2 6 2 個(gè)孤立詞，正確率為9 1 3 1 2 6 1 。 2 武漢理一i ：人學(xué)碩十學(xué)位論文 1 3 研究的難點(diǎn) 目前，然手勢(shì)識(shí)別系統(tǒng)的研究已取得很大的進(jìn)展，并且在不同的領(lǐng)域有著 較高的識(shí)別率，但是手勢(shì)識(shí)別還是存在著一些難點(diǎn)帶我們?nèi)ソ鉀Q。 在不同的應(yīng)用環(huán)境下，手勢(shì)往往含有多種含義，具有多種表示方式，在時(shí) 問(wèn)和空間上也具有較大的差異性，這些特點(diǎn)決定了手勢(shì)識(shí)別研究任務(wù)的艱巨性， 另外，由于人手是復(fù)雜變形體具有柔軟性以及計(jì)算機(jī)視覺(jué)的不適應(yīng)，增加了手 勢(shì)識(shí)別技術(shù)研究難度，這就要求我們?cè)诓煌瑧?yīng)用環(huán)境下分析各種手勢(shì)的幾何特 征，選取正確的特征向量才行1 2 7 1 。本文以普通表示數(shù)字o 到9 的手勢(shì)作為研究 的樣本。在進(jìn)行手勢(shì)分割時(shí)，由于客觀環(huán)境的影響，如光照強(qiáng)度和角度的變化、 手勢(shì)動(dòng)作的旋轉(zhuǎn)和平移、手勢(shì)背景的復(fù)雜性( 例如類膚色的事物存在于背景中) 等因素的存在使得手勢(shì)區(qū)域的位置檢測(cè)不夠準(zhǔn)確或者發(fā)生偏離，這就增加了準(zhǔn) 確分割目標(biāo)圖像的難度【2 8 j 。因此，對(duì)于基于只擁有單個(gè)普通攝像頭的計(jì)算機(jī)來(lái) 說(shuō)，要在復(fù)雜背景下像人眼一樣j 下確的分割出手勢(shì)，目前還存在很大的困難， 這就迫使我們?cè)谑謩?shì)識(shí)別系統(tǒng)的實(shí)際開發(fā)和設(shè)計(jì)過(guò)程中，對(duì)環(huán)境強(qiáng)加了一些限 制。最后，針對(duì)不同類型的手勢(shì)計(jì)算不同的不變矩作為基本的特征向量進(jìn)行分 類識(shí)別則是手勢(shì)識(shí)別的另一大難點(diǎn)【2 9 】。目前已有h u 不變矩、l e g e n d r e 矩、 t c h e b i c h e f 矩和z e m i k e 矩在圖像識(shí)別方面的研究，各有各的特點(diǎn)，效果一般， 而且在計(jì)算不變量的過(guò)程相對(duì)來(lái)說(shuō)比較復(fù)雜1 3 們，本文將分析傳統(tǒng)的離散幾何不 變矩，求出七個(gè)不變量，選擇其中四個(gè)作為識(shí)別參數(shù)?？偟膩?lái)說(shuō)，本文會(huì)從以 下三個(gè)關(guān)鍵點(diǎn)來(lái)研究手勢(shì)識(shí)別技術(shù)。 ( 1 ) 如何建立一個(gè)簡(jiǎn)單實(shí)用的手勢(shì)模型，并且提高手勢(shì)分害l j 的精確度，獲 取更多的有效特征參數(shù)； ( 2 ) 通過(guò)大量的幾何分析，研究提取各種有效的幾何特征參數(shù)的方法，并 且驗(yàn)證各個(gè)特征參數(shù)的有效性： ( 3 ) 根據(jù)實(shí)際需要，選取一種合適的分類模型或者分類算法也是手勢(shì)識(shí)別 技術(shù)的關(guān)鍵。 1 4 本文的主要工作和組織結(jié)構(gòu) 本文的研究目標(biāo)的具體目標(biāo)就是識(shí)別十種手勢(shì)圖像，具體的是基于人手部 t o r t o i s e 模型分析手部的幾何特征，主要選擇手勢(shì)圖像中仲出的手指的個(gè)數(shù)、缺 3 武漢理+ ：人學(xué)碩十學(xué)何論文 陷個(gè)數(shù)和圖像的不變矩總共十個(gè)識(shí)別特征參數(shù)。在得到識(shí)別參數(shù)后，將它仃丁分 為三組，本文利用基于模版匹配的識(shí)別算法，分析比較三組特征參數(shù)的有效性 和彭 別率。以下文章各個(gè)章節(jié)的內(nèi)容安排： 第l 章敘述了手勢(shì)識(shí)別的研究背景和意義，查閱國(guó)內(nèi)外論文，分析了當(dāng)前 國(guó)內(nèi)外手勢(shì)識(shí)別的研究現(xiàn)狀，最后分析了手勢(shì)識(shí)別技術(shù)的難點(diǎn)技術(shù)、待解決問(wèn) 題以及本文研究的目標(biāo)。 第2 章首先比較基于三維模型的手勢(shì)建模和基于表現(xiàn)的手勢(shì)建模，建立一 種名字為人手部t o r t o i s e 模型的手勢(shì)模型，通過(guò)對(duì)這個(gè)模型分析，總結(jié)出識(shí)別手 勢(shì)需要計(jì)算的幾個(gè)幾何特征參數(shù)。然后，簡(jiǎn)述了手勢(shì)識(shí)別系統(tǒng)基本框架圖，并 且分析各部分的作用。最后重點(diǎn)敘述了手勢(shì)預(yù)處理和手勢(shì)閾值分割的過(guò)程，其 中對(duì)閾值分割的方法做了簡(jiǎn)單的對(duì)比實(shí)驗(yàn)，并且選擇一種比較好的閾值分割方 法。 第3 章主要根據(jù)前面總結(jié)的若干個(gè)特征參數(shù)分析手勢(shì)圖像的幾何特征，研 究特征參數(shù)的計(jì)算方法，重點(diǎn)闡述了手指?jìng)€(gè)數(shù)和h u 矩不變量的計(jì)算方法。具體 地是從感興趣圖像的輪廓入手，先計(jì)算出手的整體輪廓，提取輪廓圖像的外接 多邊形和缺陷點(diǎn)，然后結(jié)合手掌的幾何特征分析外接多邊形的頂點(diǎn)和輪廓缺陷 點(diǎn)的分布情況，研究得到計(jì)算近似手掌輪廓外的外接多邊形，最后根據(jù)手掌輪 廓的外接多邊形得到兩種計(jì)算手指?jìng)€(gè)數(shù)的方法。最后總共計(jì)算了1 0 個(gè)特征參數(shù)， 包括7 個(gè)h u 矩不變量、面積周長(zhǎng)比、缺陷個(gè)數(shù)和手指?jìng)€(gè)數(shù)。 第4 章分析了整個(gè)識(shí)別系統(tǒng)的詳細(xì)設(shè)計(jì)框架，并且對(duì)其中特征參數(shù)的提取 方法和識(shí)別算法的實(shí)現(xiàn)進(jìn)行了分析。最后通過(guò)該識(shí)別系統(tǒng)對(duì)三組不同的特征參 數(shù)進(jìn)行了對(duì)比實(shí)驗(yàn)，通過(guò)計(jì)算三組特征參數(shù)的識(shí)別率來(lái)分析比較h u 矩不變量與 幾何特征參數(shù)的有效性、幾何特征中手指?jìng)€(gè)數(shù)和缺陷個(gè)數(shù)的有效性，最終選擇 了( h u l ，h u 2 ，h u 3 ，h u 4 ，面積周長(zhǎng)比，手指?jìng)€(gè)數(shù)) 的組合作為特征參數(shù)。 第5 章對(duì)本文的研究進(jìn)行總結(jié)和展望。 4 武漢理l ：人學(xué)碩十學(xué)位論文 2 1 手勢(shì)建模 第2 章手勢(shì)建模和預(yù)處理 手勢(shì)建模簡(jiǎn)單的說(shuō)就是結(jié)合實(shí)際的應(yīng)用，分析手部( 包括手腕、手掌和手 指) 所有有效的特征，構(gòu)造一個(gè)有效的手勢(shì)識(shí)別的分類器。手勢(shì)建模具體分為 兩個(gè)步驟，第一步是基于真實(shí)手形的特征和手勢(shì)辨識(shí)的需要抽象出一個(gè)數(shù)學(xué)模 型，我們把這個(gè)模型叫做人手部模型，第二步是根據(jù)人手部模型提取的人手部 幾何和紋理特征是建立手勢(shì)模式庫(kù)。這兩步有著密切的關(guān)系，人手部模型是建 立手勢(shì)模式庫(kù)和進(jìn)行手形匹配的基礎(chǔ)，而且手勢(shì)模式庫(kù)和人手部模型共同構(gòu)成 手勢(shì)識(shí)別的分類器，用于確定那些特征值或者識(shí)別參數(shù)需要我們計(jì)算，便于更 大程度的區(qū)分各種手勢(shì)【3 。在基于視覺(jué)的手勢(shì)識(shí)別框架中，手勢(shì)模型是最基本 部分之一。根據(jù)不同的應(yīng)用背景，手勢(shì)識(shí)別采用的模型會(huì)有所不同，而對(duì)于不 同的手勢(shì)模型，采用的手勢(shì)檢測(cè)、特征提取、識(shí)別技術(shù)也會(huì)有差別。目前手勢(shì) 建模主要分為基于表觀的手勢(shì)模型與基于三維的手勢(shì)模型1 3 列。手勢(shì)模型的詳細(xì) 分類如圖2 1 所示。 圖2 1 手勢(shì)模型分類 5 武漢理i ：人學(xué)碩十學(xué)位論文 2 1 1 基于三維模型的手勢(shì)建模 基于三維模型的手勢(shì)建模是對(duì)手部的關(guān)節(jié)結(jié)構(gòu)進(jìn)行三維建模，描述手的各 個(gè)關(guān)節(jié)的位置與角度等屬性。在基于模型的方法中，手勢(shì)特征具有很高的自由 度，模型的參數(shù)也非常多。 2 1 2 基于表觀的手勢(shì)模型 基于表觀的手勢(shì)建模是從二維平面觀察得到的平面圖像信息描述手的特 征?；诒碛^的手勢(shì)模型主要包括基于顏色、基于輪廓的模型兩種。 基于顏色的手勢(shì)模型是把手勢(shì)圖像看作像素顏色的集合，通過(guò)提取手部的 顏色的特征來(lái)描述手勢(shì)?；陬伾氖謩?shì)模型的常用特征是手部區(qū)域的顏色直 方圖、高斯模型。 基于輪廓的手勢(shì)模型是把手看作一個(gè)輪廓，通過(guò)提取手部圖像中手的輪廓 的幾何特征來(lái)描述手勢(shì)。 2 1 3 兩種模型的比較 基于模型的手勢(shì)模型的優(yōu)點(diǎn)是能夠很精確地描述手勢(shì)，但它的不足之處是 模型中手的模型參數(shù)多，要處理的數(shù)據(jù)量比較大，所以在手勢(shì)識(shí)別過(guò)程中模型 參數(shù)的估值也比較困難。基于視覺(jué)的手勢(shì)模型常通過(guò)多目攝像頭來(lái)采集圖像， 以此來(lái)建立手勢(shì)的立體三維模型；合成的過(guò)程中也引入噪聲，所以魯棒性不強(qiáng)。 基于表觀的方法從二維平面觀察手勢(shì)，從手勢(shì)圖像是提取顏色特征、幾何形狀、 輪廓等信息，計(jì)算量少，可靠性和提取效率都比較高。兩種模型都有它的適用 場(chǎng)景，實(shí)際應(yīng)用開發(fā)中可以根據(jù)實(shí)際需要做兩類手勢(shì)模型中做一個(gè)選擇。 2 1 4 人手部t o r t o i s e 模型 目前用于手勢(shì)識(shí)別的手勢(shì)模型有很多種，由于本文研究的手勢(shì)諺 別對(duì)象在 簡(jiǎn)單背景下獲得的，識(shí)別目標(biāo)比較明顯，特征也比較明確，所以建立一種人手 部t o r t o i s e 模型，他足一種基于表現(xiàn)的手勢(shì)模型，具體的說(shuō)是基于輪廓的手勢(shì)模 型。 人手部t o r t o i s e 模型簡(jiǎn)單的說(shuō)就是將手部分解成餅狀的手掌和甩根被看作長(zhǎng) 條的手指，這種模型能夠很好的描述手部的基本特征，如圖2 2 所示為模型圖。 6 武漢理i ：人學(xué)碩十學(xué)位論文 圖2 - 2 人手部t o r t o i s e 模型 t o r t o i s e 模型包括的參數(shù)可以用公式的形式表示，如下式： j ，= 廠( ，r 2 ，刀，厶，厶，彤，呢，q ，見，r ，g ，b ) ( 2 1 ) 公式( 2 1 ) 滿足的約束條件如下： r j 1 5 r 2 h e 0 ，5 】 1 。三一三，邳3 ：汪1 ，z ( 2 - 2 ) _ r i 3 彬 ，i = l ，一 瞑o ，9 0 】，i = l ，柚 j i c 【o ，2 5 5 ，g 【o ，2 5 5 ，b 0 ，2 5 5 】 其中，；為手掌部半徑，吒為手腕部半徑，刀為手指?jìng)€(gè)數(shù)，厶厶為每根 手指的長(zhǎng)度，彤一睨為每根手指的寬度，目見為每根手指與手腕間夾角， ( 月，g 曰) 為皮膚顏色。 ， t o r t o i s e 模型具有以下優(yōu)勢(shì)： ( 1 ) 手掌被近似成為對(duì)稱的餅狀模型，這使得模型更加的簡(jiǎn)潔，進(jìn)而提高了 手形匹配速度，而且具有對(duì)稱性的模型也減少了由于手部旋轉(zhuǎn)造成的錯(cuò)誤諺 別 概率。 ( 2 ) 將手指看作分加比較隨意的條狀模型，使得在具體應(yīng)用中，可以通過(guò) 分析每種手勢(shì)中伸出來(lái)的手指的幾何分布，利用特征提取的方法從不同二維圖 像中計(jì)算總的手指數(shù)量來(lái)判斷手形，這樣就降低了由于遮擋帶來(lái)的匹配誤差。 7 武漢理ji ：人學(xué)碩十學(xué)位論文 ( 3 ) 將手掌和手指作為一個(gè)整體的同時(shí)，又將他們分丌來(lái)分析，使用手掌 和手指的相對(duì)尺寸作為區(qū)分不同手勢(shì)的依據(jù)，這樣就減少了在采集目標(biāo)圖像的 過(guò)程中因?yàn)榫嚯x原因產(chǎn)生的手形縮放所帶來(lái)的匹配誤差。 本文識(shí)別的對(duì)象是用手勢(shì)表示的數(shù)字0 到9 的集合，為了識(shí)別這幾個(gè)手勢(shì)， 出了常用的不變矩特征作為重要的識(shí)別參數(shù)以外，本文根據(jù)人手部t o r t o i s e 模 型，選擇手指?jìng)€(gè)數(shù)重要的特征參數(shù)，因?yàn)槊總€(gè)手勢(shì)伸出來(lái)的手指?jìng)€(gè)數(shù)不盡相同， 有個(gè)別手勢(shì)伸出的手指?jìng)€(gè)數(shù)一樣，但是伸出的是不通的手指，這個(gè)通過(guò)其他的 特征參數(shù)來(lái)區(qū)分開來(lái)，本文選擇手勢(shì)圖像的面積和周長(zhǎng)的比作為第二個(gè)參數(shù)， 分析每個(gè)手勢(shì)輪廓的面積，手掌面積占主要部分，由于伸出的手指不同，每種 手勢(shì)輪廓圖像的面積和周長(zhǎng)的比值區(qū)分度比較大。本文將在下面的章節(jié)中詳細(xì) 介紹獲取這兩個(gè)特征參數(shù)的方法。 2 2 手勢(shì)識(shí)別系統(tǒng)的基本框架圖 一般圖像處理和模式識(shí)別系統(tǒng)的基本框架主要包括圖像樣本的采集、圖像 預(yù)處理、分析圖像特征并提取識(shí)別參數(shù)、利用識(shí)別參數(shù)對(duì)圖像進(jìn)行分類識(shí)別1 ， 最后輸出識(shí)別結(jié)果，手勢(shì)識(shí)別系統(tǒng)整體框架圖如圖2 3 所示。 視頻流確定特征向量 二值化圖像 景 囹攫 圖2 3 手勢(shì)識(shí)別系統(tǒng)整體框架圖 框圖簡(jiǎn)單介紹如下： ( 1 ) 手勢(shì)樣本圖像的采集：本文都是以a v i 視頻文件作為處理對(duì)象，為了 更好的提取手部特征，拍攝之前，先選好固定的背景，利用普通的攝像頭錄制 手勢(shì)視頻。 f 2 ) 手勢(shì)圖像預(yù)處理：主要是圖像色彩空問(wèn)的轉(zhuǎn)換、提取灰度圖像、中值 濾波和閾值分割，其中閾值分割是得到手勢(shì)輪廓圖像的基礎(chǔ)，好的閩值分割對(duì) 8 武漢理l ：人。碩l ：。學(xué)化論義 勢(shì)輪廓的提墩訂很人的幫助，鈕2 4 31 了會(huì)詳細(xì)介害“旗。j 二人泮法的門適應(yīng)的閩 他分割。 ( 3 ) 分析圖像特7 l i l 7 t ：提取需要的諺 別參數(shù)：結(jié)合人下部l b r t o i s e 模型，分 析下部?jī)汉翁卣鳎偺崛×鶄€(gè)諺 別參數(shù)，其l i 彳f l j q 個(gè)是基。j ：于勢(shì)輪廓圖像提 取的幾何不變矩參數(shù)， 外兩個(gè)分別是輪扇i 圖像 t # i t i i t ；的于指的個(gè)數(shù)以及下勢(shì) 輪廓圖像i f l i g 與j 1 i i j 長(zhǎng)的比值。 ( 4 ) 分類i , j , j j $ 0 ：針對(duì)已經(jīng)提取的特征諺 別參數(shù)，約i 成組特征m 疑，利川 識(shí)別算法對(duì)于勢(shì)圖像進(jìn)行訓(xùn)練和分類識(shí)別，本文t _ ，利f j 模版匹配的思恕設(shè)計(jì)分 類算法。 ( 5 ) 輸出識(shí)別結(jié)果：識(shí)別結(jié)果以數(shù)據(jù)的形式儲(chǔ)存到文本文件中，并兒會(huì)計(jì) 算每種手勢(shì)的識(shí)別率。 2 3 手勢(shì)圖像樣本采集和研究對(duì)象 手勢(shì)識(shí)別一般分為靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別，靜態(tài)手勢(shì)識(shí)別是識(shí)別手 型，讀出手型表達(dá)的意義f 3 4 j ，而動(dòng)態(tài)手勢(shì)識(shí)別是識(shí)別手在空間的中的運(yùn)動(dòng)軌跡， 通過(guò)得到的運(yùn)動(dòng)軌跡參數(shù)來(lái)執(zhí)行相應(yīng)的操作，比如在投影上播放課件的時(shí)候， 通過(guò)手勢(shì)來(lái)進(jìn)行的一t - 下翻頁(yè)、暫停、開始等操作，就足這方面的應(yīng)用。本文中 主要研究靜態(tài)手勢(shì)識(shí)別。為了使研究更帶有i - i 的性，本文給定了十個(gè)特定的手 勢(shì)作為識(shí)別對(duì)象，如圖2 4 所示的手勢(shì)樣本圖中的十個(gè)手勢(shì)圖像分別表示數(shù)字o 到9 。簡(jiǎn)單的說(shuō)，本文的直接的研究目標(biāo)就是要讓計(jì)算機(jī)識(shí)別這1 個(gè)手勢(shì)分別表 示的意思，算出識(shí)別率。 圖2 4 手勢(shì)樣本圖 9 武漢理。l ：人學(xué)碩： ：學(xué)位論文 采集樣本和建立樣本集對(duì)于研究圖像處理和識(shí)別是非常重要的，前面提到， 本本文在采集樣本的時(shí)候都是在簡(jiǎn)單背景下采集的，光照明暗程度、距離和角 度都是差不多的，采集的到處理文件對(duì)象都是a v i 視頻流文件，具體的采集過(guò) 程如下： ( 1 ) 在數(shù)字視頻攝像頭前面按照上面規(guī)定的樣本，從0 到9 的順序連續(xù)做 標(biāo)準(zhǔn)的手勢(shì)，每個(gè)手勢(shì)都要維持幾秒鐘，并且每個(gè)手勢(shì)做好后作適當(dāng)?shù)钠揭疲?這個(gè)過(guò)程完了后會(huì)得到一個(gè)a v i 視頻文件。 ( 2 ) 觀看這個(gè)a v i 視頻文件，將其中標(biāo)準(zhǔn)手勢(shì)固定了的片段剪切下來(lái)，也 就是出去其中變換手勢(shì)的部分，留下完整的手勢(shì)和手勢(shì)平移的片段，這樣會(huì)得 到l o 個(gè)a v i 視頻文件，這十個(gè)文件就對(duì)應(yīng)著上面這十個(gè)手勢(shì)。 2 4 基于o p e n c v 的手勢(shì)圖像預(yù)處理 本文在研究過(guò)程中利用了o p e n c v 函數(shù)庫(kù)，對(duì)手勢(shì)圖像進(jìn)行預(yù)處理的過(guò)程 主要包括色彩空間轉(zhuǎn)換、中值濾波和閾值分割，手勢(shì)圖像的預(yù)處理過(guò)程框圖如 圖2 5 所示。 二值化圖1 - 勢(shì)樣本圖 圖像重置 色彩空間 中值濾波閾值分割 大小轉(zhuǎn)換 c v s m o o t hc v m s h o l d c v r e s i z e c v c v t c o l o r 2 4 1 色彩空間轉(zhuǎn)換 圖2 5 手勢(shì)圖像預(yù)處理過(guò)程 在平常的生活中，我們對(duì)顏色的討論集中在通過(guò)紅、綠、藍(lán)三色混合而產(chǎn) 生顏色的機(jī)制上，這種機(jī)制就是我們常說(shuō)的r g b 顏色模型，它有利于我們理解 子計(jì)算機(jī)中如何表示顏色，然而在圖像處理的過(guò)程中，還需要一些更直觀的顏 色參數(shù)。為了尋求在各種特定環(huán)境中對(duì)于顏色的特征和行為的計(jì)算機(jī)解釋方法， 人們研究很多顏色模型或者叫做色彩空間，例如r g b 彩色空間、c m y 彩色空 間、y u v 彩色空問(wèn)、y i q 彩色空間和h s v 彩色空間( 也叫h s i 彩色空間) ，但 是，在這么多顏色空間描述方法中，沒(méi)有哪一種顏色模型能解釋完全所有的顏 色問(wèn)題，但是在實(shí)際的應(yīng)用當(dāng)中，我們選擇相應(yīng)的顏色空間模型來(lái)幫助描述我 們能看到的各種顏色特征p 引。在本文中，為了更好的描述手勢(shì)圖像的顏色特征， 1 0 武漢理：i ：火學(xué)碩十學(xué)位論文 選擇了h s v 顏色模型。 與傳統(tǒng)的r g b 顏色模型相比，h s v 模型使用了對(duì)用戶更直觀的顏色空間描 述方法。h s v 色彩空間是從人的視覺(jué)系統(tǒng)出發(fā)，用色調(diào)( h u e ) 、色飽和度 ( s a t u r a t i o n 或c h r o m a ) 和亮度( i n t e n s i t y 或8 r i g h t r e s s ) 來(lái)描述色彩。h s v 色 彩空問(wèn)可以用一個(gè)圓錐空l(shuí) h j 模型來(lái)描述。盡管h s v 色彩空間的圓錐模型相當(dāng)復(fù) 雜，但它的確能把色調(diào)、色飽和度和亮度的變化情形表現(xiàn)得很清楚1 3 6 1 。如圖2 6 所示為h s v 三維空間的六棱錐模型。 音 黑s ( 飽和度) 圖2 - 6h s v 六棱錐 在六棱錐中，色飽和度s 沿水平軸測(cè)量，從0 到l 變化，而明度值v 沿著 六棱錐中心的垂直軸進(jìn)行測(cè)量，從0 到l 變化，而色彩則使用與水平軸之間的 角度來(lái)表示，范圍從0 度到3 6 0 度?？偟膩?lái)說(shuō)h s v 彩色空間有以下亮點(diǎn)和優(yōu)點(diǎn)： ( 1 ) 我們通常把色調(diào)和飽和度通稱為色度，用來(lái)表示顏色的類別與深淺程 度。由于人的視覺(jué)對(duì)亮度的敏感程度遠(yuǎn)強(qiáng)于對(duì)顏色濃淡的敏感程度，為了便于 色彩處理和識(shí)別，人的視覺(jué)系統(tǒng)經(jīng)常采用h s v 色彩空間，它比r g b 色彩空問(wèn) 更符合人的視覺(jué)特性i j 。 武漢娜i ：人? 碩l ：學(xué)化論文 ( 2 ) 采j | ji i s v 彩色審問(wèn)減少彩色圖象處胖的復(fù)雜陀，增加快速，陀，它巫 接近人對(duì)彩色的認(rèn) 叭11 - i l 解釋。例盤對(duì)也淵、飽和度和亮度通過(guò)算法進(jìn)行操作。 柞圖象處理和計(jì)算機(jī)視覺(jué)一t l f 內(nèi)人景算法，翻洲以祚l t s v _ ! 1 1 l j l f l 力。便的使川。它 們i 叮以分了r 處理i 伍 1 足一- ：棚獨(dú)直的，吲此h s v 彩色審| i jl l j 以火大簡(jiǎn)化圖像分析 和處理的：j ：作疑。 為了更好的描述手勢(shì)圖像的顏色特征，為了后而處理圖像做準(zhǔn)備，丌始 就對(duì)t - 勢(shì)圖像進(jìn)行了色彩空問(wèn)的轉(zhuǎn)換，j 體足從r g b 色彩空f(shuō) n j 轉(zhuǎn)換到h s v 色 彩窄f i i j ，轉(zhuǎn)換公式如下： r g b j s v ( c v b g r 2 h s v ，c v r g b 2 t t s v ) ： v = m a x ( r ，g ，曰) s = v - m i n ( r , 掣蛇5 5 ：。 仁， 0。其他 、 f ( g b ) 6 0 + s，若v = r h = 1 8 0 + ( b r ) 6 0 + s ，若v = g i2 4 0 + ( r g ) 6 0 s ，若v = b h = h + 3 6 0 ，若h r e c t ； i f ( r h e i g h t * r w i d t h 1 0 0 0 0 1 選出大于1 0 0 0 0 個(gè)像素的輪廓 宰h c = c ； e = c - h _ n e x t ；) 值得注意的是，如果沒(méi)有大于1 0 0 0 0 個(gè)像素的輪廓說(shuō)明圖像中沒(méi)有手。在 得到于的輪廓后，通過(guò)o p e n c v 提供的函數(shù)c v d r a w c o n t o u r s ( ) 繪制手部輪廓，繪 制的效果如圖3 1 所示。 圖3 1 手勢(shì)圖像的輪廓 1 8 武漢理jj ：人學(xué)碩十學(xué)位論文 圖3 1 中的紅色線就是手勢(shì)的輪廓，從圖中可以看出，獲得的手勢(shì)輪廓線條 非常清晰，并且完全是貼合手部區(qū)域的邊緣線。 3 2 手掌輪廓的提取 在提取手掌輪廓之前還有兩個(gè)準(zhǔn)備工作要做，一是求出手掌輪廓的外接多 邊形，另一個(gè)是求出手掌輪廓的缺陷點(diǎn)，完成這兩步是為了獲得手部輪廓中的 凸點(diǎn)集和凹點(diǎn)集，為后面刪除不必要的點(diǎn)獲得手掌輪廓做準(zhǔn)備。 3 2 1 獲取手部完整輪廓的外界多邊形 由于我們已經(jīng)獲得手部的完整輪廓，并且已經(jīng)獲得輪廓線的點(diǎn)集，所以獲 得輪廓的外接多邊形可以從完整的輪廓點(diǎn)集中選取比較特殊的點(diǎn)，順序連接這 些點(diǎn)獲得的外接多邊形必須包括手部完整輪廓中所有的點(diǎn)。具體做法是利用 o p e n c v 中的序列訪問(wèn)函數(shù)c v g e t s e q e l e m ( ) 訪問(wèn)完整的輪廓序列，然后選取其中 距離相隔3 0 個(gè)像素的點(diǎn)，具體實(shí)現(xiàn)代碼如下： v o i ds i m p l y c o n v e x h u l l ( c v s e q h ，v e c t o r & p t s ) i n t i ； i n tc o u n t = h - t o t a l ； p t s c l e a r ( ) ； 通過(guò)指針遍歷輪廓線上的每一個(gè)點(diǎn)，將輪廓稀疏 c v p o i n t p t o = ( c v p o i n t ) ( c v g e t s e q e l e m ( h , c o u n t 1 ) ) ； f o r ( i - 0 ；i x ) ； 排除相鄰點(diǎn) i f ( ( a b s ( ( p t ) - x 一( p t o ) x ) + a b s ( ( p t ) 一 y - ( p t o ) - y ) ) 3 0 ) p t s p u s h _ b a c k ( c v p o i n t ( ( p t ) - x ，( p t ) 一 y ) ) ； p t o 2 p t ； 1 9 武漢理i ：人學(xué)碩十學(xué)位論文 ) ) 這樣就獲得了手部輪廓的外界多邊形頂點(diǎn)的集合，接著通過(guò)o p e n c v 中的 函數(shù)d r a w c o n v e x h u l l a r r a y ( ) 畫出外接多邊形，處理后的結(jié)果如圖3 - 2 所示。 圖3 2 畫好外接多邊形的手勢(shì)圖像 由圖3 - 2 可以看出，通過(guò)以上方法獲得的手勢(shì)輪廓的外接多邊形基本上可 以包括整個(gè)手部區(qū)域。 3 2 2 獲取外接多邊形中的輪廓凸點(diǎn)和凹點(diǎn) 通過(guò)觀察每個(gè)手勢(shì)輪廓圖像，我們發(fā)現(xiàn)每種手勢(shì)輪廓都有不同的凸點(diǎn)和凹 點(diǎn)，我們的目標(biāo)是提取手掌區(qū)域的輪廓，因此除去手指部分就是手掌部分，而 輪廓上的凸點(diǎn)和凹點(diǎn)一般都處于手指和手掌連接的地方，因此找出這些點(diǎn)，然 后刪除掉就可以獲得手掌的輪廓了。 由于每個(gè)輪廓都有不同的輪廓凸包和凹點(diǎn)缺陷，這些缺陷可以用來(lái)描述物 體的特征，而o p c n c v 函數(shù)庫(kù)為我們提供了描述圖像輪廓缺陷的方法。o p e n c v 函數(shù)庫(kù)定義了一個(gè)專門描述缺陷的結(jié)構(gòu)體，具體定義如下： t y p e d e fs t r u e tc v c o n v e x i t y d e f e c t c v p o i n t * s t a r t ；缺陷開始的輪廓點(diǎn) c v p o i n t * e n d ；嚴(yán)缺陷結(jié)束的輪廓點(diǎn) c v p o i n t * d e p t hp o i n t ；產(chǎn)缺陷中離凸形最遠(yuǎn)的