第13章工程實(shí)例13.1實(shí)例一——水果圖像的個(gè)體識(shí)別13.2實(shí)例二——細(xì)胞計(jì)數(shù)13.3實(shí)例三——蝴蝶與蛾的分類13.1實(shí)例一——水果圖像的個(gè)體識(shí)別

農(nóng)產(chǎn)品圖像的自動(dòng)識(shí)別和分類是農(nóng)業(yè)現(xiàn)代化發(fā)展的一個(gè)重要領(lǐng)域，它能克服傳統(tǒng)手工檢測勞動(dòng)量大、生產(chǎn)率低和分類不精確的缺點(diǎn)，以實(shí)現(xiàn)高速、精確的不同類型水果的識(shí)別。本實(shí)例以水果圖像為研究對(duì)象，綜合應(yīng)用本書介紹的圖像處理基本方法，實(shí)現(xiàn)對(duì)圖13-1所示圖像中多個(gè)水果個(gè)體的識(shí)別。圖13-1具有多個(gè)水果的圖像通過對(duì)圖13-1所示圖像分析可知，我們首先需要進(jìn)行亮度調(diào)整，以增強(qiáng)水果和背景的對(duì)比度；其次，需要分割出不同水果圖像，一般采用在合適的顏色空間(如HSI)中，從某一顏色通道中分割出水果，該方法需進(jìn)行顏色空間變換并統(tǒng)計(jì)出范圍值，計(jì)算較復(fù)雜。另一方面，水果和背景的邊緣代表了水果的輪廓信息，具有高效、快捷的優(yōu)點(diǎn)，已得到廣泛的應(yīng)用。本實(shí)例采用彩色邊緣特征獲取水果邊緣，并利用該邊緣信息實(shí)現(xiàn)水果區(qū)域填充，從而分割出不同的水果；然后，對(duì)分割出的水果進(jìn)行標(biāo)記，并跟蹤其輪廓，為參數(shù)提取奠定基礎(chǔ)；最后，計(jì)算出水果的顏色特征和球狀性特征，選取合適的特征閾值實(shí)現(xiàn)不同類型水果的個(gè)體識(shí)別。本實(shí)例的處理流程如圖13-2所示。圖13-2水果圖像個(gè)體識(shí)別的流程圖13.1.1亮度調(diào)整

由于獲取圖像的外界環(huán)境和設(shè)備不確定，導(dǎo)致圖像亮度不均勻，影響后續(xù)邊緣檢測，因此，有必要對(duì)圖像進(jìn)行亮度調(diào)整。在此，選取自動(dòng)亮度調(diào)整方法，該方法把圖片中亮度最大的5％像素提取出來，然后線性放大，使其平均亮度達(dá)到255。一般情況下，該方法能實(shí)現(xiàn)對(duì)亮度不均勻圖像較好的處理效果。對(duì)圖13-1進(jìn)行亮度調(diào)整后效果如圖13-3所示。圖13-3調(diào)整亮度后的圖像13.1.2邊緣提取

目前，邊緣提取方法分為灰度圖像邊緣提取和彩色圖像邊緣提取，前者利用物體與背景的灰度變化提取邊緣，這樣必然會(huì)失去圖像的顏色特征，降低提取的精度。研究表明，彩色在邊界的感知中起了主要作用，彩色邊緣檢測與單色邊緣檢測相比，能取得更好的效果。彩色圖像邊緣提取方法有兩種：輸出融合法和多維梯度法。兩種方法都先計(jì)算不同顏色通道的梯度信息，選取閾值實(shí)現(xiàn)邊緣提取，差別在于：前者對(duì)各個(gè)顏色通道分別選取閾值，提取邊緣后綜合為總

體邊緣信息；后者先綜合所有通道的梯度信息，然后選取一個(gè)閾值實(shí)現(xiàn)邊緣信息提取。本實(shí)例選取多維梯度法，并直接在RGB通道上處理，其檢測流程如圖13-4所示。圖13-4多維梯度法流程圖梯度信息的提取選取Sobel算子，該算子對(duì)輪廓清晰和不太清晰的水果圖像都具有較好的處理效果。對(duì)亮度調(diào)整后的圖像進(jìn)行Sobel算子處理后，得到R、G、B三個(gè)通道的梯度值R_T、B_T和G_T，由其生成的梯度圖像如圖13-5所示；然后，求三個(gè)通道梯度和，利用判別分析法求出閾值T；最后，二值化處理得到邊緣圖像如圖13-6所示。圖13-5梯度信息圖圖13-6邊緣圖像13.1.3圖像分割

由圖13-6可以看出，對(duì)象的內(nèi)部存在大量的紋理噪聲，其外部也可能存在著小噪聲區(qū)域。因此，需要填充對(duì)象區(qū)域和外部噪聲區(qū)域，以方便后續(xù)處理。填充每個(gè)水果區(qū)域時(shí)，由于區(qū)域內(nèi)部存在噪聲干擾，實(shí)現(xiàn)比較復(fù)雜，故采用填充背景的方法。具體做法是：取圖像左下角像素為種子點(diǎn)，用4連通區(qū)域種子填充算法，將背景填充為一個(gè)固定值(如128)；填充結(jié)束后，將像素值為非128的像素全部置為0，再將背景(值為128)置為255，便可實(shí)現(xiàn)水果的分割，如圖13-7所示。圖13-7分割圖像13.1.4區(qū)域標(biāo)記

為實(shí)現(xiàn)不同個(gè)體特征的提取，需要進(jìn)行區(qū)域標(biāo)記，以便檢測不同個(gè)體的特征參數(shù)，進(jìn)而實(shí)現(xiàn)類型識(shí)別。

本實(shí)例采用序貫標(biāo)記算法。針對(duì)4連通區(qū)域，設(shè)當(dāng)前像素為p(x，y)，其上方像素為p(x，y-1)，左方像素為p(x-1，y)，從第一行開始，對(duì)圖像從上到下，從左到右掃描，其標(biāo)記規(guī)則為：

若p(x，y-1)和p(x-1，y)都未被標(biāo)記，則賦予p(x，y)一個(gè)新的標(biāo)記。

若p(x，y-1)和p(x-1，y)都被標(biāo)記，且標(biāo)記相同，則賦予p(x，y)該標(biāo)記。若p(x，y-1)和p(x-1，y)都被標(biāo)記，且標(biāo)記不相同，則賦予p(x，y)該兩者中較小的標(biāo)記，同時(shí)記錄p(x，y-1)和p(x-1，y)的標(biāo)記為相等關(guān)系。

若p(x，y-1)和p(x-1，y)其一被標(biāo)記，則賦予p(x，y)該標(biāo)記。

按照以上規(guī)則掃描一次圖像后，進(jìn)行第二次掃描，把具有相等關(guān)系的區(qū)域合并。標(biāo)記過程中，將像素?cái)?shù)小于30的區(qū)域作為噪聲去除。將經(jīng)過標(biāo)記處理后，香蕉、蘋果、黃瓜和西瓜區(qū)域的標(biāo)記分別設(shè)為1、2、3和4。統(tǒng)計(jì)標(biāo)識(shí)數(shù)量便可得到水果個(gè)數(shù)；將標(biāo)記為1～4的區(qū)域分別賦予灰度值40、80、120和160，其效果如圖13-8所示，表明已經(jīng)將水果區(qū)域標(biāo)記出來了。圖13-8標(biāo)記灰度圖13.1.5輪廓跟蹤

標(biāo)記出每個(gè)水果圖像后，需要跟蹤出所有圖像的輪廓，并將輪廓像素的坐標(biāo)保存到帶標(biāo)記的結(jié)構(gòu)體數(shù)組中，用于后面特征參數(shù)的計(jì)算。將跟蹤出的輪廓像素值置為0的效果如圖13-9所示。圖13-9輪廓跟蹤13.1.6特征提取

為進(jìn)行不同類型水果的識(shí)別，必須選取有效的特征參數(shù)，并結(jié)合不同的特征，實(shí)現(xiàn)不同類型水果的識(shí)別。針對(duì)原圖中的四種水果(蘋果、香蕉、黃瓜、西瓜)，特征參數(shù)選取顏色特征和圓形性C。其中，顏色特征取每個(gè)水果區(qū)域所有像素RGB歸一化值r、g、b的平均值、、。對(duì)原圖不同的標(biāo)記區(qū)域分別計(jì)算、、，保存到對(duì)應(yīng)標(biāo)記的數(shù)組中，即可實(shí)現(xiàn)顏色特征提取。

圓形性C依據(jù)式(10-17)～(10-19)計(jì)算。特征提取結(jié)果如表13-1所示。

表13-1特征參數(shù)的計(jì)算結(jié)果

13.1.7個(gè)體識(shí)別

由表13-1可以看出，蘋果和香蕉的較大，黃瓜和西瓜的較大；蘋果和西瓜的圓形性值相對(duì)很大，而香蕉和黃瓜的球狀性趨近于0。因此，建立如下判別準(zhǔn)則：如果圓形性大于1，則為蘋果或西瓜；小于1則為香蕉或黃瓜。

對(duì)于蘋果和西瓜，如果>0.7、<0.1，則判定為蘋果；如果>0.65、<0.1，則判定為西瓜。

對(duì)于香蕉或黃瓜，如果>0.5、<0.1，則判定為香蕉；如果>0.6、<0.15，則判定為黃瓜。

利用上述判別準(zhǔn)則進(jìn)行識(shí)別的輸出界面如圖13-10所示。圖13-10識(shí)別結(jié)果需要說明的是，該實(shí)例各階段采用的算法并不惟一；另外，實(shí)際應(yīng)用中還需要考慮許多復(fù)雜因素，特別是特征參數(shù)的選取。

13.2實(shí)例二——細(xì)胞計(jì)數(shù)

本實(shí)例以血液樣本顯微圖像中細(xì)胞(如圖13-11所示)的自動(dòng)計(jì)數(shù)為目標(biāo)，通過圖像處理和分析技術(shù)，要求識(shí)別出血液中的細(xì)胞，并自動(dòng)檢測出細(xì)胞的個(gè)數(shù)及各個(gè)細(xì)胞的面積。圖13-11原始細(xì)胞圖像通過對(duì)圖13-11的分析可知，要得到細(xì)胞數(shù)量及面積，首先需要對(duì)圖像進(jìn)行預(yù)處理，主要包括光線調(diào)節(jié)和去噪處理，以增強(qiáng)和平滑圖像；接著需要進(jìn)行閾值分割分開圖像和背景；二值化后的圖像還包含一些較大的噪聲，擬用形態(tài)學(xué)方法去除這些噪聲；為便于細(xì)胞計(jì)數(shù)和面積檢測，還需對(duì)圖像中的孔洞進(jìn)行填充；最后，統(tǒng)計(jì)出細(xì)胞個(gè)數(shù)并計(jì)算出各個(gè)細(xì)胞的面積。其處理流程如圖13-12所示。圖13-12細(xì)胞識(shí)別流程13.2.1圖像預(yù)處理

預(yù)處理主要完成圖像的亮度調(diào)節(jié)、去除噪聲等工作。

(1)亮度調(diào)節(jié)：為提高后續(xù)圖像分割效果，本實(shí)例采用自動(dòng)亮度法調(diào)整圖像亮度，效果如圖13-13所示。

(2)去噪：采用中值濾波去除圖像中的噪聲，處理結(jié)果如圖13-14所示。圖13-13亮度調(diào)節(jié)圖13-14中值濾波去噪13.2.2閾值分割

本實(shí)例采用判別分析法(Otsu法)確定分割閾值為112，分割效果如圖13-15所示。圖13-15閾值分割13.2.3形態(tài)學(xué)處理

由圖13-15可知，經(jīng)閾值分割的圖像中還包含有一些較大的噪聲。這里，采用形態(tài)學(xué)方法去除這些較大的噪聲。具體做法是用3×3的結(jié)構(gòu)元素對(duì)圖13-15進(jìn)行兩次腐蝕操作，處理結(jié)果如圖13-16所示。圖13-16形態(tài)學(xué)處理13.2.4填充孔洞

經(jīng)過形態(tài)學(xué)處理之后，圖像中細(xì)胞區(qū)域部分的孔洞變大。為便于統(tǒng)計(jì)細(xì)胞個(gè)數(shù)及計(jì)算細(xì)胞面積，對(duì)圖13-16所示的細(xì)胞圖像進(jìn)行孔洞填充?？锥刺畛涞木唧w方法為：逐行掃描圖像，當(dāng)遇到像素值為255的像素時(shí)，判斷其上下左右一定范圍W內(nèi)的像素值，若有像素值為0的像素，則被標(biāo)記，如果上下左右同時(shí)被標(biāo)記，則置該像素值為0。掃描完整幅圖像，則處理結(jié)束。范圍W的大小可視孔洞大小實(shí)驗(yàn)設(shè)定，本例選用W為20，填充孔洞后的效果如圖13-17所示。圖13-17填充孔洞13.2.5細(xì)胞計(jì)數(shù)及面積計(jì)算

圖13-17中有部分細(xì)胞出現(xiàn)粘連，可以通過較為復(fù)雜的算法將粘連細(xì)胞分割開來。這里，采取如下簡單方法進(jìn)行細(xì)胞計(jì)數(shù)和面積計(jì)算。

(1)對(duì)圖13-17中的對(duì)象進(jìn)行標(biāo)記處理，初步計(jì)算出細(xì)胞的個(gè)數(shù)；

(2)計(jì)算不同標(biāo)記區(qū)域的像素?cái)?shù)，并用區(qū)域的像素?cái)?shù)代表其面積；

(3)若某個(gè)標(biāo)記區(qū)域像素?cái)?shù)大于1000，則認(rèn)為該標(biāo)記區(qū)域?yàn)閮蓚€(gè)粘連在一起的細(xì)胞，原細(xì)胞數(shù)量增加1；若某個(gè)標(biāo)記區(qū)域像素?cái)?shù)小于70，則視為噪聲，原細(xì)胞數(shù)量減1。

細(xì)胞計(jì)數(shù)和細(xì)胞面積統(tǒng)計(jì)結(jié)果如圖13-18所示。圖13-18細(xì)胞計(jì)數(shù)及面積統(tǒng)計(jì)

13.3實(shí)例三——蝴蝶與蛾的分類

對(duì)于昆蟲學(xué)中的分類學(xué)，其核心就是性狀的比較，通過性狀的比較，不僅可以鑒定目標(biāo)，更重要的是發(fā)現(xiàn)性狀的演變規(guī)律，并根據(jù)性狀演變規(guī)律掌握這些性狀的分類單元的進(jìn)化歷史。因此，分類技術(shù)在昆蟲學(xué)中占據(jù)非常重要的地位。本實(shí)例為圖像處理技術(shù)在昆蟲圖像分類中的一個(gè)簡單應(yīng)用，以識(shí)別蝴蝶與蛾為目標(biāo)，介紹如何進(jìn)行不同昆蟲之間的分類識(shí)別。

圖13-19為蝴蝶與蛾的圖像，分析該圖可知，蝴蝶與蛾的主要形態(tài)幾何特征差異如表13-2所示。圖13-19蝴蝶與蛾

表13-2蝴蝶與蛾的主要幾何特征區(qū)別

為利用數(shù)字圖像處理技術(shù)自動(dòng)識(shí)別蝴蝶和蛾，本實(shí)例首先對(duì)圖像進(jìn)行預(yù)處理；然后，進(jìn)行分割，提取出觸角、腹部、翅膀等；在此基礎(chǔ)上，提取11個(gè)特征參數(shù)，并對(duì)這些特征參數(shù)進(jìn)行篩選，選取最有判別意義的特征；最后，根據(jù)這些參數(shù)建立特征識(shí)別函數(shù)，進(jìn)行昆蟲圖像的分類。識(shí)別流程如圖13-20所示。圖13-20蝴蝶與蛾的識(shí)別流程在上述思想的指導(dǎo)下，本實(shí)例分圖像預(yù)處理、圖像分割、輪廓跟蹤、特征提取、特征參數(shù)測量及特征篩選、圖像分類等6個(gè)模塊進(jìn)行設(shè)計(jì)。13.3.1圖像預(yù)處理

預(yù)處理主要完成圖像的幾何變換、灰度化、亮度調(diào)節(jié)、去噪及銳化等，是有效提取圖像特征及分類的基礎(chǔ)。

(1)幾何變換：針對(duì)獲取圖像的不規(guī)則性，為方便處理，需要對(duì)圖像進(jìn)行平移和旋轉(zhuǎn)等幾何變換，以使圖像中的蝴蝶和蛾的身體部分位于圖像的中軸線上。

(2)灰度轉(zhuǎn)換：考慮到主要根據(jù)昆蟲的形態(tài)學(xué)特征進(jìn)行分類，且彩色圖像數(shù)據(jù)量大，處理相對(duì)復(fù)雜。因此，將24位真彩色圖像轉(zhuǎn)化為灰度圖像后進(jìn)行處理。按式(9-15)中亮度Y計(jì)算公式，將彩色圖像轉(zhuǎn)換為灰度圖像的結(jié)果如圖13-21所示。圖13-21轉(zhuǎn)換后的灰度圖像

(3)亮度調(diào)節(jié)：采用兩種方法調(diào)整圖像的對(duì)比度，一種是自動(dòng)亮度法，無需用戶輸入?yún)?shù)；另一種為線性變換法，由用戶輸入線性變化的參數(shù)值。亮度調(diào)節(jié)后的結(jié)果如圖13-22所示。圖13-22不同亮度調(diào)節(jié)結(jié)果

(4)去噪：采用鄰域平均法和中值濾波去除噪聲，可根據(jù)具體要求進(jìn)行選擇，兩種方法的處理結(jié)果如圖13-23所示。圖13-23去除噪聲13.3.2圖像分割

本實(shí)例根據(jù)像素的灰度級(jí)實(shí)現(xiàn)背景分割、觸角分割、腹部分割和翅膀分割。分割完成后，有時(shí)還需進(jìn)行適當(dāng)?shù)男螒B(tài)學(xué)操作。

(1)背景分割(二值化)：獲取圖像時(shí)，背景為白色，所以，圖像和背景之間有較大的亮度對(duì)比，很容易將對(duì)象從背景中分割出來。由于圖像背景為白色，所以直接自定義閾值(如250)，可以很好地將昆蟲和背景完全分割開來(如圖13-25(a)所示)。

(2)觸角分割：蝴蝶與蛾的分類識(shí)別中，觸角是一個(gè)最顯著的特征，所以，在特征提取之前，必須先把觸角分割開來。由于觸角的特點(diǎn)是細(xì)而長，分布在昆蟲的頭部之上，而且蝴蝶和蛾的體型一般是對(duì)稱的(如果不對(duì)稱，可以通過幾何變換進(jìn)行一定的調(diào)整)，故采用如下算法進(jìn)行觸角分割：①找圖像的對(duì)稱軸(若圖像對(duì)稱，對(duì)稱軸即x=nWdith/2所在的直線)。

②考慮到從上到下，逐行依次從中軸向左進(jìn)行掃描，當(dāng)遇到值為0的像素時(shí)，開始計(jì)算連續(xù)出現(xiàn)像素值為0的點(diǎn)的個(gè)數(shù)count，若count滿足條件：0<count<nWidth/15，表明該部分為觸角部分，復(fù)制滿足條件的像素點(diǎn)到一個(gè)新圖像；如果每行開始不為白，表明該點(diǎn)已在昆蟲頭部，停止掃描。

算法示意圖如圖13-24所示，觸角分割結(jié)果如圖13-25(b)所示。圖13-24觸角分割示意圖圖13-25圖像分割結(jié)果

(3)腹部分割：與觸角分割算法相似，具體算法如下：

①找圖像的中軸，然后從下向上找到中軸上像素值為0的點(diǎn)。

②從該點(diǎn)分別向左、右掃描圖像，并分別計(jì)算連續(xù)出現(xiàn)像素值為0的點(diǎn)的個(gè)數(shù)count_L、count_R。當(dāng)遇到像素值為255時(shí)，結(jié)束該行掃描，并復(fù)制相應(yīng)像素值為0的點(diǎn)到一個(gè)新圖像，繼續(xù)掃描上一行。當(dāng)count_L與count_R之和大于nWidth/4時(shí)，表明已經(jīng)達(dá)到腹部的最高點(diǎn)，結(jié)束掃描。腹部分割結(jié)果如圖13-25(c)所示。

(4)翅膀分割：采用和觸角及腹部分割相似的算法可以分割出翅膀，如圖13-25(d)所示。13.3.3輪廓跟蹤

為了計(jì)算昆蟲的面積、周長及其它相關(guān)特征參數(shù)，需要對(duì)昆蟲進(jìn)行輪廓跟蹤。本實(shí)例給出了兩種跟蹤邊界的方法：一種是按照從上到下、從左到右的順序掃描圖像，若當(dāng)前

圖像像素值為0，查找其8鄰域內(nèi)的所有像素點(diǎn)，如果8鄰域像素值之和為0，表明該像素點(diǎn)不是邊界點(diǎn)，否則為邊界點(diǎn)，復(fù)制當(dāng)前像素點(diǎn)到新的圖像內(nèi)存中(初始化所有像素點(diǎn)值為255)；第二種方法是邊界鏈碼法。13.3.4特征提取

根據(jù)昆蟲的體型，提取出觸角形狀比例因子、腹部粗細(xì)比例因子、翅膀?qū)?shù)、區(qū)域周長、區(qū)域面積、矩形度、偏心率、致密度、似圓度、形狀參數(shù)、中心矩等11個(gè)特征參數(shù)，并利用這些特征參數(shù)進(jìn)行識(shí)別。鑒于篇幅，下面僅介紹幾個(gè)重要的特征。

(1)觸角因子。蝴蝶和蛾最大區(qū)別之一就在于其觸角的形狀不同。一般，蝴蝶的觸角頂部稍大，然后逐步變細(xì)，呈現(xiàn)出棒狀型；而蛾子的觸角頂部較細(xì)，然后逐漸變大，呈羽絲狀。因此，可以通過提取觸角的形狀來進(jìn)行分類。在觸角分割的基礎(chǔ)上，定義觸角因子(Antenna_Factor)為觸角上半部與整個(gè)觸角的面積比：(13-1)式中：Half_Area是觸角上半部的面積；Total_Area是觸角的總面積。

(2)腹部因子。蝴蝶和蛾的另一個(gè)重要區(qū)別就是它們的腹部粗細(xì)不同。一般，蝴蝶的腹部相對(duì)比較細(xì)小和狹長，而蛾子則比較粗壯。定義腹部因子(Belly_Factor)為腹部平均寬度與圖像寬度之比：(13-2)式中：Belly_Avg_Width為腹部的平均寬度；Width為圖像寬度。

(3)翅膀?qū)?shù)。蝴蝶一定有2對(duì)翅膀，而蛾可能只有1對(duì)翅膀?？梢愿鶕?jù)翅膀分割直接得到翅膀?qū)?shù)。

(4)區(qū)域周長。區(qū)域周長是指蝴蝶或蛾外邊界的長度。區(qū)域周長P用式(10-3)計(jì)算。

(5)區(qū)域面積。區(qū)域面積是指蝴蝶或蛾區(qū)域所占的面積。由于圖像已經(jīng)二值化，故簡單地統(tǒng)計(jì)目標(biāo)物體像素點(diǎn)總個(gè)數(shù)即得到區(qū)域面積。13.3.5特征參數(shù)測量及特征篩選

(1)