智能圖像處理與分析識(shí)別

《智能圖像處理與分析識(shí)別》圖像智能識(shí)別方法10.1聚類識(shí)別10.2支持向量機(jī)（SVM）識(shí)別10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別10.1聚類識(shí)別10.1.1聚類算法主要思想聚類分析是在沒有給定劃分類別的情況下，根據(jù)數(shù)據(jù)相似度進(jìn)行樣本分組的一種方法。聚類的輸入是一組未被標(biāo)記的樣本，聚類根據(jù)數(shù)據(jù)自身的距離或相似度將數(shù)據(jù)劃分為若干組（類），劃分的原則是組內(nèi)（類內(nèi)）樣本距離最小化而組間（類間）距離最大化。10.1聚類識(shí)別常用的聚類方法如下表所示類型包括的主要算法劃分（分裂）方法K-Means算法（C-均值）、K-MEDOIDS算法（K-中心點(diǎn)）、CLARANS算法（基于選的算法）層次分析方法BIRCH算法（平衡迭代規(guī)約和聚類）、CURE算法（代表聚類）、CHAMELEON算法（動(dòng)態(tài)模型）基于密度的方法DBSCAN算法（基于高度連接區(qū)域）、DENCLUE算法（密度分布函數(shù)）、OPTICS算法（對(duì)象排序識(shí)別）基于網(wǎng)格的方法STING算法（統(tǒng)計(jì)信息網(wǎng)絡(luò)）、CLOUE算法（聚類高維空間）、WAVE-CLUSTER算法（小波變換）基于模型的方法統(tǒng)計(jì)學(xué)方法、神經(jīng)網(wǎng)絡(luò)方法10.1.2K-Means聚類算法理論基礎(chǔ)K-Means聚類算法也叫C-均值聚類，是典型的基于距離的非層次聚類算法，在最小化誤差函數(shù)的基礎(chǔ)上將數(shù)據(jù)劃分為預(yù)定的類數(shù)K，采用距離作為相似性的評(píng)價(jià)指標(biāo)，即認(rèn)為兩個(gè)對(duì)象的距離越近，其相似度越大。由聚類所生成的一組樣本的集合成為聚類簇。同一簇內(nèi)樣本彼此相似，與其他簇中的樣本相異。該算法原理簡(jiǎn)單并便于處理大量的數(shù)據(jù)，對(duì)于孤立點(diǎn)的敏感性好。10.1聚類識(shí)別10.1聚類識(shí)別（1）目標(biāo)函數(shù)

式中，K表示聚類簇的個(gè)數(shù)，Ei

是第i個(gè)簇，x

是對(duì)象（樣本），e

是簇

Ei

的聚類中心，n

是數(shù)據(jù)集中樣本的個(gè)數(shù)，ni

是第

i個(gè)簇中樣本的個(gè)數(shù)。10.1聚類識(shí)別（2）相似性的度量

對(duì)于連續(xù)屬性，要先對(duì)各屬性值進(jìn)行零-均值規(guī)范，再進(jìn)行距離的計(jì)算。K-Means聚類算法中，一般需要度量樣本之間的距離、樣本與簇之間的距離以及簇與簇之間的距離。

度量樣本之間的相似性最常用的是歐幾里得距離、曼哈頓距離和閔可夫斯基距離；樣本X與簇之間的距離可以用樣本到簇中心的距離來表示；簇與簇之間的距離可以用簇中心的距離來表示。

用p個(gè)屬性來表示n個(gè)樣本的數(shù)據(jù)矩陣如下：樣本之間距離計(jì)算的方法有很多，包括歐幾里得距離、曼哈頓距離、閔可夫斯基距離等。

10.1聚類識(shí)別

在閔可夫斯基距離中，q為正整，q=1時(shí)為曼哈頓距離；q=2時(shí)為歐幾里得距離10.1聚類識(shí)別（3）算法過程聚類算法的具體實(shí)現(xiàn)步驟如下：（I）從N個(gè)樣本數(shù)據(jù)中隨機(jī)選取K個(gè)對(duì)象作為初始的聚類中心；（II）分別計(jì)算每個(gè)樣本到各個(gè)聚類中心的距離，將對(duì)象分配到距離最近的類中；（III）所有對(duì)象分配完成后，重新計(jì)算K個(gè)聚類的中心；（IV）與前一次計(jì)算得到的K個(gè)聚類中心比較，如果聚類中心發(fā)生變化，轉(zhuǎn)第（II）步，否

則轉(zhuǎn)第（V）步；（V）當(dāng)質(zhì)心不發(fā)生變化時(shí)停止并輸出聚類結(jié)果。10.1聚類識(shí)別（4）聚類分析算法評(píng)價(jià)

聚類分析僅根據(jù)樣本數(shù)據(jù)本身將樣本分組。其目標(biāo)是，組內(nèi)的對(duì)象相互之間是相似的（相關(guān)的），而不同組中的對(duì)象是不同的（不相關(guān)的）。組內(nèi)的相似性越大，組間差別越大，聚類效果就越好。1）purity評(píng)價(jià)法purity方法是極為簡(jiǎn)單的一種聚類評(píng)價(jià)方法，只需要計(jì)算正確聚類數(shù)占總數(shù)的比例，purity評(píng)價(jià)公式如下：

其中，x=(x1,x2,...,xk)是聚類的集合。xk表示第k個(gè)聚類的集合；y=(y1,y2,...,yk)表示需要被聚類的集合，yi表示第i個(gè)聚類對(duì)象；n表示被聚類集合對(duì)象的總數(shù)。

10.1聚類識(shí)別2）RI評(píng)價(jià)法實(shí)際上這是一種用排列組合原理來對(duì)聚類進(jìn)行評(píng)價(jià)的手段，RI評(píng)價(jià)公式如下：R是指被聚類在一類的兩個(gè)對(duì)象被正確分類了；W是指不應(yīng)該被聚類在一類的兩個(gè)對(duì)象被正確分開了；M指不應(yīng)該放在一類的對(duì)象被錯(cuò)誤地放在了一類；D指不應(yīng)該分開的對(duì)象被錯(cuò)誤地分開了。

RI和Fa的取值范圍均為[0,1]，值越大說明聚類效果越好。值越大說明聚類效果越好。實(shí)際上RI評(píng)價(jià)法就是把準(zhǔn)確率p和召回率r看得同等重要，事實(shí)上有時(shí)候我們可能需要某一特性更多一點(diǎn)，這時(shí)候就適合使用F值評(píng)價(jià)法。10.1.3聚類算法的實(shí)現(xiàn)在MATLAB中實(shí)現(xiàn)的聚類主要包括K-Means聚類、層次聚類、FCM以及神經(jīng)網(wǎng)絡(luò)聚類，其主要的相關(guān)函數(shù)如下表。10.1聚類識(shí)別函數(shù)名函數(shù)功能所屬工具箱kmeans()K-means聚類統(tǒng)計(jì)工具箱linkage()創(chuàng)建一個(gè)層次聚類樹統(tǒng)計(jì)工具箱cluster()根據(jù)層次聚類樹進(jìn)行聚類或根據(jù)高斯混合分布構(gòu)建聚類統(tǒng)計(jì)工具箱Evalclusters()用于評(píng)價(jià)聚類結(jié)果統(tǒng)計(jì)工具箱fcm()模糊聚類模糊邏輯工具箱selforgmap()用于聚類的自組織神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)工具箱10.1聚類識(shí)別（1）K-means聚類函數(shù)kmeans()函數(shù)kmeans()用于創(chuàng)建一個(gè)k均值聚類模型，其常用的調(diào)用形式如下：

[IDX,C,sumd,D]=kmeans(x,k,param1,val1,param2,val2,…);參數(shù)說明：x為輸入數(shù)據(jù)，待分類的樣本數(shù)據(jù)；k為聚類數(shù)；IDX為返回的每個(gè)樣本數(shù)據(jù)的類別；C為返回的k個(gè)類別的中心向量，是一個(gè)kp維的矩陣，p為樣本的維度；sumd為返回的每個(gè)類別樣本到中心向量的距離和，是一個(gè)1k維的向量；D為返回的每個(gè)樣本到中心的距離，是一個(gè)nk維矩陣。1.3數(shù)字圖像處理的基本內(nèi)容和基本步驟利用kmeans()函數(shù)進(jìn)行聚類的MATLAB程序代碼如下：%%構(gòu)建聚類輸入數(shù)據(jù)rng('default')%使用默認(rèn)種子X=[randn(100,2)+ones(100,2);…randn(100,2)-ones(100,2)];%隨機(jī)生成200個(gè)坐標(biāo)點(diǎn)

%%構(gòu)建聚類模型——設(shè)置參數(shù)opts=statset('Display','final');%展示最后一次聚類結(jié)果[idx,ctrs]=kmeans(X,2,'Distance','city','Replicates',5,'Options',opts);

%%畫圖表示樣本及聚類中心figure,plot(X(idx==1,1),X(idx==1,2),'g^','MarkerSize',4,'MarkerFaceColor','g');holdon;plot(X(idx==2,1),X(idx==2,2),'r^','MarkerSize',4,'MarkerFaceColor','r');plot(ctrs(:,1),ctrs(:,2),'b.','MarkerSize',20,'LineWidth',2);legend('Cluster1','Cluster2','Centroids','Location','NW')legend('簇1','簇2','中心','NW')holdoff;

隨機(jī)生成的200個(gè)坐標(biāo)點(diǎn)經(jīng)過kmeans聚類函數(shù)，由最初隨機(jī)確定的兩個(gè)聚類中心，經(jīng)過迭代，確定了最終的兩類的聚類中心，以此把樣本數(shù)據(jù)劃分成兩個(gè)類?！綧atlab實(shí)現(xiàn)】10.1聚類識(shí)別（2）層次聚類函數(shù)linkage()函數(shù)linkage()用于創(chuàng)建一個(gè)層次聚類樹，和cluster配合使用，其常用的調(diào)用形式如下：

Y=linkage(X,method,metric);參數(shù)說明：X為輸入數(shù)據(jù)的樣本；

method為樣本距離的算法，常用的算法有：'single'（最短距離，缺?。?，'complete'（最大距離），'average'（平均距離），'centroid'（重心距離），'ward'（離差平方和），等。

metric用指定的方法計(jì)算X數(shù)據(jù)矩陣中對(duì)象之間的距離，metric取值如下：'euclidean'（歐氏距離，默認(rèn)），'seuclidean'（標(biāo)準(zhǔn)化歐氏距離），'mahalanobis'（馬氏距離），'cityblock'（布洛克距離），'minkowski'（明可夫斯基距離），'chebychev'（Chebychev距離），等。10.1聚類識(shí)別（3）聚類模型創(chuàng)建函數(shù)cluster()函數(shù)cluster()用于從linkage函數(shù)中創(chuàng)建指定數(shù)目的聚類，常用的調(diào)用形式如下：

T=cluster(Y,'maxclust',n);或T=cluster(Y,'cutoff',c);參數(shù)說明：Y為使用linkage函數(shù)構(gòu)建的層次聚類樹，是一個(gè)(m-1)3維的矩陣，其中m是觀察的樣本數(shù)當(dāng)參數(shù)為'maxclust'時(shí)，n為聚類的類別，當(dāng)參數(shù)為'cutoff'時(shí)，c表示剪枝的閾值。下面，使用linkage()函數(shù)和cluster()函數(shù)構(gòu)建一個(gè)聚類模型，創(chuàng)建數(shù)據(jù)集X，將節(jié)點(diǎn)標(biāo)記在散點(diǎn)圖上，指定計(jì)算方法和度量并生成層次聚類樹。10.1聚類識(shí)別其MATLAB程序代碼如下：%%生成數(shù)據(jù)集X=[12;13;21;31;78;99;108;4,5x=X(:,1);y=X(:,2);n=length(x);

%%創(chuàng)建聚類%產(chǎn)生層次聚類樹，默認(rèn)采用歐式距離Y=linkage(X,'average','euclidean');%可視化層次聚類樹,0表示展示全部節(jié)點(diǎn)figure,dendrogram(Y,0);%在層次聚類樹的基礎(chǔ)上生成指定數(shù)目的類

%在這里表示生成2類T1=cluster(Y,'maxclust',2);%%聚類結(jié)果可視化cluster1=zeros(1,2);cluster2=zeros(1,2);fori=1:length(T1)cluster_goal=T1(i);%第一類ifcluster_goal==1cluster1(end+1,:)=X(i,:);%第二類elsecluster2(end+1,:)=X(i,:);endendx_cluster1=cluster1(2:end,:);x_cluster2=cluster2(2:end,:);%根據(jù)序號(hào)生成二維散點(diǎn)圖figure,scatter(x_cluster1(:,1),x_cluster1(:,2),20,'go','MarkerFaceColor','g');holdon;scatter(x_cluster2(:,1),x_cluster2(:,2),20,'r^','MarkerFaceColor','r');axis([0,12,0,12])legend('第一類','第二類')%在圖中生成序號(hào)text(x,y,arrayfun(@(x)[''num2str(x)],1:n,'UniformOutput',0),…'color','k','fontweight','bold','fontsize',12);【Matlab實(shí)現(xiàn)】10.1聚類識(shí)別

隨機(jī)選定8個(gè)坐標(biāo)點(diǎn)作為層次聚類的輸入數(shù)據(jù)集，利用linkage函數(shù)生成的層次聚類樹狀圖如圖（a）所示，橫坐標(biāo)表示各點(diǎn)的序號(hào)，縱坐標(biāo)為兩類之間的距離，可以看出1、2、3、4、8號(hào)點(diǎn)聚為一類，5、6、7號(hào)點(diǎn)聚為一類。圖（b）為cluster函數(shù)聚類后的二維散點(diǎn)圖，當(dāng)參數(shù)為2時(shí)數(shù)據(jù)集被分為兩類，且與linkage分類結(jié)果一致。a）層次聚類樹狀圖b)聚類函數(shù)cluster可視化結(jié)果10.1聚類識(shí)別（4）聚類結(jié)果評(píng)價(jià)函數(shù)evalclusters()函數(shù)evalclusters()用于評(píng)價(jià)聚類結(jié)果，常用的調(diào)用形式如下：

eva=evalclusters(x,clust,criterion);參數(shù)說明：x為給定的輸入數(shù)據(jù)；clust為聚類后的標(biāo)簽，輸入形式可以是矩陣也可以是字符串，若使用Matalb自帶的算法進(jìn)行聚類，則需要填寫字符串，如令clust='kmeans'；若是用來評(píng)估自己指定的算法性能，則需填寫聚類結(jié)果的標(biāo)簽矩陣Label矩陣，如令clust=zeros(size(meas,1),6);criterion

可以選擇四種評(píng)價(jià)指標(biāo)

'CalinskiHarabasz'，'DavieBouldin'，'gap'

或'silhouette'。10.1聚類識(shí)別（5）模糊聚類函數(shù)fcm()函數(shù)fcm()用于創(chuàng)建一個(gè)模糊c均值聚類模型，常用的調(diào)用形式如下：

[centers,U]=fcm(x,Nc);參數(shù)說明：centers為聚類中心；U為模糊分區(qū)矩陣；x為輸入數(shù)據(jù)；Nc為表示聚合中心數(shù)目即類別數(shù)。10.1聚類識(shí)別（6）自組織神經(jīng)網(wǎng)絡(luò)聚類函數(shù)selforgmap()函數(shù)selforgmap()用于創(chuàng)建聚類的自組織神經(jīng)網(wǎng)絡(luò)，常用的調(diào)用形式如下：

selforgmap(dimensions,coverSteps,initNeighbor,topologyFcn,distanceFcn);參數(shù)說明：dimensions為行向量的尺寸大小，默認(rèn)值為[8,8]；coverSteps為初始覆蓋輸入空間的訓(xùn)練步驟的數(shù)目，默認(rèn)值為100；initNeighbor為初始鄰里，默認(rèn)值為3；topologyFcn為層拓?fù)浜瘮?shù)，默認(rèn)值為'hextop'；distanceFcn為神經(jīng)元距離函數(shù)，默認(rèn)值為'linkdist'。《智能圖像處理與分析識(shí)別》圖像智能識(shí)別方法10.1聚類識(shí)別10.2支持向量機(jī)（SVM）識(shí)別10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別10.2支持向量機(jī)（SVM）識(shí)別10.2.1SVM的分類思想傳統(tǒng)模式識(shí)別技術(shù)只考慮分類器對(duì)訓(xùn)練樣本的擬合情況，以最小化訓(xùn)練集上的分類誤差為目標(biāo)。通過為訓(xùn)練過程提供充足的訓(xùn)練樣本，來試圖提高分類器在未見過的測(cè)試集上的識(shí)別率。

然而，對(duì)于少量的訓(xùn)練樣本集合來說，不能保證一個(gè)可以很好地分類訓(xùn)練樣本的分類器也能夠很好地分類測(cè)試樣本。在缺乏代表性的小訓(xùn)練集情況下，一味地降低訓(xùn)練集上的分類誤差就會(huì)導(dǎo)致過度擬合。支持向量機(jī)（SupportVectorMachine，簡(jiǎn)稱SVM）以結(jié)構(gòu)化風(fēng)險(xiǎn)最小化為原則，即兼顧訓(xùn)練誤差（經(jīng)驗(yàn)風(fēng)險(xiǎn)）與測(cè)試誤差（期望風(fēng)險(xiǎn)）的最小化，具體體現(xiàn)在分類模型的選擇和模型參數(shù)的選擇上。（1）分類模型的選擇

要分類如下圖所示的兩類樣本，可以看到圖中的曲線可以將圖中的訓(xùn)練樣本全部分類正確，而直線則會(huì)錯(cuò)分兩個(gè)訓(xùn)練樣本；然而，對(duì)于圖中的大量測(cè)試樣本，簡(jiǎn)單的直線模型卻取得了更好的識(shí)別結(jié)果。應(yīng)該選擇什么樣的分類模型呢？

通過控制分類模型的復(fù)雜性可以防止過度擬合，因而采用SVM算法時(shí)，可以盡量選擇簡(jiǎn)單模型——二維空間中的直線、三維空間中的平面和更高維空間中的超平面。10.2.1SVM的分類思想（2）模型參數(shù)的選擇

如下圖所示為二維空間中的兩類樣本，可以采用圖

a）中的任意直線將它們分開。哪條直線是最優(yōu)的選擇呢？

直觀上，距離訓(xùn)練樣本太近的分類線將對(duì)噪聲比較敏感，且對(duì)訓(xùn)練樣本之外的數(shù)據(jù)不太可能歸納得很好；而遠(yuǎn)離所有訓(xùn)練樣本的分類線可能具有較好的歸納能力。b）中，設(shè)H為分類線，分類線的方程為。H1、H2分別為過各類中離分類線最近的樣本、且平行于分類線的直線，則H1與H2之間的距離叫作分類間隔（又稱為余地，Margin）。10.2.1SVM的分類思想

所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開（訓(xùn)練錯(cuò)誤率為0），而且使分類間隔最大。下圖表述的只是在二維情況下的特例—最優(yōu)分類線，在三維空間中則是具有最大間隔的平面，更為一般的情況是高維空間的最優(yōu)分類超平面。實(shí)際上，SVM正是從線性可分情況下的最優(yōu)分類面發(fā)展而來的，其主要思想就是尋找能夠成功分開兩類樣本，并且具有最大分類間隔的最優(yōu)分類超平面。10.2.1SVM的分類思想10.2.2SVM的基本理論

對(duì)于二類問題，給定一個(gè)訓(xùn)練樣本

，

其中，xi為維空間中的一點(diǎn)，yi為類別標(biāo)識(shí)。通過核函數(shù)（MercerKerneloperator），

將樣本數(shù)據(jù)從原空間映射到高維空間H中（記為：

），使得這些樣本數(shù)據(jù)在高維特征空間中線性可分。支持向量機(jī)在高維空間H中建立最大間隔分類超平面：10.2支持向量機(jī)（SVM）識(shí)別可以證明下式成立：其中，ai

是每個(gè)樣本所對(duì)應(yīng)的Lagrange乘子，可由下式得到

s.t.

10.2.2SVM的基本理論

對(duì)于多類問題，可通過組合或者構(gòu)造多個(gè)二類分類器來解決。常用的算法有兩種：（I）一對(duì)多模式（1-aginst-rest），對(duì)于每一類都構(gòu)造一個(gè)分類器，使其與其他類分離，即c類問題構(gòu)造c個(gè)二類分類器。（II）一對(duì)一模式（1-aginst-1），在c類訓(xùn)練樣本中構(gòu)造所有可能的兩類分類器，每個(gè)分類器分別將某一類從其他任意類中分離出來，在c類中的兩類訓(xùn)練樣本上訓(xùn)練共構(gòu)造c(c-2)/2個(gè)二類分類器。

測(cè)試階段將測(cè)試樣本輸入每個(gè)分類器，采用投票機(jī)制來判斷樣本所屬類。若二類分類器判定樣本屬于第j類，則第j類的票數(shù)加1，最終樣本屬于得票最多的那一類。10.2.2SVM的基本理論10.2.3SVM算法的實(shí)現(xiàn)10.2支持向量機(jī)（SVM）識(shí)別函數(shù)名函數(shù)功能fitcsvm()訓(xùn)練用于一類和二類分類的支持向量機(jī)(SVM)分類器predict()創(chuàng)建一個(gè)層次聚類樹svm算法主要函數(shù)列表

（1）訓(xùn)練函數(shù)fitcsvm()函數(shù)fitcsvm用來訓(xùn)練用于一類和二類分類的支持向量機(jī)(SVM)分類器，常用的調(diào)用形式：

SVMstruct=fitcsvm(X,Y);參數(shù)說明：X是訓(xùn)練數(shù)據(jù)矩陣，大小為m×n，m表示訓(xùn)練樣本數(shù)目，n表示特征的維數(shù)，即每行表示1個(gè)訓(xùn)練樣本（特征向量）；Y是一個(gè)代表訓(xùn)練樣本標(biāo)簽的1維向量，其元素值只能為0或1，通常1表示正例，0表示反例，Y的維數(shù)必須和X的行數(shù)相等，以保證訓(xùn)練樣本同其類別標(biāo)號(hào)的一一對(duì)應(yīng)；SVMStruct是返回值，即為訓(xùn)練所得的代表SVM分類器的結(jié)構(gòu)體，包含有關(guān)最佳分割超平面的種種信息，如a、和b等；此外，該結(jié)構(gòu)體的

SupportVector

域中還包含了支持向量的詳細(xì)信息，可以使用SVMStruct.SupportVector

獲得它們，而這些都是后續(xù)分類所需要的。10.2.3SVM算法的實(shí)現(xiàn)

（2）分類預(yù)測(cè)函數(shù)predict()函數(shù)predict利用訓(xùn)練得到的SVMStruct結(jié)構(gòu)對(duì)一組樣本進(jìn)行分類，常用調(diào)用形式如下：

Group=predict(SVMStruct，Sample);參數(shù)說明：SVMStruct是訓(xùn)練得到的代表SVM分類器的結(jié)構(gòu)體，即函數(shù)fitcsvm的返回值；Sample是要進(jìn)行分類的樣本矩陣，行數(shù)等于樣本的數(shù)量，列數(shù)是特征的維數(shù)，每行為1個(gè)樣本特征向量，Sample的列數(shù)應(yīng)與訓(xùn)練該SVM時(shí)使用的樣本特征維數(shù)相同；Group是返回值，即為一個(gè)包含Sample中所有樣本分類結(jié)果的列向量，其維數(shù)與Sample矩陣的行數(shù)相同。10.2.3SVM算法的實(shí)現(xiàn)下面利用fitcsvm和predict函數(shù)來解決一個(gè)二維空間中的兩類問題。利用SVM算法對(duì)鳶尾植物進(jìn)行分類的Maltab程序代碼如下：%%載入數(shù)據(jù)集loadfisheriris%載入fisheriris數(shù)據(jù)集data=[meas(:,1),meas(:,2)];%取出所有樣本的前2維作為特征

%%劃分?jǐn)?shù)據(jù)集%轉(zhuǎn)化為“是不是setosa類”的2類問題groups=ismember(species,'setosa');%利用交叉驗(yàn)證隨機(jī)分割數(shù)據(jù)集[train,test]=crossvalind('holdOut',groups);

%%訓(xùn)練向量機(jī)%訓(xùn)練一個(gè)線性的支持向量機(jī)，訓(xùn)練好的分類器保存在svmStructsvmStruct=fitcsvm(data(train,:),groups(train),'KernelFunction','linear');%利用訓(xùn)練所得分類器信息的svmStruct對(duì)測(cè)試樣本進(jìn)行分類，結(jié)果保存到classesclasses=predict(svmStruct,data(test,:));10.2.3SVM算法的實(shí)現(xiàn)【Matlab實(shí)現(xiàn)】：%%測(cè)試準(zhǔn)確率%計(jì)算測(cè)試樣本的識(shí)別率%正確分類的樣本數(shù)目nCorrect=sum(classes==groups(test,:));accuracy=nCorrect/length(classes);%計(jì)算正確率

%%可視化測(cè)試結(jié)果%繪制數(shù)據(jù)的散點(diǎn)圖并圈出支持向量。%支持向量是發(fā)生在估計(jì)類邊界上或超出其估計(jì)類邊界%的觀察值。sv=svmStruct.SupportVectors;%繪制散點(diǎn)圖figure,%測(cè)試集k=gscatter(data(train,1),data(train,2),groups(train),'bm','+');holdons1=plot(sv(:,1),sv(:,2),'ko','MarkerSize',8);%訓(xùn)練集h=gscatter(data(test,1),data(test,2),groups(test),'gr','*');s2=plot(sv(:,1),sv(:,2),'ko','MarkerSize',8);10.2.3SVM算法的實(shí)現(xiàn)%分類器%斜率w=-svmStruct.Beta(1,1)/svmStruct.Beta(2,1);b=-svmStruct.Bias/svmStruct.Beta(2,1);%截距x_=0:0.01:10;y_=w*x_+b;s3=plot(x_,y_,'k');legend([k(1),k(2),s1,h(1),h(2),s3],...'0train','1train','SupportVector','0test','1test','分類器')《智能圖像處理與分析識(shí)別》圖像智能識(shí)別方法10.1聚類識(shí)別10.2支持向量機(jī)（SVM）識(shí)別10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別10.3.1人工神經(jīng)網(wǎng)絡(luò)的主要思想神經(jīng)網(wǎng)絡(luò)作為一種仿生物的新型數(shù)學(xué)模型，可以嘗試著去解決一些傳統(tǒng)的方法或者難度很大的問題。19世紀(jì)80年代中期，Rumelhart在誤差反向傳播的理論基礎(chǔ)上提出了反向傳播（Back-Propagation）的學(xué)習(xí)算法，簡(jiǎn)稱為BP神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是由許多相互連接的處理單元組成。這些處理單元通常線性排列成組，稱為層。每一個(gè)處理單元有許多輸入量，而對(duì)每一個(gè)輸入量都相應(yīng)有一個(gè)相關(guān)聯(lián)的權(quán)重。處理單元將輸入量經(jīng)過加權(quán)求和，并通過傳遞函數(shù)的作用得到輸出量，再傳給下一層的神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，ANN）由神經(jīng)元模型構(gòu)成，這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)。每個(gè)神經(jīng)元具有單一輸出，并且能夠與其它神經(jīng)元連接，存在許多（多重）輸出連接方法，每種連接方法對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：（1）對(duì)于每個(gè)節(jié)點(diǎn)存在一個(gè)狀態(tài)變量；（2）從節(jié)點(diǎn)i至節(jié)點(diǎn)j，存在一個(gè)連接權(quán)系數(shù)；（3）對(duì)于每個(gè)節(jié)點(diǎn)，存在一個(gè)閾值；（4）對(duì)于每個(gè)節(jié)點(diǎn)，定義一個(gè)變換函數(shù)，，對(duì)于最一般的情況，此函數(shù)取形式。

人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也稱為訓(xùn)練，指的是神經(jīng)網(wǎng)絡(luò)在受到外部環(huán)境的刺激時(shí)調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)，使神經(jīng)網(wǎng)絡(luò)以一種新的方式對(duì)外部環(huán)境做出反應(yīng)的一個(gè)過程。在分類與預(yù)測(cè)中，人工神經(jīng)網(wǎng)絡(luò)主要使用有指導(dǎo)的學(xué)習(xí)方式，即根據(jù)給定的訓(xùn)練樣本和標(biāo)簽，調(diào)整人工神經(jīng)網(wǎng)絡(luò)的參數(shù)，以使網(wǎng)絡(luò)輸出接近于已知的樣本類標(biāo)記或其他形式的因變量。10.3.1人工神經(jīng)網(wǎng)絡(luò)的主要思想10.3.2BP神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)BP（BackPropagation，反向傳播）算法的基本思想是，利用輸出后的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)并更新前一層的誤差，如此一層一層的反向傳播下去，就獲得了網(wǎng)絡(luò)各層的誤差估計(jì)。這樣就形成了將輸出層表現(xiàn)出的誤差沿著與輸入層相反的方向逐級(jí)向網(wǎng)絡(luò)的輸入層傳遞的過程。10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別一般提到BP網(wǎng)絡(luò)算法時(shí)，默認(rèn)指用BP算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)模型的拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱含層（hidelayer）和輸出層（outputlayer）。已知，在上圖中，輸入層有L個(gè)神經(jīng)元，隱含層有M個(gè)神經(jīng)元，輸出層有N個(gè)神經(jīng)元。BP算法原理實(shí)現(xiàn)過程如下：第一步：BP網(wǎng)絡(luò)進(jìn)行初始化，給各連接值分別賦值，在區(qū)間（-1,1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，學(xué)習(xí)速率，給定計(jì)算精度值和最大學(xué)習(xí)次數(shù)G。第二步，隨機(jī)選取第p個(gè)輸入樣本及對(duì)應(yīng)期望輸出，如公式所示。10.3.2BP神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)

第三步，計(jì)算隱含層各個(gè)神經(jīng)元的輸入和輸出。隱含層第j個(gè)節(jié)點(diǎn)的輸入為

隱含層第j個(gè)節(jié)點(diǎn)的輸出為

輸出層第k個(gè)節(jié)點(diǎn)的輸入為

輸出層第k個(gè)節(jié)點(diǎn)的輸出為

10.3.2BP神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù)，如公下式所示。

第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)，如下式所示。

第六步，利用隱含層各神經(jīng)元的輸出和輸出層各神經(jīng)元的輸入修正連接權(quán)值，如下式所示。

10.3.2BP神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)

第七步，利用輸入層各神經(jīng)元的輸出和隱含層各神經(jīng)元的輸入修正連接權(quán)值，如下式所示。第八步，計(jì)算前向傳播過程中，產(chǎn)生的全局誤差E，如下式所示。

第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求，當(dāng)誤差達(dá)到預(yù)設(shè)精度或者學(xué)習(xí)次數(shù)大于設(shè)定的最大迭代次數(shù)，則結(jié)束算法；否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，迭代學(xué)習(xí)。10.3.2BP神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)在神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，BP網(wǎng)絡(luò)得到了廣泛應(yīng)用，但BP網(wǎng)絡(luò)也具有一些難以克服的局限性。例如，BP算法只用到均方誤差函數(shù)對(duì)權(quán)值和閾值的一階導(dǎo)數(shù)（梯度）的信息，使得該算法存在收斂速度慢、易陷入局部極小等缺陷。為了克服這些問題，也產(chǎn)生了其他類型的人工神經(jīng)網(wǎng)絡(luò)，如LM神經(jīng)網(wǎng)絡(luò)、RBF徑向基神經(jīng)網(wǎng)絡(luò)等。在應(yīng)用中可根據(jù)實(shí)際情況，選擇合適的人工神經(jīng)網(wǎng)絡(luò)算法與結(jié)構(gòu)。10.3.2BP神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)10.3.3BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)在MATLAB中，BP神經(jīng)網(wǎng)絡(luò)的常見重要函數(shù)和基本功能見下表：10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別函數(shù)名功能feedforwardnet()創(chuàng)建一個(gè)BP網(wǎng)絡(luò)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)BP神經(jīng)網(wǎng)絡(luò)算法主要函數(shù)函數(shù)feedforwardnet()用于創(chuàng)建一個(gè)BP網(wǎng)絡(luò)，feedforwardnet函數(shù)的功能等同于老版本Matlab中的newff函數(shù)，但其調(diào)用形式更加簡(jiǎn)潔，簡(jiǎn)化了用戶的工作。常用的調(diào)用形式如下：net=feedforwardnet(hiddenSizes,trainFcn);參數(shù)說明：hiddenSizes是隱含層神經(jīng)元個(gè)數(shù)（一個(gè)行向量），默認(rèn)值10；trainFcn是用于訓(xùn)練網(wǎng)絡(luò)性能所采用的訓(xùn)練函數(shù)，默認(rèn)'trainlm'，是指L-M優(yōu)化算法；net是所創(chuàng)建的網(wǎng)絡(luò)。10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別（1）網(wǎng)絡(luò)創(chuàng)建函數(shù)feedforwardnet()函數(shù)logsig()是調(diào)用對(duì)數(shù)Sigmoid激活函數(shù)，對(duì)數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞,+∞)映射到(0,1)，是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。常用的調(diào)用形式如下：A=logsig(N);參數(shù)說明：N是一個(gè)大小為S×Q的輸入矩陣；A是輸出向量，形式上是與N同型的矩陣。10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別（2）激活函數(shù)logsig()函數(shù)tansig()用于調(diào)用正切sigmoid激活函數(shù)，雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞,+∞)映射到(-1,1)，是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。在使用feedforwardnet函數(shù)時(shí)，默認(rèn)第一層傳遞函數(shù)即為tansig。常用的調(diào)用形式如下：A=tansig(N);參數(shù)說明：與logsig函數(shù)相同，N也是一個(gè)大小為S×Q的輸入矩陣；A仍然作為輸出向量，與輸入矩陣N同型，但與logsig函數(shù)不同的是，tansig函數(shù)的輸出將被限制在（-1，1）區(qū)間內(nèi)。10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別（3）激活函數(shù)tansig()將蠓蟲測(cè)試集中的測(cè)試樣本輸入到訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)中，得到測(cè)試集的分類結(jié)果。如下圖所示。利用BP神經(jīng)網(wǎng)絡(luò)建模時(shí)，每次的訓(xùn)練結(jié)果可能不相同，因?yàn)榫W(wǎng)絡(luò)參數(shù)的初值是隨機(jī)賦值的。在進(jìn)行模型訓(xùn)練時(shí)，要進(jìn)行網(wǎng)絡(luò)調(diào)參，并多次訓(xùn)練，選擇識(shí)別率較高的模型加以應(yīng)用。10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別利用BP神經(jīng)網(wǎng)絡(luò)可以進(jìn)行蠓蟲類別的判斷。在這里我們?nèi)藶檎J(rèn)定(1,0)表示為Af蠓蟲，(0,1)表示Apf蠓蟲?！吨悄軋D像處理與分析識(shí)別》圖像智能識(shí)別方法10.1聚類識(shí)別10.2支持向量機(jī)（SVM）識(shí)別10.3人工神經(jīng)網(wǎng)絡(luò)識(shí)別10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別10.4.1CNN的主要思想深度學(xué)習(xí)（DeepLearning）是一種機(jī)器學(xué)習(xí)的技術(shù)，它通過組合低層特征來形成更加抽象的高層，來表示屬性類別或特征。深度學(xué)習(xí)的核心是深度學(xué)習(xí)網(wǎng)絡(luò)（DeepLearningNetworks），深度學(xué)習(xí)網(wǎng)絡(luò)是一種模仿神經(jīng)網(wǎng)絡(luò)進(jìn)行信息分布式并行處理的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)的層數(shù)會(huì)直接影響模型訓(xùn)練的效果。我們往往會(huì)在增加隱含層的層數(shù)，來訓(xùn)練出更加復(fù)雜的模型，這種網(wǎng)絡(luò)結(jié)構(gòu)稱之為深度全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。但深度全連接神經(jīng)網(wǎng)絡(luò)往往會(huì)陷入到局部最優(yōu)解，性能反而不如較淺層函數(shù)。而深度學(xué)習(xí)網(wǎng)絡(luò)中最著名的卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN），不同于深度全連接神經(jīng)網(wǎng)絡(luò)，它并不是把所有的神經(jīng)層直接相連，而是通過用卷積核滑動(dòng)的方式使得相鄰層只有部分節(jié)點(diǎn)相連。卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于圖像識(shí)別和分類問題。10.4.2CNN的理論基礎(chǔ)

卷積神經(jīng)網(wǎng)絡(luò)主要通過卷積運(yùn)算來模擬特征，然后通過卷積的權(quán)值共享及池化操作來降低網(wǎng)絡(luò)參數(shù)的數(shù)量級(jí)。常見的卷積神經(jīng)網(wǎng)絡(luò)如下圖所示，包括輸入層、卷積層、激活函數(shù)、池化層和全連接層。針對(duì)圖像分割和圖像增強(qiáng)等應(yīng)用可能還包括反卷積層。在這里主要詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)的核心：卷積層和池化層。10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別常見卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別（1）卷積層的工作原理卷積層是通過卷積核對(duì)輸入信息進(jìn)行卷積運(yùn)算來提取特征信息的。在圖像處理中，圖像以二維矩陣的形式輸入到網(wǎng)絡(luò)中，因此我們選擇二維滑動(dòng)的卷積方式。卷積層的運(yùn)算涉及三個(gè)概念：步長(zhǎng)、擴(kuò)充值和深度。步長(zhǎng)是指卷積核在原始圖像上滑動(dòng)時(shí)間隔的像素?cái)?shù)量；擴(kuò)充值是指當(dāng)原始圖像的像素?cái)?shù)量不足以進(jìn)行卷積訓(xùn)練時(shí)，人為地對(duì)圖像進(jìn)行擴(kuò)充；深度是指原始圖像擁有的通道數(shù)量。根據(jù)擴(kuò)充值的選取不同，主要將卷積分為三種模式：valid卷積、full卷積和same卷積。這三種卷積模式的相同點(diǎn)在于在卷積的過程中都是將卷積核和輸入矩陣的單元一一對(duì)應(yīng)，不同點(diǎn)則在于擴(kuò)充值的選取不同。10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別1）valid卷積valid卷積是卷積神經(jīng)網(wǎng)絡(luò)的核心運(yùn)算，valid卷積的特點(diǎn)是卷積核不能超出特征圖的范圍。在不增加擴(kuò)充值的情況下，這是一個(gè)下采樣過程，即經(jīng)過卷積后的特征矩陣尺寸要小于輸入矩陣的尺寸。在進(jìn)行卷積時(shí)，主要涉及三個(gè)矩陣：輸入矩陣，卷積核和特征矩陣。其中，輸入矩陣通常尺寸較大且固定不動(dòng)；卷積核尺寸較小，常見尺寸為3×3或者5×5（因?yàn)檩^小的尺寸通常能夠更好地表達(dá)圖像的特征）。利用卷積層對(duì)圖像進(jìn)行卷積，運(yùn)算所得的結(jié)果便組成了特征矩陣。10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別在進(jìn)行卷積運(yùn)算時(shí)，首先要確定特征矩陣的維度，而特征矩陣的維度與步長(zhǎng)、擴(kuò)充值、卷積核的大小及該層輸入的特征圖的大小都有一定的線性關(guān)系，特征矩陣維度的計(jì)算過程見下式。

如圖所示，輸入矩陣的大小是5×5，卷積核的大小為3×3，則輸入矩陣維度，滑動(dòng)步長(zhǎng)，卷積核維度，采用valid卷積方式，，代入公式，可得的值為3，因此可以確定特征矩陣的大小為3×3。與輸入矩陣所映射的對(duì)應(yīng)大小的矩陣做點(diǎn)乘運(yùn)算，進(jìn)而生成特征矩陣。valid卷積運(yùn)算過程10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別2）full卷積full卷積的特點(diǎn)是卷積核可以超出特征圖的范圍，但是卷積核的邊緣要與特征圖的邊緣有交點(diǎn)，這是一個(gè)上采樣過程，也就是經(jīng)過卷積后的特征矩陣尺寸要大于原輸入矩陣的尺寸。如下圖所示，原矩陣經(jīng)過填充后，變成了6×6的矩陣。其中，輸入矩陣維度，卷積核維度，滑動(dòng)步長(zhǎng)設(shè)置為1，采用full卷積形式，擴(kuò)充值維度設(shè)置為2?？梢缘贸?，特征矩陣維度。full卷積運(yùn)算過程10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別3）same卷積same卷積操作與valid卷積和full卷積并無差別，不同點(diǎn)就在于擴(kuò)充值的選擇，valid卷積和full卷積的擴(kuò)充值可以人為選擇，same卷積的擴(kuò)充值必須通過計(jì)算來指定。為了保證輸入矩陣的尺寸在卷積前后保持不變，因此要矩陣維度中Doutput=Dinput=n，代入計(jì)算式，可得下式。由上式可推導(dǎo)出下式：為了保證輸入矩陣和經(jīng)過卷積后的特征矩陣尺寸相等，應(yīng)選取擴(kuò)充值的維度為1。

10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別（2）池化層的工作原理池化（Pooling）操作實(shí)質(zhì)上是一種對(duì)統(tǒng)計(jì)信息進(jìn)行提取的過程，是下采樣的一種實(shí)現(xiàn)方式。在卷積神經(jīng)網(wǎng)絡(luò)中，池化運(yùn)算是對(duì)特征圖的一個(gè)給定區(qū)域求出一個(gè)能代表這個(gè)區(qū)域特殊點(diǎn)的值。池化的主要作用主要表現(xiàn)在兩個(gè)方面。一是減少特征圖的尺寸，特征圖在經(jīng)過池化后，尺寸有所減小，有利于減少計(jì)算量和防止過擬合；二是引入不變性，例如最常用的最大池化是選取特征圖子區(qū)域中最大的那個(gè)值，所以這個(gè)最大值無論在子區(qū)域的哪個(gè)位置，通過最大池化運(yùn)算總會(huì)選到它，所以這個(gè)最大值在這個(gè)區(qū)域內(nèi)的任何位置對(duì)運(yùn)算結(jié)果都不會(huì)產(chǎn)生影響。10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別在實(shí)際應(yīng)用中，池化操作根據(jù)下采樣的方法可以分成最大值下采樣（max-pooling）和平均值下采樣（mean-pooling）。采樣窗口會(huì)將整個(gè)輸入矩陣分成多個(gè)子區(qū)域，并按照不同的采樣操作進(jìn)行取值。池化輸出矩陣的維度見下式：式中，Dpool_size表示池化過程中的采樣器維度大小，本質(zhì)上與卷積過程中卷積核維度的概念相同。

10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別如下圖所示，在最大值下采樣的操作過程中，取每個(gè)子區(qū)域的最大值作為新矩陣的對(duì)應(yīng)元素，采用最大池化層進(jìn)行池化的過程設(shè)置輸入矩陣的尺寸大小為4×4，采樣器的尺寸大小為2×2，滑動(dòng)步長(zhǎng)為2。最大池化運(yùn)算用式(10-29)計(jì)算，其中，輸入矩陣維度=4，采樣器維度=2，擴(kuò)充值設(shè)置為0，滑動(dòng)步長(zhǎng)=1，最終計(jì)算得出=2，即最大池化輸出矩陣的尺寸大小為2×2。最大池化運(yùn)算過程10.4卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別如下圖所示，平均池化層與最大池化層唯一的區(qū)別是平均池化層取過濾器內(nèi)的平均值輸出。在平均值下采樣的操作過程中，設(shè)置輸入矩陣的尺寸大小為4×4，采樣器的尺寸大小為2×2，取每個(gè)子區(qū)域的算術(shù)平均值作為新矩陣的對(duì)應(yīng)元素。輸出矩陣的維度大小與上文中最大值下采樣的計(jì)算過程和輸