基于增量聚類的在線自動(dòng)光學(xué)檢測系統(tǒng)焊點(diǎn)檢測方法

1算法和檢測方法隨著宋元精細(xì)化的發(fā)展趨勢，手動(dòng)痕跡檢查越來越難以滿足實(shí)際生產(chǎn)的需要。自動(dòng)光學(xué)檢測(AutomaticOpticalInspection,AOI)系統(tǒng)能有效提高印刷電路板(PrintedCircuitBoard,PCB)焊點(diǎn)檢測的速度和準(zhǔn)確率,并及時(shí)反饋信息,逐漸成為表面貼裝技術(shù)(SurfaceMountedTechnology,SMT)生產(chǎn)中主要的焊點(diǎn)檢測手段。現(xiàn)有的焊點(diǎn)檢測算法主要分為圖像分析法、圖像對比法和基于神經(jīng)網(wǎng)絡(luò)的方法。圖像分析算法使用靈活,可以使用先驗(yàn)知識指導(dǎo)編程,因而誤報(bào)率較低,但智能化程度不高,有較多的參數(shù)需要編程人員來設(shè)定,因而對操作者要求較高。圖像對比算法操作方便、檢測速度快,但要求訓(xùn)練樣本有足夠的代表性,且焊點(diǎn)定位必須非常精確,否則誤檢率會很高。近年來,神經(jīng)網(wǎng)絡(luò)方法越來越多地應(yīng)用于焊點(diǎn)檢測,但在實(shí)際工業(yè)生產(chǎn)中這種方法的效果并不穩(wěn)定,一個(gè)重要原因是較多的參數(shù)需要人工設(shè)置。以上3種算法已經(jīng)應(yīng)用于AOI系統(tǒng),并在實(shí)際生產(chǎn)中發(fā)揮了作用,但智能化程度仍然有待提高,主要存在以下問題:(1)同類焊點(diǎn)由于生產(chǎn)用料或者工藝條件不同,因而外觀不同,這樣的焊點(diǎn)稱為不同批次焊點(diǎn)。現(xiàn)有算法使用單一的一組檢測參數(shù),因而在檢測不同批次焊點(diǎn)時(shí)誤報(bào)率較高。(2)當(dāng)生產(chǎn)過程中的工藝條件發(fā)生變化時(shí),原有的檢測參數(shù)將不適用于新的焊點(diǎn)檢測。當(dāng)前的解決方法是先暫停在線檢測,并收集新樣本重新訓(xùn)練,然后將新的檢測參數(shù)重新用于在線檢測。這種解決方法無法及時(shí)對檢測參數(shù)做出相應(yīng)調(diào)整,因此會降低生產(chǎn)效率。為了提高AOI的智能化程度,本文提出一種基于增量聚類的焊點(diǎn)檢測方法。將每類樣本聚類為若干子類,從而實(shí)現(xiàn)對多批次焊點(diǎn)的檢測。當(dāng)系統(tǒng)誤報(bào)率升高時(shí),可根據(jù)反饋?zhàn)詣?dòng)學(xué)習(xí)誤報(bào)樣本調(diào)整相關(guān)檢測參數(shù),增強(qiáng)了AOI系統(tǒng)對生產(chǎn)工藝變化的適應(yīng)能力。文章分別闡述了印刷電路板爐后焊點(diǎn)的主要缺陷類型,基于缺陷判別特征的提取,基于聚類的焊點(diǎn)分類器的建立,以及分類器的增量學(xué)習(xí)方法,最終給出了實(shí)驗(yàn)結(jié)果。2在線檢測流程在實(shí)際智能化AOI系統(tǒng)開發(fā)中結(jié)合企業(yè)要求提出了:(1)系統(tǒng)必須能識別不同批次的焊點(diǎn);(2)當(dāng)生產(chǎn)環(huán)境發(fā)生變化時(shí),在線檢測系統(tǒng)能及時(shí)自動(dòng)調(diào)整相關(guān)檢測參數(shù),以保證較高的正確率;(3)檢測速度必須達(dá)到在線檢測的要求;(4)自動(dòng)調(diào)整檢測參數(shù)的速度必須足夠快從而不會對在線檢測產(chǎn)生影響;(5)操作必須方便,避免過多的參數(shù)設(shè)置。本文建立了一種基于增量聚類的焊點(diǎn)檢測系統(tǒng)。在線檢測時(shí)系統(tǒng)可根據(jù)反饋信息自動(dòng)調(diào)整檢測參數(shù)。圖1所示為系統(tǒng)的框架圖,在線檢測流程分為以下幾個(gè)部分:(1)在線檢測前,對一定數(shù)目已知缺陷類型的焊點(diǎn)圖像進(jìn)行訓(xùn)練,得到初始的焊點(diǎn)分類器;(2)將分類器用于在線檢測下一批次的焊點(diǎn),真實(shí)的缺陷類型由工人在維修站確認(rèn),收集誤檢焊點(diǎn)的圖像,并計(jì)算AOI檢測該批次焊點(diǎn)的誤報(bào)率;(3)如果誤報(bào)率保持在正常水平,返回至步驟(2);否則,轉(zhuǎn)到步驟(4);(4)誤報(bào)率異常表明有新批次的焊點(diǎn),將該批次誤檢的焊點(diǎn)圖像用于增量聚類,并更新分類器,然后返回至步驟(2)。3焊接初始分割器3.1彩色焊點(diǎn)圖像的描述本文中,AOI系統(tǒng)采用RGB三色環(huán)形光和彩色相機(jī)獲取焊點(diǎn)圖像。光源位置和角度經(jīng)過優(yōu)化設(shè)計(jì),在獲取的焊點(diǎn)圖像中,紅色、綠色和藍(lán)色分別與焊錫表面的平坦、斜坡和陡坡部分相對應(yīng),從而反映了焊點(diǎn)的三維信息。SMT爐后焊點(diǎn)的缺陷類型主要分為多錫、少錫、虛焊和立碑等,如圖2所示,從左至右分別為不同類型焊點(diǎn)的實(shí)際圖像、側(cè)面視圖和模型圖。將彩色焊點(diǎn)圖像分解為紅、綠、藍(lán)3種單色圖像,并對各單色圖像進(jìn)行閾值分割提取焊點(diǎn)的特征。將焊點(diǎn)分為電極(D1)、焊錫中央(D2)、焊錫前端(D3)和貼裝(D4)4個(gè)區(qū)域,如圖3所示。在每個(gè)區(qū)域分別計(jì)算紅、綠、藍(lán)的面積用來表征焊點(diǎn)特征的分布情況。令p(i,j)為某單色圖像坐標(biāo)(i,j)處的像素,SD為區(qū)域D的面積,則D內(nèi)相應(yīng)某單色圖像的面積百分比fk可表示為fk=∑i,j∈Dp(i,j)/SD.(1)fk=∑i,j∈Dp(i,j)/SD.(1)焊點(diǎn)特征向量可以表示為F=[f1,f2,…,f12],其中,f1-f3、f4-f6、f7-f9、f10-f12分別對應(yīng)區(qū)域D1、D2、D3和D4的紅、綠、藍(lán)顏色特征,對焊點(diǎn)分類即為對特征空間中的焊點(diǎn)特征點(diǎn)進(jìn)行分類。3.2維特征對比隨機(jī)選取來自不同批次的焊點(diǎn)樣本,其中正常樣本351個(gè),缺陷樣本215個(gè)。為了在二維圖中顯示樣本分布,每個(gè)區(qū)域僅選擇兩種顏色特征,將焊點(diǎn)分為正常和有缺陷兩類,如圖4所示。觀察圖4可知,這兩類樣本在特征空間有明顯的分界線,容易區(qū)分正常與有缺陷焊點(diǎn)。因此,可有效利用焊點(diǎn)不同區(qū)域的顏色特征建立分類器對焊點(diǎn)進(jìn)行分類。3.3.馬克思的距離最小距離分類器計(jì)算速度快,適用于實(shí)時(shí)性要求較高的分類任務(wù),本文使用最小距離分類器對焊點(diǎn)進(jìn)行分類。最小距離分類器的基本思想如下:已知有k個(gè)類別的樣本集合{U1,U2,…,Uk},根據(jù)算術(shù)平均依次計(jì)算得到每個(gè)類的中心點(diǎn)向量μ1,μ2,…,μk。定義樣本x與類的距離為x與類中心點(diǎn)向量的距離,在分類時(shí)判定x屬于與之距離最近的類。如何計(jì)算向量間的距離成為一個(gè)關(guān)鍵問題,歐氏距離是最常用的方法,但歐氏距離將向量中每個(gè)指標(biāo)的差別同等看待,但實(shí)際上并非如此。馬氏距離比歐氏距離表示了更多的信息,樣本x和類別Ψ的馬氏距離定義為dM(x,Ψ)=(x?μ)TE?1(x?μ)?????????????????√,(2)dΜ(x,Ψ)=(x-μ)ΤE-1(x-μ),(2)其中,μ為Ψ的中心點(diǎn),n為Ψ中的樣本數(shù),E為Ψ中所有樣本的協(xié)方差矩陣E=1n?1∑i=1n(xi?μ)(xi?μ)T.(3)E=1n-1∑i=1n(xi-μ)(xi-μ)Τ.(3)E為非滿秩時(shí),逆矩陣E-1不存在,可用E的偽逆E+來代替。使用基于馬氏距離的分類器對樣本進(jìn)行分類,當(dāng)樣本滿足多元正態(tài)分布時(shí),同類別樣本呈超橢球面分布,類別中心點(diǎn)和形狀分別由樣本均值和協(xié)方差矩陣決定。3.4子類中分類器的修正定義1對于C1和C2兩個(gè)類,如果存在x∈C1,且dM(x,C1)>dM(x,C2),或者x∈C2,且dM(x,C2)>dM(x,C1),則稱C1和C2存在樣本重疊。在圖4中,同類樣本并不一定圍繞一個(gè)中心點(diǎn)分布,因此僅使用一個(gè)類中心無法完整描述這種類的結(jié)構(gòu)。以圖4(a)為例,對每類樣本進(jìn)行k-均值聚類,將正常樣本分割為子類A1和A2,缺陷樣本分割為子類B1和B2,如圖5(a)所示。觀察圖5(a)可知,絕大多數(shù)不同類的樣本被分開,但子類A2和B1之間存在樣本重疊,因此必須對分類器進(jìn)行改進(jìn)。本文將有樣本重疊的子類進(jìn)一步細(xì)分為更小的子類,直到不同類的子類之間不再有樣本重疊為止。對兩個(gè)存在樣本重疊的子類C1和C2進(jìn)一步細(xì)分的步驟如下:(1)定義集合Π和C,初始化Π為空,將當(dāng)前所有子類加入C;(2)如果Ci∈C,Cj∈C,且Ci和Cj有樣本重疊,則將Ci和Cj都從C中移除,并加入到Π中;(3)如果Π為空,則分類完成;否則,設(shè)定聚類個(gè)數(shù)為2,對Π中的每個(gè)集合進(jìn)行k-均值聚類,并將這些聚類后的子集加入到C中;(4)重新標(biāo)記C中的子集為C1,C2,…,Cn,然后返回至步驟(2)。如圖5(b)所示為根據(jù)上述步驟對圖5(a)的聚類進(jìn)一步細(xì)分的結(jié)果,A2被細(xì)分為A2和A3兩個(gè)子集,B2被細(xì)分為B2和B3兩個(gè)子集。分割完成后,任意兩個(gè)不同類的子集之間不再有重疊樣本。在對子類進(jìn)行細(xì)分的過程中,如果不同類別之間的界限較模糊,則需要細(xì)分為較多的子集?？紤]極端的情況,最終子集可能只有一個(gè)樣本,這會導(dǎo)致分類器的過擬合。為了避免這種情況,在細(xì)分時(shí)可將子集的最少樣本個(gè)數(shù)作為約束條件,對于仍會導(dǎo)致子類重疊的樣本在后文的增量學(xué)習(xí)中再做考慮。4焊接中心的額外研究4.1基于有類的增量學(xué)習(xí)增量學(xué)習(xí)可以使分類器增加新的知識,但如果每次增量學(xué)習(xí)時(shí)將所有新舊焊點(diǎn)樣本放在一起,在多次增量學(xué)習(xí)之后樣本數(shù)量不斷增加,學(xué)習(xí)效率會很低。本文在每次增量學(xué)習(xí)之前,在舊樣本中只選擇有代表性的樣本與新樣本放在一起進(jìn)行增量學(xué)習(xí)從而在保證分類精度的同時(shí),提高增量學(xué)習(xí)的效率。新樣本可能屬于已有類,也可能屬于已有類之外的其它類。如果屬于已有類,則將其直接加入到已知類的集合即可;如果不屬于已有類,則需要?jiǎng)?chuàng)建新的類,同時(shí)還要消除新建類與已有類之間的樣本重疊。設(shè)分類器中所有子集組成集合G,對新樣本進(jìn)行增量學(xué)習(xí)的步驟如下:(1)用已有分類器對新樣本依次進(jìn)行分類,如果屬于已有類,則將該樣本加入對應(yīng)的子集中;否則,將該樣本加入到集合N;(2)對G中的每個(gè)子集,按照4.2節(jié)的方法篩選有代表性的樣本,并重新計(jì)算中心點(diǎn)和協(xié)方差矩陣,并更新集合G;(3)如果N為空,則算法結(jié)束;如果N不為空,對N中每個(gè)同類的樣本集合分別使用k-均值方法進(jìn)行聚類得到若干子集,將這些子集加入到G中,并清空N;(4)如果G中不同類的子集間有樣本重疊,則按3.4節(jié)的方法對有樣本重疊的子集進(jìn)行細(xì)分,并重新計(jì)算相應(yīng)子集的中心點(diǎn)和協(xié)方差矩陣;(5)使用新的分類器對新樣本重新分類,將分類錯(cuò)誤的樣本加入到集合N。在增量學(xué)習(xí)的過程中,由于同時(shí)使用了代表樣本和新樣本對分類器進(jìn)行訓(xùn)練,因而分類器在保留原有樣本的知識的同時(shí),增加了對新樣本的識別能力。完成學(xué)習(xí)后,再使用新的分類器對新樣本進(jìn)行分類,分類錯(cuò)誤的樣本形成集合N,在下一次增量學(xué)習(xí)時(shí)與新樣本一起學(xué)習(xí)。4.2基于密度的聚類本文對新樣本學(xué)習(xí)之前,選擇一些代表樣本來保持原來的知識。代表樣本在特征空間的分布與原來樣本的分布基本一致,才能真實(shí)反映原有知識。學(xué)習(xí)樣本在特征空間中的分布是不均勻的,選擇代表樣本時(shí),先將樣本聚類為密度相對均勻的若干個(gè)子集,然后分別在每個(gè)子集內(nèi)部對樣本進(jìn)行篩選,這樣篩選出的樣本與原始樣本集的分布基本一致,只是密度降低。定義2樣本x的密度定義為x與同類別的k近鄰樣本的距離之和的倒數(shù):ρs(x)=1∑i=1kdE(x,xi),(4)ρs(x)=1∑i=1kdE(x,xi),(4)式中,xi為x的k近鄰樣本之一。定義3假設(shè)xi和xj互為k近鄰樣本,如果ρs(xi)/ρs(xj)的值在[ηmin,ηmax]內(nèi),其中0<ηmin≤1,ηmax≥1,則xi和xj屬于同一個(gè)子類。即密度相差不大的k近鄰樣本構(gòu)成一個(gè)子類。定義4子集C的密度定義為ρc(C)=1n∑i=1nρs(x),(5)ρc(C)=1n∑i=1nρs(x),(5)其中,xk為子類C中第k個(gè)樣本。設(shè)X為某類樣本的一個(gè)子集,x0為X的第一個(gè)樣本,則對X根據(jù)密度進(jìn)行聚類的步驟如下:輸入:子類X,密度閾值ηmin和ηmax(1)初始化樣本x=x0,i=0,新建子類Ci=Φ;(2)計(jì)算x的密度ρs(x),然后搜索x的k近鄰樣本并計(jì)算各樣本的密度,將這些樣本中密度在[ηminρ,ηmaxρ]內(nèi)的樣本加入Ci中,并計(jì)算Ci的密度ρC(Ci);(3)依次搜索Ci中的每個(gè)樣本的k近鄰樣本,如果該樣本未分配到任何一個(gè)聚類,且密度在[ηminρC(Ci),ηmaxρC(Ci)]范圍內(nèi),則將該樣本添加到Ci中。重復(fù)本步直到?jīng)]有符合條件的樣本為止,將Ci添加到集合Out中;(4)在X中搜索沒有分配到任何聚類的樣本x1,如果符合條件的x1不存在,則算法結(jié)束;如果x1存在,則x=x1,i=i+1,并新建一個(gè)子類Ci并初始化為Φ,然后返回步驟(2)。輸出:集合Out完成基于密度的聚類后,對于每個(gè)子類代表樣本選擇方法如下:首先,計(jì)算聚類中心點(diǎn);然后,將子類中的樣本按其與中心點(diǎn)的馬氏距離升序排列;最后,在排序好的樣本中按照相同的間隔均勻取一些樣本出來作為代表樣本,例如,要保留1/4的樣本,可每隔3個(gè)樣本取一個(gè)作為代表樣本。最終X的代表樣本由所有子類的代表樣本組合而成,圖6所示為代表樣本選擇過程的示意圖。5實(shí)驗(yàn)儀器和材料為了驗(yàn)證本文算法的有效性,本文將其應(yīng)用于AOI系統(tǒng)中進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)平臺為本課題組與某公司聯(lián)合研發(fā)的在線AOI系統(tǒng),PC配置為CPUIntelPentium2.8GHz,內(nèi)存2G,算法用VC.NET2005實(shí)現(xiàn)。5.1檢測結(jié)果及分析選取實(shí)際生產(chǎn)PCB板上的焊點(diǎn)為實(shí)驗(yàn)對象,實(shí)驗(yàn)樣本分為4個(gè)部分,樣本類別和數(shù)目如表1所示。其中類別I、II與III、IV的樣本分別為在兩種不同生產(chǎn)條件下獲得的焊點(diǎn)樣本圖像,如圖7所示。使用類別I的樣本訓(xùn)練得到焊點(diǎn)的初始分類器,對批次II的樣本對初始分類器進(jìn)行測試。然后使用4.2的方法,設(shè)定ηmin=0.7,ηmax=1.5,在各子集中選擇代表樣本,代表樣本數(shù)目只占原有樣本數(shù)目的1/8左右,結(jié)果如表2所示。AOI系統(tǒng)的性能可通過以下幾個(gè)指標(biāo)來評價(jià):(1)正確率:給出正確檢測結(jié)果的焊點(diǎn)的比率;(2)誤判率:將合格焊點(diǎn)判定為缺陷焊點(diǎn)的比率;(3)錯(cuò)判率:將一種缺陷判定為另一種缺陷的焊點(diǎn)的比率;(4)漏報(bào)率:將缺陷判定為合格的焊點(diǎn)所占的比率;(5)平均檢測時(shí)間:檢測每個(gè)焊點(diǎn)平均耗費(fèi)的時(shí)間。將本文方法與其它幾種焊點(diǎn)檢測方法進(jìn)行了對比,焊點(diǎn)檢測準(zhǔn)確率與平均時(shí)間結(jié)果統(tǒng)計(jì)如表3所示。由表3可知,在檢測速度方面,圖像對比法最快,但檢測正確率最低,僅為91.7%。本文方法的檢測準(zhǔn)確率最高,為96.5%,每個(gè)焊點(diǎn)平均檢測時(shí)間為5.9ms,可以達(dá)到生產(chǎn)線實(shí)時(shí)檢測的要求。5.2檢測正確率和準(zhǔn)確度關(guān)于增量學(xué)習(xí)性能的實(shí)驗(yàn)分為兩部分:第一部分,將全部新舊樣本放在一起進(jìn)行增量學(xué)習(xí);第二部分,將篩選出的代表樣本和新樣本放在一起進(jìn)行增量學(xué)習(xí)。假設(shè)數(shù)據(jù)已全部讀入內(nèi)存,表4給出了用這兩種方法進(jìn)行增量學(xué)習(xí)的效率對比結(jié)果。由表4可知,對所有新舊樣本直接進(jìn)行增量學(xué)習(xí)、以及先篩選樣本再進(jìn)行增量學(xué)習(xí)的時(shí)間分別為161.9s和5.7s,使用代表樣本進(jìn)行增量學(xué)習(xí)時(shí)間耗費(fèi)大幅降低。假設(shè)每塊PCB板有1000個(gè)焊點(diǎn),則檢測每塊板耗費(fèi)5.9s。設(shè)定每檢測10塊PCB板,維修站計(jì)算一次檢測正確率,當(dāng)系統(tǒng)檢測正確率降為90%時(shí),自動(dòng)對誤檢焊點(diǎn)圖像進(jìn)行增量學(xué)習(xí),此時(shí)維修站收集的誤檢樣本大約為1000×10%×10=1000個(gè),少于