開發(fā)與應(yīng)用航空發(fā)動機葉片氣膜孔機器人視覺檢測?項目背景及項目準備?視覺檢測系統(tǒng)參數(shù)標定?

高斯濾波?

邊緣檢測?

橢圓檢測?三角重建與空間圓擬合?數(shù)據(jù)采集與處理?

項目總結(jié)目錄Part01項目背景及項目準備熟悉視覺檢測構(gòu)成熟悉葉片氣膜孔機器人視覺檢測系統(tǒng)的構(gòu)成及各部分作用。熟悉算子參數(shù)設(shè)置方法理解基本的圖像處理算法，包括高斯濾波、邊緣檢測、三角重建等。熟悉應(yīng)用場景熟悉航發(fā)葉片對航空發(fā)動機的重要作用。知識目標010203完成軟件測量及分析會操作氣膜孔檢測軟件，完成氣膜孔數(shù)量、孔徑及通透性檢測。完成機器人操作會通過工業(yè)機器人示教操作完成機器人軌跡編程。完成相機標定會通過MATLAB軟件完成雙目相機參數(shù)標定。技能目標建及參數(shù)計算；。

培養(yǎng)良好的職業(yè)道德在與實際工業(yè)生產(chǎn)相一致的職業(yè)氛圍中培養(yǎng)良好的職業(yè)道德、科學(xué)的工作方法及團隊協(xié)作精神。協(xié)作能力了解航空發(fā)動機葉片的重要作用，多人協(xié)作完

成相機參數(shù)標定、氣膜孔二維圖像采集。

解決問題能力獨立完成基于雙目圖像的氣膜孔點云三維重素養(yǎng)目標321如圖1-1所示，渦輪葉片是航空發(fā)動機的重要動力部件，長期服役于

高溫、高壓惡劣工況下，為保障服

役性能采用氣膜冷卻孔結(jié)構(gòu)來降低葉片表面溫度，不符合技術(shù)要求

(例如存在不通透熔瘤、孔徑偏差過大等)的氣膜孔將降低葉片冷卻

效率，高溫高速運轉(zhuǎn)時可能導(dǎo)致葉身降溫不均勻和局部區(qū)域燒蝕，最

終影響航空發(fā)動機動力性能，甚至

危害飛機飛行安全。項目背景圖1-1航空發(fā)動機氣膜孔葉片葉片氣膜孔數(shù)目、通透性、孔徑等參數(shù)對保證航空發(fā)動機服役性能至關(guān)重要，傳統(tǒng)的檢測方式方法采用人工肉眼目視檢測，存在隨機性大、易漏檢、易錯檢等問題。針對上述問題，本項目搭建了機器人視覺

檢測系統(tǒng)，通過將機器人技術(shù)與視覺檢測

技術(shù)相結(jié)合，完成航空發(fā)動機渦輪葉片氣

膜孔準確檢測。項目背景完成系統(tǒng)搭建項目以航空發(fā)動機葉片為研究對象，圍繞航發(fā)葉片氣膜孔檢測開展研究，搭建了一套基于雙目相機的航發(fā)葉片氣膜孔機器人視覺測量系統(tǒng)。完成圖像處理基于MATLAB工具箱對系統(tǒng)使用的雙目相機參數(shù)進行了標定，采用高斯濾波方法實現(xiàn)了采集的圖像中噪聲的去除；通過邊緣檢測、三維重建的方式實現(xiàn)了采集的圖像中氣膜孔邊緣提取與三維重建，并通過空間圓擬合的方式對重建后的氣膜孔測點進行擬合計算，

最終實現(xiàn)了航發(fā)葉片氣膜孔圓心位置、孔徑等參數(shù)的精確計算。Part02項目描述項目準備1.為實現(xiàn)葉片氣膜孔參數(shù)檢測，搭建的航發(fā)葉片氣膜孔機器人視覺檢測系統(tǒng)如圖1-2所示，主要包括葉片裝夾照明裝置、機器人雙目視覺測量裝置、控制與分析終端等幾大部分，下面分別介紹各部分的作用。(1)葉片裝夾照明裝置。葉片內(nèi)部型腔結(jié)構(gòu)復(fù)雜，環(huán)境光線不易進入導(dǎo)致葉片外表面觀測圖昏暗，直接使用雙目相機也很難確定氣膜孔的通透性。通過葉片裝夾照明裝置，將亮光導(dǎo)入到葉片型腔內(nèi)部，使光線從葉片內(nèi)部通過貫通的氣膜孔透出來，由此來判斷氣膜孔的通透性。(2)機器人雙目視覺測量裝置。機器人雙目視覺測量裝置包括攜帶雙目相機的UR機器人及相應(yīng)的夾具。UR機器人搭載雙目相機進行運動，從多視角獲取航發(fā)葉片葉身的圖像數(shù)據(jù)，雙目相機可以獲取不同角度下氣膜孔的特征圖像，利用三維重建的方法實現(xiàn)氣膜孔數(shù)目的檢測與氣膜孔孔徑測量。

概念三控制與分析終端。控制與分析終端包括機器人控制柜、示教器、上位機三個部分，可實現(xiàn)UR機器人軌跡控制與規(guī)劃、傳感器控制與數(shù)據(jù)分析、氣膜孔數(shù)目與孔徑計算等圖1-2葉片零件機器人視覺檢測系統(tǒng)圖項目準備硬/軟件型號主要參數(shù)六自由度測量機器人UR10-CB3運動范圍：1300mm重復(fù)定位精度：±0.03mm工業(yè)相機Basler

ace

acA2440-75uc分辨率：2560×1920pixel測量精度：±0.05mm/pixelPC定制CPU

：i7-7700KRAM

：16G分析軟件自主研發(fā)圖像采集/圖像處理項目準備使用的具體硬件型號如表1-1所示：表1-1葉片氣膜孔機器人視覺檢測系統(tǒng)硬件項目實施一、視覺檢測系統(tǒng)參數(shù)標定在確保各設(shè)備之間通訊正常的情況下，使用雙目工業(yè)相機以多位置拍攝標定板，進行單相機標定與雙相機標定，計算得到雙目相機內(nèi)參、畸變系數(shù)以及兩相機間的位置變換關(guān)系。下面介紹基于MATLAB工具箱的標定過程：(1)在窗口命令行中輸入stereoCameraCalibrator，運行之后會彈出一個窗口，如圖1-3所圖1-3MATLAB雙目標定工具箱示：(2)點擊界面左上角的Add

Images

，輸入左相機圖片和右相機圖片所在的文件夾，以及標定板的網(wǎng)格尺寸，本項目所使用的標定板網(wǎng)格尺寸為25mm

，界面如圖1-4所示：項目實施一、視覺檢測系統(tǒng)參數(shù)標定圖1-4設(shè)置圖像讀取路徑及標定板尺寸項目實施一、視覺檢測系統(tǒng)參數(shù)標定(3)點擊確定，標定板上的點就會被自動標注，如圖1-5所示：圖1-5標定板圖像識別項目實施一、視覺檢測系統(tǒng)參數(shù)標定(4)點擊界面上方的Calibrate鍵，啟動標定，結(jié)果如圖1-6所示：圖1-6標定結(jié)果可視化顯示項目實施一、視覺檢測系統(tǒng)參數(shù)標定(5)在MATLAB的工作區(qū)內(nèi)可以看到標定的結(jié)果，如圖1-7所示：圖1-7雙目相機標定結(jié)果在氣膜孔圖像采集過程中受環(huán)境影響，圖像中不可避免的會存在高斯噪聲，通過高斯濾波的方法能夠消除環(huán)境中高斯噪聲的影響。高斯濾波對圖像去噪實際上是對圖像中所有像素點進行加權(quán)平均，將每個像素點本身值和鄰域內(nèi)的其余像素值高斯加權(quán)后更新為目標點新的像素值。具體操作為使用一個特定尺寸的模板與圖像中的每一個像素做卷積，用卷積結(jié)果值去代替圖像對應(yīng)點的像素值，二維高斯分布公式為：項目實施二、高斯濾波1

?

2

e

2

2

22

2

G(x,y)=x2

+y2(1.1)項目實施二、高斯濾波例如尺寸為5×5的高斯算子為：項目實施二、高斯濾波氣膜孔孔徑經(jīng)過高斯濾波的前后的效果圖如圖1-8所示。圖1-8氣膜孔孔徑高斯濾波效果圖(b)濾波后圖像(a)濾波前圖像項目實施三、邊緣檢測數(shù)字圖像中亮度變化劇烈的位置通常反映了圖像中重要特征和屬性，對于圖1-8中的氣膜孔圖像而言，亮度變化劇烈的位置為氣膜孔的邊緣。邊緣檢測即是對圖像中亮度變化的區(qū)域提取，大多通過圖像梯度進行查找，典型的梯度檢測算子包括Laplace算子、Canny算子Sobel算子等。下面介紹本項目使

用的Laplace算子，Laplace算子為：2

?2

f

?2

f

f

=2

+

2?x

?yLaplace算子用卷積核的形式可以表示為：(0|GL

=

||

010

|)||011?41(1.3)(1.2)項目實施三、邊緣檢測將Laplace算子應(yīng)用到氣膜孔圖像中，提取得到的邊緣輪廓如圖1-9所示：圖1-9氣膜孔邊緣檢測效果圖項目實施四、橢圓檢測葉片氣膜孔加工成型后理論上是一個圓形，但由于在拍攝過程中，相機無法完全正對氣膜孔的孔方向，因此實際拍攝的氣膜孔為橢圓形呈現(xiàn)在像素坐標系中，所以檢測氣?？椎臄?shù)目就轉(zhuǎn)化為圖中檢測出來的橢圓的數(shù)目。下面介紹橢圓檢測方法：首先使用一個矩形去包絡(luò)橢圓輪廓，(如圖1-10a)所示，這時矩形的中心點就是橢圓的中心點，隨后將矩形繞中心點進行旋轉(zhuǎn)，可以尋得一個最小的矩形面積所在的位置(如圖1-10b)所示)，那么這個位置就是橢圓的最小外接矩形。(a)旋轉(zhuǎn)前圖1-10橢圓檢測原理圖(b)旋轉(zhuǎn)后項目實施四、橢圓檢測只要氣膜孔中有光透出，那么氣膜孔就是通的，于是檢測氣膜孔的數(shù)目以及通透性的問題就化簡成檢測橢圓數(shù)量的問題。圖1-11橢圓檢測結(jié)果項目實施五、三角重建與空間圓擬合根據(jù)獲取的單幅圖像中氣膜孔邊緣的特征點與左右相機拍攝的圖像間的視差，可以通過三角重建方式計算出邊緣特征點對應(yīng)的空間位置，進而準確計算氣膜孔孔徑。下面簡要介紹三角重建原理：如圖6-12所示，左右相機的光心分別為pl

和pr

，假設(shè)特征點為p，在左右相機中分別對應(yīng)于特征點pI1

和pI2

，以左圖為基準，右圖的變換矩陣為T

。假設(shè)xp1

和xp2

為特征點pI1

和pI2

的歸一化坐標，則滿足：s1xp1

=s2Rxp2

+T(1.4)項目實施五、三角重建與空間圓擬合根據(jù)上式可以先求得s2

，再求出s1

。于是就得到了兩個圖像下點的深度，從而確定了點空間坐標。圖1-12三角重建項目實施五、三角重建與空間圓擬合氣膜孔邊緣經(jīng)過三角重建后的特征點，其分布為某一平面上多個空間圓，可以通過最小二乘擬合的方式得到空間圓對應(yīng)的圓心和半徑。圖1-13空間圓擬合項目實施六、數(shù)據(jù)采集與處理上述針對葉片氣膜孔提取所涉及的圖像處理算法已經(jīng)集成到自主開發(fā)的軟件中，在實際操作時，只需要將MATLAB中進行相機標定的參數(shù)輸入到程序中，同時控制數(shù)據(jù)采集的機器人在多個位置進行葉片氣膜孔圖像采集，軟件就可以自行輸出檢測結(jié)果，如圖1-

14所示。圖1-14氣膜孔檢測軟件系統(tǒng)搭建本項目以航空發(fā)動機葉片為研究對象，圍繞航發(fā)葉片氣膜孔檢測開展研究，搭建了一套基于雙目相機的航發(fā)葉片氣膜孔機器人視覺檢測系統(tǒng)。三維處理基于MATLAB工具箱對系統(tǒng)使用的相機參數(shù)進行了標定，

采用高斯濾波方法實現(xiàn)了采集的圖像中噪聲的去除；通過邊緣

檢測、三維重建的方式實現(xiàn)了采集的圖像中氣膜孔邊緣提取與

三維重建，并通過空間圓擬合的方式對重建后的氣膜孔測點進

行擬合計算，最終實現(xiàn)了航發(fā)葉片氣膜孔圓心位置、孔徑等參

數(shù)的精確計算。通過本項目搭建的機器人視覺檢測系統(tǒng)，能夠

實現(xiàn)航發(fā)葉片氣膜孔快速檢測，提高航發(fā)葉片氣膜孔檢測效率

與檢測精度，對提升我國航空發(fā)動機關(guān)鍵零部件自動化檢測水

平，助力我國航空發(fā)動機型號研制具有重要意義。項目總結(jié)THANKS感謝您的觀看航空發(fā)動機葉片機器人三維視覺檢測?項目背景及項目準備?葉片三維數(shù)據(jù)采集?葉片數(shù)據(jù)預(yù)處理?葉型參數(shù)計算?

項目總結(jié)目錄Part01項目背景及項目準備熟悉視覺系統(tǒng)熟悉航空葉片機器人三維視覺檢測系統(tǒng)構(gòu)成及各部分作用。熟悉應(yīng)用場景熟悉航空葉片對航空發(fā)動機的重要作用與結(jié)構(gòu)特點，了解航空葉片關(guān)鍵結(jié)構(gòu)參數(shù)。熟悉三維視覺理解三維視覺測量多視角測點數(shù)據(jù)精確融合知識目標010203原理。完成機器人掃描會使用工業(yè)機器人進行示教編程，完成機器人掃描路徑規(guī)劃。完成葉片測量會使用三維掃描儀，操作三維掃描儀與工業(yè)機器人完成多視角葉片測量。完成點云操作會使用Geomagic軟件中進行基本的點云操作，包括點云精簡、點云框選與刪除、貫穿對象截面等。完成葉型參數(shù)計算會使用iPoint3D軟件進行基本的葉型參數(shù)計算技能目標

培養(yǎng)良好的職業(yè)道德在與實際工業(yè)生產(chǎn)相一致的職業(yè)氛圍中培養(yǎng)良好的職業(yè)道德、科學(xué)的工作方法及團隊協(xié)作精神。

解決問題能力獨立完成基于測點數(shù)據(jù)的航空葉片數(shù)據(jù)分析。多人協(xié)作了解航空葉片在航空發(fā)動機運行過程中發(fā)揮的重要作用，多人協(xié)作完成航空葉片機器人

自動化掃描測點數(shù)據(jù)采集。素養(yǎng)目標321項目背景如圖1-1所示，航空葉片是航空發(fā)動機的重要動力部件，長期服役于

高溫、高壓、高速旋轉(zhuǎn)、高頻振動

與高溫燃氣沖擊腐蝕等惡劣工況下，

在鑄造與銑削加工時難以保證葉片形位精度要求，如何快速高精度的

實現(xiàn)航空葉片檢測一直是航空制造領(lǐng)域的難點問題?，F(xiàn)有的航空葉片檢測以人工檢測為主，受限于檢測

人員自身能力與經(jīng)驗，單個葉片檢

測時間較長，難以滿足生產(chǎn)現(xiàn)場檢

測需求。針對上述問題，本項目將機器人與三維視覺檢測技術(shù)相結(jié)合，

實現(xiàn)航空葉片三維數(shù)據(jù)快速采集及關(guān)鍵參數(shù)分析圖1-1航空發(fā)動機葉片完成系統(tǒng)搭建本項目針對航空葉片檢測需求，搭建了一套機器人三維視覺檢測系統(tǒng)，通過規(guī)劃機器人三維掃描路徑，實現(xiàn)了機器人自動化完整采集葉片三維測點數(shù)據(jù)。完成圖像處理通過Geomagic軟件對獲取的航發(fā)葉片點云數(shù)據(jù)進行了精簡、去噪等操作，提取了多截面葉片點云數(shù)據(jù)；利用國產(chǎn)化iPoint3D軟件，對截面點云數(shù)據(jù)進行了葉型參數(shù)計算。通過本項目解決了現(xiàn)有航空葉片檢測過程中存在的檢測精度低、效率低等問題。Part02項目描述項目準備1.硬件選型為實現(xiàn)航空發(fā)動機葉片的三維數(shù)據(jù)采集，搭建了航空葉片機器人視覺檢測系統(tǒng)如圖1-2所示，主要包括測量機器人、雙目面陣掃描儀、專用數(shù)據(jù)處理軟件iPoint3D等。由機器人末端夾持面陣掃描儀從多個位置采集葉片三維測點數(shù)據(jù)，通過點云數(shù)據(jù)中公共標志點，將單次測量點云進行拼接，最后通過專用的數(shù)據(jù)處理軟件對采集的完整葉片點云進行分析，計算葉型參數(shù)。概念三圖1-2航空葉片機器人視覺檢測系統(tǒng)硬/軟件型號主要參數(shù)六自由度測量機器人ABB

IRB1600-6/1.2運動范圍：1200mm重復(fù)定位精度：0.02mm三維掃描儀PowerScan2.3M分辨率：1920×1200pixel測量精度：±0.015mm單幅測量范圍：430×280mm分析軟件Geomagic

、iPoint3D表1-1航空葉片機器人視覺檢測系統(tǒng)硬軟件項目準備一、Part03項目實施二、葉片數(shù)據(jù)預(yù)處理葉片三維數(shù)據(jù)采集三、葉型參數(shù)計算航空葉片經(jīng)過銑削、磨拋等工藝加工成型后，表面會出現(xiàn)金屬反光現(xiàn)象，直接使用面陣掃描儀測量時，會出現(xiàn)測點缺失等問題。為避免表面金屬反光對三維成像的影響，可以在零件表面噴涂顯影劑(如圖1-3所示)，能夠有效抑制航空葉片表面反光(如圖1-4所示)，提高零件掃描測點質(zhì)量。項目實施一、葉片三維數(shù)據(jù)采集圖1-3

顯像劑圖1-4航空葉片表面金屬反光項目實施一、葉片三維數(shù)據(jù)采集將均勻噴涂了顯影劑后的航發(fā)葉片樣件放置于距離機器人及掃描儀合適位置，并在周圍環(huán)境中或者葉身表面張貼一定數(shù)量的標志點，用于多視角測量數(shù)據(jù)的拼接?？刂屏杂啥葯C器人帶動面陣掃描儀對葉片進行多方位掃描，保證相鄰視圖存在不少于3個公共標志點，現(xiàn)場采集過程如圖1-5所示。圖1-5機器人三維掃描系統(tǒng)采集航發(fā)葉片測點項目實施一、葉片三維數(shù)據(jù)采集多個視點掃描的葉片測點如圖1-6所示，多次測量拼接之后的完整點云如圖1-7所示。圖1-6單個視角采集的葉片點云數(shù)據(jù)(b)視角2點云(a)視角1點云項目實施一、葉片三維數(shù)據(jù)采集圖1-7完整的航發(fā)葉片樣件三維點云項目實施二、葉片數(shù)據(jù)預(yù)處理將多次采集的測量點云數(shù)據(jù)導(dǎo)入到Geonagic數(shù)據(jù)處理軟件中，如下圖1-8所示：圖1-8葉片多次測量數(shù)據(jù)導(dǎo)入Geomagic軟件項目實施二、葉片數(shù)據(jù)預(yù)處理通過“聯(lián)合點對象”將多次測量點云拼接成一個完整點云，如圖1-9所示。圖1-9多次測量數(shù)據(jù)拼接為同一點云項目實施二、葉片數(shù)據(jù)預(yù)處理可以看到完整的點云數(shù)據(jù)中除了包含葉片測量數(shù)據(jù)，還包含底部轉(zhuǎn)臺與周圍環(huán)境點云，以及測量過程中存在的噪聲數(shù)據(jù)，可以通過手動框選的方式(如圖1-10所示)，選中多余點云進行刪除，刪減多余測點后的葉片點云如圖1-11所示。圖1-10通過框選的方式選中多余點云圖1-11刪除多余測量之后的葉片點云項目實施二、葉片數(shù)據(jù)預(yù)處理從圖1-11可以看出，刪除多余測點之后的點云規(guī)模為230萬點，對于葉型參數(shù)計算而言，使用的數(shù)據(jù)量可以通過點云精簡進一步縮小。在軟件中，選擇“隨機精簡”，設(shè)置精簡保留的百分比為10%(如圖1-12所示)，經(jīng)過軟件處理，剩余的點云規(guī)模為23萬點，精簡之后的效果如圖1-13所示。圖1-12點云精簡功能項目實施二、葉片數(shù)據(jù)預(yù)處理圖1-13經(jīng)過精簡之后的葉片測點項目實施二、葉片數(shù)據(jù)預(yù)處理在軟件中選擇“貫穿對象截面”，選擇沿著葉身高度方向的截面與精簡之后的葉片測點進行貫穿，得到葉身截面點云，用于后續(xù)葉型參數(shù)計算，圖1-14展示了葉片截面點云。圖1-14葉片截面測點項目實施三、葉型參數(shù)計算對于航空葉片而言，其待檢測參數(shù)包括前緣半徑、后緣半徑、中弧線、最大厚度、弦長等，如圖1-15所示，在編者自主開發(fā)的航空葉片檢測軟件iPoint3D中已經(jīng)集成了上述參數(shù)的精確計算方法。下面簡單介紹使用軟件進行葉型參數(shù)的計算流程。(1)單擊“文件輸入模塊”的打開/導(dǎo)入/保存按鈕，在彈出的文件選擇對話框中選擇需要打開的葉片截面測點數(shù)據(jù)，如圖1-15所示。圖1-15iPoint3D

Blade軟件導(dǎo)入數(shù)據(jù)項目實施三、葉型參數(shù)計算(2)單擊“截面創(chuàng)建”面板上的“多聯(lián)葉片分割”按鈕，在對話框“截面數(shù)量”編輯框內(nèi)填入所需要分割的截面數(shù)量，并點擊“應(yīng)用”，軟件界面如圖1-16、圖1-17所示。圖1-16iPoint3D

Blade軟件多聯(lián)葉片分割項目實施三、葉型參數(shù)計算圖1-17多聯(lián)葉片分割對話框(3)在完成截面分割后，可以得到二維的單截面測點數(shù)據(jù)。但此時的測點數(shù)據(jù)是無序的，通過“點云排序”功能可以重建各測點之間的鄰接關(guān)系，如圖1-18所示。項目實施三、葉型參數(shù)計算圖1-18iPoint3D點云排序功能項目實施三、葉型參數(shù)計算在所彈出的對話框里面選擇所要排序的點云截面，拖動鼠標形成矩形框來選擇兩點，之后單擊對話框上的“應(yīng)用”按鈕，若點云無法形成光滑曲線，則單擊“翻轉(zhuǎn)”按鈕，軟件界面如圖1-19所示。圖1-19點云排序項目實施三、葉型參數(shù)計算(4)將理論葉型線導(dǎo)入軟件，使用“匹配后處理”功能，計算截面區(qū)域最大偏差，如圖1-20、1-21所示。圖1-21截面區(qū)域最大偏差計算結(jié)果圖1-20截面區(qū)域最大偏差計算項目實施三、葉型參數(shù)計算通過“特征提取”功能，計算對應(yīng)的前緣、尾緣、中弧線等參數(shù)，計算結(jié)果如圖1-22所示。圖1-22葉片型面參數(shù)計算結(jié)果系統(tǒng)搭建空葉片是航空發(fā)動機的核心動力部件，長期服役于高溫、高壓、交變載荷、高速旋轉(zhuǎn)、高頻振動及高溫燃氣沖擊腐蝕等惡劣工況，具有多聯(lián)、強彎扭、空心、薄壁與氣膜孔等特殊結(jié)構(gòu)，在航空葉片鑄造與銑削加工時極易變形，難以保證葉片形位精度要求。本項目針對航空葉片檢測需求，搭建了一套機器人三維視覺檢測系統(tǒng)，能夠滿足航空葉片的檢測需求。圖像處理通過規(guī)劃機器人三維掃描路徑，實現(xiàn)了機器人自動化完整采集航空葉片三維測點數(shù)據(jù)；通過Geomagic軟件對獲取的航發(fā)葉片點云數(shù)據(jù)進行了精簡、去噪等操作，提取了多截面葉片

點云數(shù)據(jù)；并利用國產(chǎn)化iPoint3D軟件，對截面點云數(shù)據(jù)完成了葉型參數(shù)計算。項目總結(jié)THANKS感謝您的觀看航空蒙皮視覺定位與機器人銑削加工?項目背景及項目準備?雙機器人測量與加工系統(tǒng)標定?蒙皮測量點數(shù)據(jù)采集與坐標轉(zhuǎn)換?蒙皮機器人銑削加工程序的生成?

項目總結(jié)目錄Part01項目背景及項目準備熟悉雙機器人系統(tǒng)了解雙機器人系統(tǒng)標定在航空蒙皮視覺定位與機器人銑削中的作用。熟悉硬件構(gòu)成熟悉航空蒙皮雙機器人測量-加工系統(tǒng)的知識目標0102硬件構(gòu)成。完成銑削實驗?zāi)芨鶕?jù)采集的測量點云生成機器人銑削加工程序，開展機器人蒙皮銑削實驗。完成數(shù)據(jù)采集會操作三維掃描儀完成航空蒙皮測點數(shù)據(jù)采集技能目標選型能力多人協(xié)作完成航空蒙皮雙機器人測量-加工系統(tǒng)標定、航空蒙皮測點數(shù)據(jù)采集、測量數(shù)據(jù)坐標系轉(zhuǎn)換及機器人加工程序編寫，開展航空蒙皮機器人銑削加工實驗培養(yǎng)良好的職業(yè)道德在與實際工業(yè)生產(chǎn)相一致的職業(yè)氛圍中培養(yǎng)良好的職業(yè)道德、科學(xué)的工作方法及團隊協(xié)作精神。12素養(yǎng)目標以蒙皮為代表的航空大構(gòu)件是構(gòu)成飛機氣動外形的關(guān)鍵零件，其制造和裝配精度對保證飛機空氣動力學(xué)性能、隱身性能和內(nèi)部結(jié)構(gòu)安全至關(guān)重要。蒙皮零件種類多樣，大多采用超硬鋁合金、鈦合金、復(fù)合材料等強度高可塑性好的材料。高速飛行時，蒙皮承受垂直其表面的局部氣動載荷，同時承受機翼整體變形產(chǎn)生的拉伸、壓縮和剪切載荷。為提升飛機安全運行性能、減小飛行阻力，大型蒙皮制造要求嚴格。蒙皮零件外形復(fù)雜、結(jié)構(gòu)尺寸大、薄壁弱剛性，其加工制造技術(shù)一直是難點問題。如圖1-1所示，目前普遍采用肉眼比對-手工劃線-手動修切方式去除蒙皮邊緣加工余量，存在人因誤差大、邊緣加工精度低、裝配后對縫間隙難控等問題，已成為制約我國大飛機生產(chǎn)制造的主要難題之一。工業(yè)機器人具備柔性高、工作范圍大、可多機協(xié)作等優(yōu)點，利用機器人夾持電主軸、刀具等執(zhí)行工具，并集成視覺測量設(shè)備與移動平臺，構(gòu)建大范圍智能化的機器人測量-加工系統(tǒng)替代傳統(tǒng)手工或數(shù)控機床加工，為大型復(fù)雜構(gòu)件大范圍小余量銑削、磨削、鉆鉚等提供了新思路。本項目搭建了面向航空蒙皮修邊的雙機器人測量-加工系統(tǒng)，通過機器人夾持高精度的三維掃描儀完成蒙皮測點數(shù)據(jù)采集，并利用標定的系統(tǒng)參數(shù)，將測量數(shù)據(jù)轉(zhuǎn)換到加工機器人坐標系下，生成機器人加工程序，完成蒙皮銑削修邊任務(wù)。項目背景肉眼比對手工劃線待裝配蒙皮項目背景圖1-1蒙皮手工修型切邊實際裝配邊界待裝配蒙皮邊界手動切除邊緣余量蒙皮裝配鉚釘Part02完成圖像處理通過雙機器人系統(tǒng)標定實驗，完成了系統(tǒng)參數(shù)同時標定；

利用測量機器人完成了航空蒙皮測點采集，并結(jié)合系統(tǒng)標定結(jié)果，將航空蒙皮測點轉(zhuǎn)換到加工機器人坐標系下，生成了可執(zhí)行的機器人加工程序，開展了航空蒙皮機器人銑削加工驗證。完成系統(tǒng)搭建本項目以航空蒙皮為研究對象，圍繞航空蒙皮機器人測量-加工開展研究，搭建了一套航空蒙皮雙機器人測量-加工系統(tǒng)。項目描述概念三為了實現(xiàn)航空蒙皮銑削加工，搭建的雙機器人測量型-加工系統(tǒng)如圖1-

2所示，主要由機器人測量系統(tǒng)與機器人加工系統(tǒng)兩大部分組成，其中機器人測量系統(tǒng)由ABB

IRB6700

200/2.60機器人(6自由度，重復(fù)定位精度0.10mm)、ABB

IRB160010/1.45機器人(6自由度，重復(fù)定位精度0.07mm)與高精度移動導(dǎo)軌(長4m，定位精度0.01mm)組

成，可實現(xiàn)大范圍自動化三維掃描測量；機器人加工系統(tǒng)由高速銑削加工電主軸、PowerScan三維掃描

儀(測量精度±0.015mm，最佳測

量距離500mm)與高精度移動導(dǎo)

軌(長4m，定位精度0.01mm)組

成，可實現(xiàn)大范圍高柔性銑削加工。

ABB

IRB

1600

機器人

PowerScan

三維掃描儀

圖1-2航空蒙皮雙機器人測量-加工系統(tǒng)高速銑削電主軸項目準備

ABB

IRB

6700

機器人

項目實施一、

雙機器人測量與加工系統(tǒng)標定Part03三、蒙皮機器人銑削加工程序的生成二、蒙皮測點數(shù)據(jù)采集與坐標轉(zhuǎn)換項目實施一、

雙機器人測量與加工系統(tǒng)標定如圖1-3所示，搭建的航空蒙皮雙機器人測量-加工系統(tǒng)，在使用前需要精確標定出三維掃描儀坐標系

S}

到測量機器人末端坐標系

E1

}

、測量機器人基坐標系

O1

}到加工機器人基坐標系O2

}、加工機器人末端坐標系E2}到加工機器人末端夾持靶標坐標系T}

的位置變換矩陣，實現(xiàn)機器人加工系統(tǒng)與機器人測量系統(tǒng)坐

標系的精確統(tǒng)一。測量機器人的掃描數(shù)據(jù)可進一步指導(dǎo)加工機器人進行加工任務(wù)加工機器人圖1-3雙機器人測量-加工系統(tǒng)參數(shù)標定示意圖測量機器人T

與

E

T

，是待求解的常量矩陣(不隨機器人姿態(tài)變化而改變)；

A,B,C

SE(3)，分別表示E1

}

到

O1}

、T}

到

S}、E2

}到O2

}的已知位置變換矩陣，表示為

T、T

與T

，可以從機器人控制器與掃描儀測量數(shù)據(jù)中直接讀取。上式可以表達為：22EOTSE1O1T221OO項目實施一、

雙機器人測量與加工系統(tǒng)標定測量-加工系統(tǒng)位置變換矩陣滿足：式中X,Y,Z

SE(3)(剛體變換群)，分別表示S}到E1

}

、O2

}

、T}到E2}

未知位置變換矩陣，分別表示為T

、SE1AXB

=

YCZ(1.1)122E

S

T

O

E

TO1

T

E1

T

S

T

=

O1

T

O2

T

E2

T(1.2)項目實施一、

雙機器人測量與加工系統(tǒng)標定實際標定過程如圖1-4所示，分別調(diào)整加工機器人位置與三維掃描儀位置，記錄當前位置下的兩個機器人各個關(guān)節(jié)坐標值，同時利用掃描儀采集標定板圖像，在工作區(qū)域內(nèi)均勻選取100組數(shù)據(jù)，帶入上式，可以同時求解

R

R

、R

與

t

、

t

、

t

，即雙機器人測量-加工系統(tǒng)的參數(shù)。TE2O2O1SE1TE2SE1…

Tn

S

T

S

}

…

TnT

2

T

E2

}T

1O2

TE2

1O2

T

E2

2EET222EO11EOS

T

T

}PowerScan

三維掃描儀圖1-4雙機器人測量-加工系統(tǒng)參數(shù)標定

O2

}機器人2S

T

標定板機器人1

T

nO1

T

E1

2O1

T

E1

1O1

T2

E1

}

O1

}

SE1

TO項目實施二、

蒙皮測點數(shù)據(jù)采集與坐標轉(zhuǎn)換航空蒙皮雙機器人測量-加工系統(tǒng)經(jīng)過標定后，掃描儀坐標系與測量機器人末端坐標系之間的變換關(guān)系R

、t

均已知，因此可以利用測量機器人與掃描儀完成航空蒙皮測點數(shù)據(jù)采集。如圖1-5所示，通過機器人示教器調(diào)整測量機器人掃描姿態(tài)至合適位置，記錄下機器人六個關(guān)節(jié)角度91

,92

,93

,94

,95

,96

，操作上位機數(shù)據(jù)采集軟件記錄下當前掃描儀采集的點云數(shù)據(jù)。多次移動測量機器人使多次掃描區(qū)域能夠覆蓋整個航空蒙皮，并記錄下每次測量時的機器人關(guān)節(jié)角度和對應(yīng)單次測量點云數(shù)據(jù)。根據(jù)每次采集時記錄的關(guān)節(jié)角度9i,1

,9i,2

,9i,3

,9i,4

,9i,5

,9i,6

，可以計算出測量機器人末端相對機器人基坐標系的變換矩陣

Ti

，假設(shè)第

i

次測量采集的點云數(shù)據(jù)為Pi

=

{pi,1,

pi,2,

pi,n

}

，則第

i次局部航空蒙皮測量點云轉(zhuǎn)換到測量機器人基坐標下可表示為：O1P

=

O1T

E1

T

SPE1

i

S

iSSE1O1SE1SE1(1.3)項目實施二、

蒙皮測點數(shù)據(jù)采集與坐標轉(zhuǎn)換由于在每次測量過程中測量機器人基坐標系未發(fā)生改變，因此將多次的測量數(shù)據(jù)通過公式進行轉(zhuǎn)換后，可以得到一個完整的航空蒙皮測量點云數(shù)據(jù)。圖1-5航空蒙皮多視角點云數(shù)據(jù)采集項目實施二、

蒙皮測點數(shù)據(jù)采集與坐標轉(zhuǎn)換完整的航空蒙皮測量點云為

O1

P

=

{p1

,p2

,

pm

}

，由于實際銑削加工時需要加工機器人完成銑削任務(wù)，因此需要將位于測量機器人基坐標系下的測量點云轉(zhuǎn)換到加工機器人基坐標系下：O2P

=

O2T

O1PO1

i(1.4)，該矩陣已經(jīng)在雙機器人測量-加工系統(tǒng)標定時得到?！窸2

RT

=|

O1

|L

011OO2其中O2

t]|

1

」|O1項目實施三、蒙皮機器人銑削加工程序的生成航空蒙皮通常具有設(shè)計模型，實際獲得的測量點云相較于設(shè)計模型發(fā)生一定量的變形，同時還存在設(shè)計模型與測量點云模型位于不同的坐標系的問題。通過將航空蒙皮設(shè)計模型與測量點云進行三維匹配，能夠?qū)⒃O(shè)計模型轉(zhuǎn)換到測量點云坐標系下，由于在上一節(jié)中測量點云已經(jīng)轉(zhuǎn)換到加工機器人的坐標系下，因此經(jīng)過匹配轉(zhuǎn)換后的設(shè)計模型同樣位于加工機器人基坐標系下(如圖1-6所示)，可以將設(shè)計模型的邊界輪廓作為理想的加工軌跡，用于生成機器人銑削加工軌跡。圖1-6航空蒙皮銑削加工邊界生成(b)航空蒙皮測量點云(a)航空蒙皮實際零件(c)航空蒙皮加工邊界項目實施三、蒙皮機器人銑削加工程序的生成提取航空蒙皮加工邊界點用于開展機器人銑削切邊任務(wù)，還需將邊界點轉(zhuǎn)化為機器人能夠識別的加工程序，這里使用的是ABB機器人，下面介紹如何將邊界點轉(zhuǎn)換為RAPID程序。如圖1-7所示為一個典型的RAPID程序格式，在main函數(shù)前定義了程序執(zhí)行過程中需要用到的各種移動速度、工件坐標系相

對于加工機器人基坐標系之間的坐標轉(zhuǎn)換關(guān)系、工具坐標系相對于加工機器人末端法蘭之間的坐標轉(zhuǎn)換關(guān)系，以及加工目標點的位置信息，在main函數(shù)中通過直線移動的方式完成航空蒙皮加工。定義加工切入、切出、正常加工時的速度通過直線移動的方式移動到目標點圖1-7典型的機器人RAPID程序格式定義工具坐標系、工件坐標系定義加工目標點位姿信息圖像處理通過雙機器人系統(tǒng)標定實驗，完成了測量機器人與加工機器人基坐標、測量機器人末端與三維掃描儀之間的參數(shù)同時標定；并利用系統(tǒng)標定結(jié)果，通過測量機器人完成航空蒙皮測點數(shù)據(jù)完整數(shù)據(jù)采集并轉(zhuǎn)換到加工機器人坐標系下，通過三維匹配的方式，精確計算出蒙皮銑削加工余量，生成了可執(zhí)行的機器人加工程序，并開展了航空蒙皮機器人銑削加工驗證。系統(tǒng)搭建本項目以航空蒙皮研究對象，圍繞航空蒙皮機器人測量-加工開展研究，搭建了一套航空蒙皮雙機器人測量-加工系統(tǒng)項目總結(jié)THANKS感謝您的觀看核電葉片視覺定位與機器人磨削?項目背景及項目準備?機器人視覺檢測系統(tǒng)標定?葉片三維測量點數(shù)據(jù)采集?葉片測量點數(shù)據(jù)匹配與余量計算?

項目總結(jié)目錄Part01項目背景及項目準備熟悉系統(tǒng)構(gòu)成熟悉核電葉片機器人三維視覺檢測與定位系統(tǒng)構(gòu)成及各部分作用。熟悉三維原理理解機器人手眼標定基本原理、測點數(shù)據(jù)與設(shè)計模型三維匹配以及偏差計算基本原理。熟悉傳感器原理掌握線激光傳感器測量原理。知識目標010203完成系統(tǒng)搭建根據(jù)測量需求完成2D相機、鏡頭、光源選型及光學(xué)成像結(jié)構(gòu)的搭建。完成三維匹配會使用Geomagic軟件對葉片線激光測量數(shù)據(jù)與設(shè)計模

型進行三維匹配。完成尺寸測量及分析對配準之后的點云數(shù)據(jù)計算三維偏差。技能目標

培養(yǎng)良好的職業(yè)道德在與實際工業(yè)生產(chǎn)相一致的職業(yè)氛圍中培養(yǎng)良好的職業(yè)道德、科學(xué)的工作方法及團隊協(xié)作精神。

解決問題能力獨立完成基于核電葉片三維數(shù)據(jù)的視覺定位。協(xié)作能力多人協(xié)作完成機器人與傳感器之間的手眼標

定。素養(yǎng)目標321項目背景如圖1-1所示，核電葉片幾何尺寸大(以400~1500mm為主)，毛坯通常由棒料高溫下鍛造成型，然后冷卻放置到常溫后再進行銑削/磨削加工。磨削是葉片零件冷加工的最后一道工序，通常要求型面精度控制在±0.05~0.2mm

、表面精度控制在Ra1.6。如圖1-2所示，目前我國葉片生產(chǎn)企業(yè)以手工磨削為主，勞動強度大，人工定位隨機性大，磨削位置和磨削量難以控制，磨削產(chǎn)生的粉塵和尖銳噪音更是嚴重傷害工人身體健康。針對上述問題，本項目以機器人作為執(zhí)行體，集成視覺定位傳感器，通過三維視覺檢測的方式，實現(xiàn)核電大葉片磨削余量的均勻計算。圖1-1核電葉片鍛造毛坯圖1-2手工進行葉片打磨完成系統(tǒng)搭建本項目以機器人作為執(zhí)行體，集成視覺定位傳感器，實現(xiàn)了核電葉片磨拋視覺定位。完成圖像處理通過手眼標定方式，計算了掃描傳感器與機器人基坐標系之間的位置關(guān)系，完成了葉片局部測點數(shù)據(jù)采集；通過Geomagic軟件將葉片測量數(shù)據(jù)與設(shè)計模型實現(xiàn)了三維配準與余量計算，通過三維配準結(jié)果對工件坐標系進行了調(diào)整。Part02項目描述項目準備核電葉片機器人打磨項目，通過機器人末端夾持待打磨的葉片在掃描儀景深范圍內(nèi)進行移動，完成葉片輪廓測點采集；將采集的待打磨葉片點云與理想的設(shè)計模型進行三維匹配，可以分析出葉片的待磨拋余量，并用于后續(xù)機器人磨削軌跡規(guī)劃，考慮葉片尺寸大，本項目采用線激光掃描得到的局部點云進行三維配準與余量計算。所搭建的核電葉片視覺檢測定位系統(tǒng)如圖1-3所示。機器人

工件

視覺測量激光線

激光掃描儀圖1-3核電葉片視覺檢測定位系統(tǒng)概念三項目實施一、

機器人視覺檢測系統(tǒng)標定Part03?三、

葉片測量點數(shù)據(jù)匹配與余量計算二、葉片三維測量點數(shù)據(jù)采集項目實施一、

機器人視覺檢測系統(tǒng)標定機器人手眼標定指的是標定機器人與視覺傳感器之間的空間變換關(guān)系，由于視覺傳感器采集的數(shù)據(jù)通常在其自身坐標系下，為了后續(xù)的機器人加工應(yīng)用，必須將測量傳感器坐標系下的數(shù)據(jù)轉(zhuǎn)換到特定坐標系下(通常為機器人基坐標系/機器人末端坐標系)。機器人手眼標定有兩種形式，分別稱為眼在手型(如圖1-4所示)與眼在外型(如圖1-5所示)，由于機器人在測量完成之后還需要進行后續(xù)的打磨工作，因此本項目采用眼在外型布局方式，由機器人夾持待磨拋葉片完成測點數(shù)據(jù)采集，經(jīng)過測點

軟件處理后再由機器人夾持葉片完成后續(xù)的磨拋操作。圖1-4眼在手型手眼標定示意圖圖1-5眼在外型手眼標定示意圖項目實施一、

機器人視覺檢測系統(tǒng)標定眼在外型機器人手眼標定中，{B}

表示機器人基坐標系，{E}

表示機器人末端坐標系，{S}表示掃描儀坐標系，{P}表示工件坐標系，手眼標定即是標定掃描儀坐標系與機器人基坐標系

之間的空間變換關(guān)系，記作T

。可以通過在機器人末端坐標系固定特征點的方式進行手眼辨識，設(shè)在機器人末端坐標系{E}中的固定特征點為E

p

，其在第

i

次測量時在掃描儀坐標系{S}下的坐標為

S

p

，則有：E

p

=Ti

T

S

pi(1.1)式中Ti

表示第i

次測量機器人的姿態(tài)，可以通過機器人示教器獲取，T

為待標定的手眼關(guān)系。

注意標準球球心在多次測量過程中，相對于機器人末端坐標系位置是保持不變的，據(jù)此可以精確求解機器人與掃描儀坐標系之間的空間變換關(guān)系。實際標定過程中需要將標準球夾持在機器人末端，并調(diào)整工業(yè)機器人位置，采集多個(不少于3組)位置下機器人關(guān)節(jié)角度及測點數(shù)據(jù)，構(gòu)建手眼標定所使用的位置數(shù)據(jù)，用以完成手眼標定。BSBESBBEBS項目實施二、

葉片三維測量點數(shù)據(jù)采集在完成手眼標定的基礎(chǔ)上，將待磨拋的葉片裝夾在機器人末端替換手眼標定時使用的標準球，由工業(yè)機器人夾持待磨拋葉片在線掃描儀景深范圍內(nèi)進行移動，并記錄下單次采集過程中機器人關(guān)節(jié)角度及掃描儀單次測量數(shù)據(jù)，根據(jù)手眼標定公式計算得

，從而將多次測量數(shù)據(jù)轉(zhuǎn)換到機器

人基坐標系下，現(xiàn)場數(shù)據(jù)采集圖片如圖1-6所示：圖1-6機器人磨拋視覺測量過程項目實施三、

葉片測量點數(shù)據(jù)匹配與余量計算在進行葉片的打磨之前，首先需要精確計算葉片各部位的待打磨余量，通過測點數(shù)據(jù)配準的方式，將采集的葉片測點與期望的磨拋之后的理想模型進行配準，分析各部位的待加工余量。將采集得到的葉片掃描數(shù)據(jù)與設(shè)計模型分別導(dǎo)入Geomagic軟件中，如圖1-7、圖1-8所示：圖1-7葉片設(shè)計模型導(dǎo)入三維分析軟件項目實施三、

葉片測量點數(shù)據(jù)匹配與余量計算圖1-8葉片測量數(shù)據(jù)導(dǎo)入三維分析軟件在Geomagic軟件中，為了實現(xiàn)設(shè)計模型與測量數(shù)據(jù)坐標系的互統(tǒng)一，需要右鍵設(shè)置設(shè)計模型為“參考”，設(shè)置測量數(shù)據(jù)為“測試”。通過選擇“對齊”選項卡中的“最佳擬合對齊”，設(shè)置對應(yīng)的對齊參數(shù)，點擊

“應(yīng)用”按鈕，即可實現(xiàn)將測量數(shù)據(jù)轉(zhuǎn)換為設(shè)計模型的坐標系下，如圖1-9所示。項目實施三、

葉片測量點數(shù)據(jù)匹配與余量計算圖1-9設(shè)計模型與測量數(shù)據(jù)進行最佳擬合項目實施三、

葉片測量點數(shù)據(jù)匹配與余量計算最終經(jīng)過對齊之后的數(shù)據(jù)如圖1-10所示：圖1-10經(jīng)過配準的測量數(shù)據(jù)與設(shè)計模型項目實施三、

葉片測量點數(shù)據(jù)匹配與余量計算在“對齊”選項卡下“最后對齊”功能按鈕中，如圖1-11所示，可以看到通過配準產(chǎn)生的坐標變換矩陣信息，如下圖所示。通過該變換矩陣，可以對加工坐標系進行調(diào)整，保證加工之后葉片余量均勻。圖1-11變換矩陣信息如圖1-12所示，通過“分析”選項卡的“3D比較”功能，可以實現(xiàn)對實測模型與理論模型之間的差異比較。如圖1-13所示，通過色譜可以看出整體誤差趨勢，其中顏色深的地方表示誤差較大，顏色淺的地方表示整體誤差較小，也可以選擇將誤差最大和最小的點在視圖中顯示出來。項目實施三、

葉片測量點數(shù)據(jù)匹配與余量計算圖1-123D色譜比較功能圖1-133D色譜比較結(jié)果圖像處理通過手眼標定方式，完成了眼在外部的機器人手眼標定，確定了掃描傳感器與機器人基坐標系之間的位置關(guān)系

，

實

現(xiàn)

了

了

葉

片

局

部

測

點

數(shù)

據(jù)

采

集

；

通

過

Geomagic軟件將葉片測量數(shù)據(jù)與設(shè)計模型進行了三維配準與余量計算，同時為保證后續(xù)打磨工藝余量的均勻性，通過三維配準結(jié)果對工件坐標系進行了調(diào)整。系統(tǒng)搭建本項目以機器人作為執(zhí)行體，集成視覺定位傳感器，替代人類手工或數(shù)控機床，實現(xiàn)大型復(fù)雜零件的磨削。項目總結(jié)THANKS感謝您的觀看核電燃料組件變形視覺檢測?項目背景及項目準備?核電燃料組件視覺檢測系統(tǒng)標定?核電燃料組件圖像增強與復(fù)原算法?核電燃料組件全景拼接?

項目總結(jié)目錄Part01項目背景及項目準備熟悉算子參數(shù)設(shè)置方法掌握基本的圖像增強與復(fù)原算法，包括：靜態(tài)熱擾動復(fù)原、輻射噪聲去除、對比度優(yōu)化等，理解圖像拼接的基本原理。熟悉應(yīng)用場景熟悉燃料組件在核電站中發(fā)揮的重要作用。熟悉選型及參數(shù)設(shè)置方法熟悉基本的相機標定原理。知識目標010203完成系統(tǒng)搭建根據(jù)測量需求完成2D相機、鏡頭、光源選型及光學(xué)成像結(jié)構(gòu)的搭建。完成相機標定會使用iPoint3D-FuelInspect軟件完成雙目相機參數(shù)標定。完成尺寸測量及分析會使用iPoint3D-FuelInspect對導(dǎo)入的燃料組件移動視頻

進行處理，分別實現(xiàn)靜態(tài)熱擾動復(fù)原、動態(tài)熱擾動復(fù)原、輻射噪聲去除、對比度優(yōu)化、高頻噪聲去除、亮度調(diào)整、銳化處理操作，通過軟件實現(xiàn)燃料組件全景拼接與參數(shù)計算。技能目標

培養(yǎng)良好的職業(yè)道德在與實際工業(yè)生產(chǎn)相一致的職業(yè)氛圍中培養(yǎng)良好的職業(yè)道德、科學(xué)的工作方法及團隊協(xié)作精神。

解決問題能力能獨自操作數(shù)據(jù)處理軟件分析燃料組件變形情況。了解組件了解燃料組件在核電站運動過程中發(fā)揮的重要作用。素養(yǎng)目標321項目背景如圖1-1所示，燃料組件是核反應(yīng)堆的核心部件，核燃料組件的質(zhì)量是核電站安全運行的重要保障。燃料組件長

期服役于高溫、高壓、輻照環(huán)境過程，容易發(fā)生彎曲、伸長與扭曲，不合格的燃料組件需要進行替換才能保證核反應(yīng)的穩(wěn)定運行。在目前常用的測量手段中，人工目視檢測的方式精度低、耗時長，接觸式檢測方法操作繁瑣、布置復(fù)雜，且反應(yīng)堆停工成本高，缺乏快速、精確、自動測量的測量方法。針對燃料組件快速測量需求，本項目搭建了一套水下四面相機視覺檢測系統(tǒng)，用四個相機錄制燃料組件四個側(cè)面的視頻，通過視覺的方法計算組件的彎曲度/傾斜度/扭轉(zhuǎn)度等關(guān)鍵變形參數(shù)。圖1-1核電站中使用的燃料組件項目介紹本項目將機器視覺應(yīng)用于核電燃料組件變形檢測。圖像處理應(yīng)用圖像處理技術(shù)包括熱擾動復(fù)原、輻射噪聲去除、圖像傾斜/俯仰矯正等，采用核電燃料組件移動視頻快速分析了燃料組件關(guān)鍵尺寸參數(shù)。Part02項目描述項目準備搭建的核電燃料組件視覺檢測系統(tǒng)如圖1-2所示，包含四面相機視覺檢測系統(tǒng)、燃料組件抬升機構(gòu)

、iPoint3D

FuelInspect核電燃料組件變形測量軟件等。系統(tǒng)采集燃料組件提升過程的視頻，通過所開發(fā)的專用燃料組件變形檢測軟件對視頻中的圖像進行拼接，完成燃料組件的長度估計。.-燃料組件轉(zhuǎn)運通道燃料組件

四面相機視覺檢測系統(tǒng)圖1-2核電燃料組件視覺檢測系統(tǒng)

上部支架概念三硬/軟件型號相機Basler專用四面檢測夾具—分析軟件Matlab

、iPoint3D-FuelInspect表1-1核電燃料組件視覺檢測系統(tǒng)硬件設(shè)備項目準備Part項目實施?一、?二、

核電燃料組件圖像增強與復(fù)原算法核電燃料組件視覺檢測系統(tǒng)標定三、核電燃料組件全景拼接03在實際圖像采集過程中，由于相機鏡頭的缺陷，圖像不可避免地會存在一定畸變，該畸變嚴重影響燃料組件與格架的邊緣直線度，從而降低尺寸測量精度，因此需要對相機進行標定，完成圖像畸變的校正。通過調(diào)整標定板在相機視野范圍內(nèi)的位置和姿態(tài)，完成多幅圖像的采集，如圖1-3所示：項目實施一、

核電燃料組件視覺檢測系統(tǒng)標定圖1-3相機參數(shù)標定采集圖像項目實施一、

核電燃料組件視覺檢測系統(tǒng)標定在iPoint3D

FuelInspect軟件中已經(jīng)集成了相機標定模塊，打開軟件點擊“測量數(shù)據(jù)管理”模塊，選擇左下角的“相機標定”功能，并選定標定圖像所在文件夾路徑(如圖1-4所示)，軟件會自動對采集的標定

板圖像進行分析，得到相機內(nèi)外參數(shù)，如圖1-5所示。圖1-4相機標定功能圖1-5標定板特征點識別通過相機標定，可以快速計算出相機畸變系數(shù)，完成對畸變后像素點位置的校正，從而降低畸變對圖像質(zhì)量的影響，提高現(xiàn)場測量精度。項目實施一、

核電燃料組件視覺檢測系統(tǒng)標定項目實施二、

核電燃料組件圖像增強與復(fù)原算法核電水下成像過程中，由于光強衰減、水流及熱擾動和輻照影響，會產(chǎn)生熱擾動、輻射噪聲、亮度不足、亮度不均、對比度不足、圖像模糊和色彩失真等現(xiàn)象，針對上述問題，需要進行圖像增強與修復(fù)。 (1)靜態(tài)熱擾動復(fù)原。圖像靜態(tài)熱擾動復(fù)原采用兩步法，第一步采用時域濾波，根據(jù)視頻圖像序列得到歸一化的加權(quán)平均圖像；第二步采用頻域維納解卷積濾波，對第一步獲取的加權(quán)平均圖像進行去模糊操作，處理前后的效果如圖1-6、圖1-7所示。圖1-6時域濾波圖像圖1-7

頻域濾波圖像項目實施二、

核電燃料組件圖像增強與復(fù)原算法(2)動態(tài)熱擾動復(fù)原。視頻的動態(tài)熱擾動復(fù)原可以采用化動為靜的思想，通過找出運動視頻幀之間的重合部分用于后續(xù)的圖像配準，再采用靜態(tài)熱擾動去除的方法進行處理。對于給定的一組視頻，通過模板匹配的方法找出若干幀圖像之間的重合區(qū)域，對重合區(qū)域進行靜態(tài)熱擾動復(fù)原即可得到動態(tài)熱擾動復(fù)原圖像，熱擾動復(fù)原前后的圖像如圖1-8所示。圖1-8熱擾動復(fù)原對比圖像(b)復(fù)原后(a)復(fù)原前項目實施二、

核電燃料組件圖像增強與復(fù)原算法(3)輻射噪聲消除。圖像中的核輻射噪聲表現(xiàn)為脈沖噪聲，多張圖像在同一像素位置帶有噪聲的概率很低，因此可采用統(tǒng)計的方法。首先根據(jù)模板匹配得到運動的燃料組件圖像之間的重合區(qū)域，再對同一區(qū)域的像素值進行排序，舍棄像素值較高的部分，剩下的像素點在期望意義下應(yīng)該與實際像素值保持統(tǒng)一，從而消除了輻射噪點的干擾，處理結(jié)果如圖1-9所示。圖1-9輻射噪聲消除對比圖(b)噪聲消除圖(a)原圖項目實施二、

核電燃料組件圖像增強與復(fù)原算法(4)對比度優(yōu)化。圖像的顏色域除了可以用RGB空間表示之外，還可以使用HSV空間進行描述，其

中H(Hue)表示色調(diào)，S(Saturation)表示飽和度，V(Value)表示明度，其中對比度主要與明度有關(guān)，可在明度域中使用直方圖均衡化實現(xiàn)對比度優(yōu)化，效果圖如圖1-10所示。圖1-10對比度優(yōu)化處理效果圖(b)對比度優(yōu)化圖(a)原圖項目實施二、

核電燃料組件圖像增強與復(fù)原算法(5)高頻噪聲去除。針對圖像中出現(xiàn)的高頻噪聲，一般有兩種處理方式，分別為高斯濾波和中值濾波，需要對濾波核的大小進行選擇，效果圖如圖1-11所示。圖1-11高頻噪聲去除效果圖(b)高斯濾波圖(c)中值濾波圖(a)原圖(6)亮度調(diào)整。針對對比度較小的圖像，較難辨識出準確的邊緣特征，采用gamma變換，讓圖像從曝光強度的線性響應(yīng)變得更接近人眼感受的響應(yīng)，即將漂白(相機曝光)或過暗(曝光不足)的圖片，進行矯正，效果如圖1-12所示。項目實施二、

核電燃料組件圖像增強與復(fù)原算法圖1-12gamma變換效果圖(b)gamma變換圖(a)原圖項目實施二、

核電燃料組件圖像增強與復(fù)原算法(7)銳化處理。對圖像進行銳化處理，即對圖像的邊緣進行增強。使用Canny算子邊緣檢測提取出圖像的邊緣，再根據(jù)銳化處理設(shè)定值的大小分別對邊緣和非邊緣部分進行處理，效果如圖1-13所示。圖1-13銳化處理效果圖(b)銳化處理圖(a)原圖項目實施二、

核電燃料組件圖像增強與復(fù)原算法(8)軟件操作。上述算法均集成在軟件中，如圖1-14所示，在使用過程中，只需要將需要處理的視頻或者圖片導(dǎo)入到軟件中，在“圖像預(yù)處理”模塊中，選擇對應(yīng)的功能，如“熱擾動去除”、“對比度優(yōu)化”、“銳化處理”等，可以觀察到處理前后的圖像變化。圖1-14軟件中對圖像進行多種預(yù)處理項目實施三、核電燃料組件全景拼接圖像拼接技術(shù)就是將數(shù)張有重疊部分的圖像拼成一幅全景圖或高分辨率圖像的技術(shù)。圖像配準和圖像融合是圖像拼接的兩個關(guān)鍵技術(shù)：圖像配準是獲得圖像間的相對位置變換關(guān)系，也就是位置偏移量；圖像融合是根據(jù)位置關(guān)系將圖像恢復(fù)成一個全景圖，通過位置偏移量，將不同幀圖像變換到整齊的位置上，可以獲得燃料組件的拼接后的全景圖，如圖1-15所示。圖1-15燃料組件全景圖技術(shù)處理本項目將機器視覺應(yīng)用于核電燃料組件變形檢測，在實施過程中涉及到圖像處理技術(shù)包括熱擾動復(fù)原、輻射噪聲去除、圖像傾斜/俯仰矯正、圖像拼接等，集成開發(fā)了專用的數(shù)據(jù)分析軟件iPoint3D-FuelInspect，極大簡化了使用者的操作難度。項目評估燃料組件水下測量設(shè)備可以用于核電站換料大修期間對燃料組件進行在線的尺寸及變形測量、外觀和異物檢查。對燃料組件進行三維參數(shù)測量與評估以及人工輔助下的外觀和異物檢查，不僅有助于篩選出有安全風險的燃料組件，而且為維修方案制定提供科學(xué)依據(jù)，有利于保證核電反應(yīng)堆的安全、穩(wěn)定、可靠運行。項目總結(jié)THANKS感謝您的觀看汽車白車身曲面輪廓視覺檢測?項目背景及項目準備?汽車白車身檢測系統(tǒng)參數(shù)標定?測量點數(shù)據(jù)采集與精確融合?曲面輪廓誤差分析?

項目總結(jié)目錄Part01項目背景及項目準備熟悉系統(tǒng)硬件熟悉汽車白車身機器人自動化檢測系統(tǒng)硬件構(gòu)成。熟悉融合原理了解白車身機器人多視角測點數(shù)據(jù)精確融合知識目標0102原理。完成數(shù)據(jù)處理能夠操作三維數(shù)據(jù)處理軟件對采集的汽車白車身曲

面輪廓進行檢測分析。技能目標

解決問題能力基于融合后的測點數(shù)據(jù)開展曲面輪廓誤差分析，思考汽車白車身檢測系統(tǒng)在工業(yè)檢測領(lǐng)域的其他應(yīng)用場景

培養(yǎng)良好的職業(yè)道德在與實際工業(yè)生產(chǎn)相一致的職業(yè)氛圍中培養(yǎng)良好的職業(yè)道德、科學(xué)的工作方法及團隊協(xié)作精神。精確融合能夠?qū)⒍喾植科嚢总嚿頊y點云進行精確融合。素養(yǎng)目標321汽車零部件的制造過程中需要對尺寸、結(jié)構(gòu)、外觀等等多個參數(shù)進行檢測，比如車身尺寸、表面質(zhì)量等以保證零件生產(chǎn)質(zhì)量。汽車白車身整體尺寸長(大于5米)，且為曲面結(jié)構(gòu)，在制造完成之后需要對外形尺寸進行檢測以保證能夠滿足后期車門、車蓋裝配需求。三維掃描技術(shù)具有高精度、高分辨率、高效率的特點，被廣泛應(yīng)用于工業(yè)檢測領(lǐng)域。三維掃描技術(shù)利用掃描儀獲得點云數(shù)據(jù)，并通過點云數(shù)據(jù)直接計算或與數(shù)字模型對比計算變形參數(shù)。掃描儀單次掃描范圍有限，通過與工業(yè)機器人、外部移動導(dǎo)軌等硬件結(jié)合，可構(gòu)建雙機器人移動式大范圍視覺檢測系統(tǒng)。項目背景圖1-1汽車白車身完成系統(tǒng)搭建本項目以汽車白車身為研究對象，圍繞汽車白車身多視角測量數(shù)據(jù)融合、曲面輪廓誤差分析開展研究，搭建了一套汽車白車身雙機器人檢測系統(tǒng)。完成圖像處理為保證系統(tǒng)測量精度，對系統(tǒng)使用的雙目結(jié)構(gòu)光傳感器進行了相機參數(shù)標定和機器人手眼參數(shù)標定；并使用雙機器人檢測系統(tǒng)完成了汽車白車身整車測點數(shù)據(jù)采集，最后基于采集的整車測點數(shù)據(jù)提取截面測點，完成曲面輪廓誤差分析。Part02項目描述雙目掃描儀汽車車身項目準備兩條1垂.直導(dǎo)軌型、兩條水平導(dǎo)軌，增加了機器人掃描系統(tǒng)的工作范圍；在實際測量過程中兩臺測量機器人分別在車身兩側(cè)對車身開展自動化測量，可提高汽車白車身視覺檢測效率。聯(lián)合搭建的汽車白車身雙機器人檢測系統(tǒng)如圖1-2所示，為滿足汽車白車身檢測范圍要求，系統(tǒng)包含圖1-2汽車白車身雙機器人檢測系統(tǒng)項目實施?一、

汽車白車身檢測系統(tǒng)參數(shù)標定Part03二、測量點數(shù)據(jù)采集與精確融合三、曲面輪廓誤差分析項目實施一、

汽車白車身檢測系統(tǒng)參數(shù)標定雙目掃描儀的標定是三維測量的前提，精確標定傳感器參數(shù)能夠保證原始采集測量質(zhì)量，且復(fù)雜工業(yè)場景的機器人測量需要依賴機器人的采集位置實現(xiàn)數(shù)據(jù)拼接，因此獲得機器人末端與雙目掃描儀之間高精度的手眼矩陣參數(shù)，可以為雙目掃描儀多次采集的點云數(shù)據(jù)提供一個良好初值，有利于降低數(shù)據(jù)融合的誤差，下面介紹雙目掃描儀的標定及掃描儀-機器人末端的手眼參數(shù)標定。圖1-3所示為雙目掃描儀由兩個工業(yè)相機和一個投影儀組成，投影儀投射出條紋，由兩個工業(yè)相機采集帶有條紋的圖像，并通過條紋中心線提取、條紋匹配獲得對應(yīng)點，再利用三角重建原理獲得對應(yīng)點的三維空間坐標。圖1-3雙目三維掃描儀雙目掃描儀需要標定的參數(shù)包括左右兩個相機的內(nèi)參矩陣K

，以及左右兩個相機之間的旋轉(zhuǎn)矩陣Rc

和平移向量tc

。在實際標定的過程中，如圖1-4所示，將標定板放置在測量平臺上，機器人搭載雙目掃描儀運動，從多個位置下采集標定板圖像用于雙目掃描儀內(nèi)部雙目相機的標定。項目實施一、

汽車白車身檢測系統(tǒng)參數(shù)標定圖1-4雙目三維掃描儀標定實驗圖1-5雙目相機采集的標定圖像雙目相機采集得到的圖像如圖1-5所示，計算標定板中格子的交點作為對應(yīng)的特征點，其中某次通過雙目相機標定方法獲得的傳感器參數(shù)如表1所示。項目實施一、

汽車白車身檢測系統(tǒng)參數(shù)標定標定參數(shù)相機1相機2相機內(nèi)參(3751.246|||

003752.17801288.2801017.075(3789.697|||

003789.25501285.9691035.138畸變參數(shù)(?0.082,0.416,0,0,0)(?0.061,0.165,0,0,0)外部參數(shù)(0.884?7.4210?46.3610?5

0.9991.4610?3

0?0.466?1.2710?30.8840?272.375

1.467項目實施一、

汽車白車身檢測系統(tǒng)參數(shù)標定|

|

|

|0.466

0||||64.0031

)|1

)|||1

)||00項目實施一、

汽車白車身檢測系統(tǒng)參數(shù)標定機器人自動化測量過程中需要利用機器人六個關(guān)節(jié)角度信息，以及掃描儀-機器人末端法蘭坐標系之間的手眼標定關(guān)系，下面介紹如何利用標準球進行手眼標定。如圖1-6所示，通過工業(yè)機器人搭載雙目掃描儀在多個位置下采集標準球陣的點云數(shù)據(jù)，并記錄機器人的關(guān)節(jié)參數(shù)，從而計算機器人基坐標系到末端法蘭盤坐標系的變換關(guān)系。標準球陣放置在測量平臺上，由尺寸分別為50.8009mm、38.1011mm

、38.1029mm

的三個球組

成，標準球陣作為待測物體。坐標系建立方法如圖1-7所示，兩個小球中心連線方向作為x

軸，三個球球心確定的平面的垂線方向作為y軸，并根據(jù)右手關(guān)系確定z軸。圖1-6手眼標定實驗圖1-7球陣坐標系通過記錄多次采集的機器人位置和雙目掃描儀獲取的待測物體坐標系關(guān)系，可以計算得到手眼矩陣：項目實施一、

汽車白車身檢測系統(tǒng)參數(shù)標定?0.22720.97380.007600.97390.2271?0.001700.0034?0.00701.0000338.2749

858.3667||

606.3127

||1

)(

|E

=

|

|

S

T

|

特征點

為了實現(xiàn)汽車白車身機器人自動化測點數(shù)據(jù)采集，首次采集時需要在汽車車身及外部支撐夾具上張貼攝影測量編碼點及特征點，如圖1-8所示。通過識別采集圖像中的編碼點及特征點，計算不同掃描位置處測量數(shù)據(jù)到統(tǒng)一坐標系的轉(zhuǎn)換關(guān)系，并將轉(zhuǎn)換矩陣保存下來，后續(xù)完成多次采集樹的自動拼接。項目實施二、測量點數(shù)據(jù)采集與精確融合編碼點圖1-8白車身表面張貼的編碼點和特征點項目實施二、測量點數(shù)據(jù)采集與精確融合最終經(jīng)過拼接融合的完整車身點云如圖1-9所示，其中不同顏色的點云代表來自不同的掃描視角，共192片點云，最終掃描得到的白車身測點規(guī)模約為3億，圖1-10展示了汽車局部區(qū)域的完整點云。圖1-9汽車白車身完整測量點云項目實施二、測量點數(shù)據(jù)采集與精確融合圖1-10汽車白車身局部測量點云項目實施二、測量點數(shù)據(jù)采集與精確融合整車車身自動化掃描過程中，不可避免的存在同一區(qū)域在多個掃描視點范圍內(nèi)，導(dǎo)致同一區(qū)域被多次掃描，基于之前記錄的坐標轉(zhuǎn)換關(guān)系計算出來的測點數(shù)據(jù)易出現(xiàn)測點數(shù)據(jù)層疊的現(xiàn)象，如圖1-11所示。圖1-11白車身車前蓋測量點云層疊現(xiàn)象項目實施二、測量點數(shù)據(jù)采集與精確融合點云層疊會導(dǎo)致在后續(xù)輪廓誤差分析時，計算得到的誤差不僅包含制造誤差，還包含由于轉(zhuǎn)換關(guān)系不準確導(dǎo)致的拼接誤差，不利于汽車曲面誤差評估。針對上述問題，通過分析多片點云之間的層疊關(guān)系，對存在層疊的兩片或者多片點云進行局部位置調(diào)整，再對重疊區(qū)域進行均勻降噪，主要包括點云全局融合和點云均勻精簡，如圖1-12所示為經(jīng)過上述處理后的點云效果。圖1-12經(jīng)過全局注冊和精簡的汽車局部測點層疊消除汽車白車身整車點云規(guī)模大，進行整體誤差分析運算量大，因此可以采用截面點云進行誤差分析，構(gòu)建指定位置二維截面，如圖1-13