機(jī)器人視覺技術(shù)基礎(chǔ)概述1.工業(yè)機(jī)器人的定義：工業(yè)機(jī)器人的力量和控制來自它自己，并由其機(jī)械結(jié)構(gòu)和系統(tǒng)等因素決定。工作人員不僅可以使用電腦進(jìn)行編程，還可以使用自帶的教學(xué)箱進(jìn)行操作。2.工業(yè)機(jī)器人發(fā)展歷史：表1-1工業(yè)機(jī)器人發(fā)展史年代事件十九世紀(jì)六十年代齊次變換問世十九世紀(jì)七十年代Georgedevol“編程技術(shù)”問世第一臺(tái)鑄壓機(jī)器人問世多傳感器機(jī)械臂問世機(jī)器人被認(rèn)可大量銷售齊次變換矩陣與機(jī)器人視覺開始相聯(lián)系麻省理工學(xué)院的羅伯茲成功演示了世界第一個(gè)具有視覺傳感器機(jī)器人，它能夠定位與測量日本在自己本土召開首屆機(jī)器人大型學(xué)術(shù)交流會(huì)斯坦?？蒲性貉兄菩凶邫C(jī)器人明斯坦福機(jī)器臂誕生十九世紀(jì)八十年代美國召開學(xué)術(shù)交流會(huì)美國機(jī)器人研究會(huì)成立日本工業(yè)機(jī)器人協(xié)會(huì)成立：（JIRA）工業(yè)機(jī)器人的移動(dòng)軌跡首次被R.P.Paul使用矩陣計(jì)算出來D.E.Whitney發(fā)明機(jī)器人的協(xié)調(diào)控制C.Rose和他的朋友成立了機(jī)器人公司，生產(chǎn)出第一個(gè)市場視覺系統(tǒng)ETI公司發(fā)明帶視覺機(jī)器人Unimation公司成立在斯坦福研究院完成了使用機(jī)器人進(jìn)行的系統(tǒng)編程與機(jī)械裝配工業(yè)機(jī)器人在日本被廣泛使用，1980被稱為“機(jī)器人元年”。從此，工業(yè)機(jī)器人的發(fā)展在日本突飛猛進(jìn)，因此，日本也而贏得了“機(jī)器人王國”的榮譽(yù)稱號(hào)。工業(yè)機(jī)器人的基本組成部分：工業(yè)機(jī)器人的基本組成：系統(tǒng)部分、機(jī)械部分、控制部分、傳感器部分一．系統(tǒng)：（1）機(jī)械組成：作出實(shí)際的工作動(dòng)作主要是機(jī)械結(jié)構(gòu)和電氣驅(qū)動(dòng)結(jié)構(gòu)（2）傳感部分:使機(jī)器人與外部信息進(jìn)行交換，主要是獲取外部信息（3）控制部分：相當(dāng)于人的大腦，管理控制機(jī)器人各種行為2、機(jī)械部件：機(jī)械結(jié)構(gòu)體系：手部:機(jī)器人結(jié)構(gòu)的最末端。（2）手腕：連接手與機(jī)械臂的軸，使得手部可以進(jìn)行各個(gè)方向的運(yùn)動(dòng)。機(jī)器人的驅(qū)動(dòng)方式主要是分為三種電機(jī)、液壓、氣動(dòng)這三種也是最常見的機(jī)械驅(qū)動(dòng)方式。傳動(dòng)方式：滾珠絲杠傳動(dòng)、齒輪傳動(dòng)、皮帶傳動(dòng)、絲杠傳動(dòng)等。4.工業(yè)機(jī)器人的相關(guān)參數(shù)：一．連桿：連接機(jī)器人上各個(gè)軸的部件，由它來執(zhí)行運(yùn)動(dòng)過程。二．關(guān)節(jié)：機(jī)器人各個(gè)部位的軸，這些軸使得機(jī)器人能在各個(gè)方向運(yùn)動(dòng)，更加的靈活。三．自由度:物體在三維空間中移動(dòng)所需的獨(dú)立坐標(biāo)數(shù)。四．定位精度：末端實(shí)際到達(dá)位置與理想設(shè)定位置之差。五．重復(fù)定位精度：在多次做相同動(dòng)作的情況下的精準(zhǔn)度。六．工作范圍:在同一空間內(nèi)機(jī)械手能到達(dá)的所有位置都是其工作范圍。七．極限速度：當(dāng)同時(shí)作用時(shí)所能達(dá)到的最大速度。八．加速度：機(jī)械手臂運(yùn)動(dòng)速度的變化與這段時(shí)間的比值。九．承載力大小:工作時(shí)整個(gè)機(jī)械系統(tǒng)所能承載的最大質(zhì)量。十．剛度:在外力作用下能承受的非塑性形變的力十一．分辨率：顯示時(shí)同面積所有的顆粒數(shù)7.機(jī)器人視覺技術(shù)每一批生產(chǎn)過程都有一定的缺陷率，雖然倍增率很小，但倍增后提高良品率成為企業(yè)的瓶頸。完成一個(gè)過程后消除不良品的成本要高得多(例如，焊膏印刷過程中存在定位偏差，只有在安裝芯片后通過在線檢測才能發(fā)現(xiàn))。因此，早期發(fā)現(xiàn)和消除缺陷對于質(zhì)量控制和成本控制非常重要，也是制造業(yè)進(jìn)一步提升的重要基石。在檢測行業(yè)中，機(jī)器視覺與人類視覺相比具有明顯的優(yōu)勢（1）精度高：機(jī)器視覺的灰度得到顯著提高，同時(shí)可以觀察到微米級(jí)的目標(biāo)，而人的視覺等級(jí)只有64級(jí)，小目標(biāo)的分辨力較。（2）速度快:人類看不到快速移動(dòng)的目標(biāo)，機(jī)器快門時(shí)間可以達(dá)到微秒級(jí);（3）高穩(wěn)定性:機(jī)器視覺解決了一個(gè)非常嚴(yán)重的人為問題，即不穩(wěn)定性。人工視覺檢測是一個(gè)非?？菰镔M(fèi)力的行業(yè)，無論設(shè)計(jì)什么樣的獎(jiǎng)懲系統(tǒng)，故障率都會(huì)比較高，但是機(jī)器的視覺檢測設(shè)備沒有乏力問題，沒有情緒波動(dòng)。只要在算法中編寫，每次都會(huì)認(rèn)真執(zhí)行，質(zhì)量控制的可控性效果明顯提高。（4）信息集成和保留:從機(jī)器視覺獲得的信息量是完整的和可追溯的，并且相關(guān)信息可以很容易地集成和存儲(chǔ)。8.機(jī)器視覺技術(shù)近年來發(fā)展迅速（1）圖像采集技術(shù)發(fā)展迅速CCD和CMOS等固件日趨成熟，圖像敏感器件尺寸減小，像素?cái)?shù)和數(shù)據(jù)速率不斷增加，分辨率和幀速率逐年變化，產(chǎn)品系列越來越豐富，和增益等參數(shù)不斷增加，快門和信噪比不斷優(yōu)化(系統(tǒng)成像能力評估等)。（2）圖像處理和模式識(shí)別發(fā)展迅速在圖像處理中，由于提取了高精度的圖像邊緣信息，許多低對比度的缺陷混合物很難在背景噪聲中直接檢測到。模式識(shí)別本身可以被看作是一個(gè)標(biāo)記過程。根據(jù)特定的測量或觀察，要識(shí)別的模式可以分為它們自己的模式。決策理論和結(jié)構(gòu)方法在圖像識(shí)別中得到了廣泛的應(yīng)用。決策理論基于決策函數(shù)，用于基于時(shí)間描述（如統(tǒng)計(jì)紋理）對模式向量進(jìn)行分類和識(shí)別。不同的對象結(jié)構(gòu)具有不同的原始字符串（或字符串）。利用給定的未知對象模式原語，得到編碼邊界，得到字符串，然后根據(jù)字符串來判斷其類別。在特征生成方面，出現(xiàn)了基于小波算法、小波包算法、分形算法和獨(dú)立對偶分量分析的特征生成算法；還有子支持向量機(jī)、可變形模板匹配、線性和非線性分類器設(shè)計(jì)。（3）深度學(xué)習(xí)帶來的突破傳統(tǒng)的機(jī)器學(xué)習(xí)主要依靠人來分析和建立特征提取的邏輯，而深度學(xué)習(xí)使用多層感知器來模擬大腦的工作，并構(gòu)建深度神經(jīng)網(wǎng)絡(luò)(如卷積神經(jīng)網(wǎng)絡(luò))來學(xué)習(xí)簡單的特征。建立復(fù)雜的特性，學(xué)習(xí)映射和輸出。在培訓(xùn)過程中，各級(jí)培訓(xùn)都將不斷進(jìn)行優(yōu)化。針對特定應(yīng)用，如ROI區(qū)域的自動(dòng)分割；標(biāo)點(diǎn)位置（反真實(shí)視覺可靈活檢測未知缺陷）；無法描述或量化的強(qiáng)噪聲圖像，如橙皮缺陷；玻璃蓋板檢測中真假缺陷的識(shí)別。隨著深度學(xué)習(xí)越來越多的機(jī)器視覺軟件進(jìn)入市場（包括瑞士偉、韓國航天、香港應(yīng)用科學(xué)院），機(jī)器視覺的深入學(xué)習(xí)將變得越來越明顯。（4）三維視覺的發(fā)展3D視覺仍處于起步階段。

三維曲面重建廣泛應(yīng)用于導(dǎo)航、工業(yè)檢測、逆向工程、測繪、目標(biāo)識(shí)別、測量和分類等領(lǐng)域，但其精度限制了三維視覺在許多場景中的應(yīng)用。目前，工程中的第一個(gè)應(yīng)用是物流中標(biāo)準(zhǔn)部件的體積測量。我相信這個(gè)領(lǐng)域在未來會(huì)有很大的潛力。為了避免取代人工視覺檢測，機(jī)器視覺還有許多困難需要克服。光源和成像:高質(zhì)量成像是機(jī)器視覺的第一步。由于不同材料的表面反射和折射會(huì)影響被測物體的特征提取，因此光源和成像可以說是機(jī)器視覺檢測的第一難點(diǎn)。例如，對玻璃和反射鏡的刮痕檢測，這個(gè)問題多次被困在不同缺陷的集成成像中。強(qiáng)噪聲低對比度圖像的特征提取:在強(qiáng)噪聲環(huán)境下，真假缺陷很難識(shí)別，這就是為什么許多場景具有一定的錯(cuò)誤檢測率的原因。然而，隨著成像技術(shù)和邊緣特征提取技術(shù)的飛速發(fā)展，人們?nèi)〉昧烁鞣N各樣的突破。意外缺陷的識(shí)別：在實(shí)際應(yīng)用中，通常會(huì)給出一些特定的缺陷模式，并用機(jī)器視覺來識(shí)別這些缺陷是否已經(jīng)發(fā)生。然而，許多明顯的缺陷經(jīng)常被忽視，因?yàn)樗鼈円郧皼]有出現(xiàn)過，或者因?yàn)樗鼈兂霈F(xiàn)的方式太多樣化了。如果它是一個(gè)人，盡管他不被允許在操作過程文件中檢測到這個(gè)缺陷，但他會(huì)注意到并有更大的機(jī)會(huì)捕獲它。不過，機(jī)器視覺在這方面的“智慧”還難以突破。機(jī)器視覺產(chǎn)業(yè)鏈：（1）上游部件市場主要為電子產(chǎn)品的供應(yīng)商包含工業(yè)相機(jī)、工業(yè)鏡頭、光源等。近年來，智能攝像機(jī)、工業(yè)攝像機(jī)、光源和主板的增長率一直不少于20%。中國機(jī)器視覺產(chǎn)業(yè)聯(lián)盟(cmvu)(如康耐視、達(dá)薩、寶瑞核心部件制造商、kirth、歐姆龍、松下、邦納、鎳業(yè))已進(jìn)入200多個(gè)國際機(jī)器視覺品牌，自主品牌的中國機(jī)器視覺產(chǎn)品(如?？?、華瑞、夢泰光電、神州視訊)（2）中游系統(tǒng)集成與整機(jī)設(shè)備市場國內(nèi)有100多家中游系統(tǒng)集成和機(jī)器設(shè)備制造商，可為凌云光、微視新時(shí)代、嘉恒、凌華、陽光視界、鼎鑫、大恒影像等多個(gè)行業(yè)的自動(dòng)化企業(yè)提供全面的機(jī)器視覺解決方案，等等，由于國內(nèi)產(chǎn)品與國際產(chǎn)品還有很大差距，很多中游系統(tǒng)集成商和機(jī)械設(shè)備制造商都是從核心零部件貿(mào)易開始的，所以在視覺產(chǎn)品的選擇上，很多還是比較喜歡國外品牌。為了推廣自己的軟硬件產(chǎn)品，國內(nèi)品牌往往需要培養(yǎng)自己的解決方案集成能力，才能更好地面對市場競爭。（3）下游應(yīng)用市場機(jī)器愿景下游，主要為終端用戶提供非標(biāo)準(zhǔn)自動(dòng)化集成解決方案公司，行業(yè)屬性很強(qiáng)，核心競爭力是對行業(yè)、生產(chǎn)和多級(jí)技術(shù)集成的全面理解。由于工業(yè)自動(dòng)化轉(zhuǎn)型的周期性，近兩年電子制造業(yè)受到行業(yè)整體升級(jí)速度、出貨量和利潤的深刻影響，是機(jī)器視覺應(yīng)用普及的重要推動(dòng)力，其次是汽車和醫(yī)藥行業(yè)。半導(dǎo)體和電子制造:根據(jù)國內(nèi)機(jī)器視覺行業(yè)的應(yīng)用分布，46%集中在電子和半導(dǎo)體制造行業(yè)，包括晶圓加工和制造分類切割、PCB檢測(負(fù)片、內(nèi)外板、成品外觀最終檢測等)。SMT安裝檢查、液晶全過程AOI缺陷檢查、各種3C部件表面缺陷檢查、3C產(chǎn)品外觀檢查等。汽車：車身總成檢測、零件幾何尺寸和誤差測量、表面和內(nèi)部缺陷檢測、間隙檢測等。；印刷、包裝檢測：煙盒印刷、食