




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
摘 要指針式儀表因其結(jié)構(gòu)簡(jiǎn)單、穩(wěn)定可靠及造價(jià)低廉的特性,被廣泛應(yīng)用于各種工業(yè)過(guò)程監(jiān)測(cè)中,在汽車交通、電力能源、醫(yī)療設(shè)備等復(fù)雜場(chǎng)景中具有不可替代的地位。然而,傳統(tǒng)的指針式儀表讀數(shù)方式多為人工記錄讀數(shù),這種方式不僅存在大量耗費(fèi)人力資源成本的問(wèn)題,并且工作效率低下,無(wú)法滿足現(xiàn)代生產(chǎn)生活需要。因此,對(duì)指針式儀表讀數(shù)進(jìn)行自動(dòng)識(shí)別的研究是十分有必要的。本文提出了基于機(jī)器視覺(jué)的指針式儀表自動(dòng)讀數(shù)方案,該方案包括指針式儀表的傾斜矯正、置信度輸出、示數(shù)讀取、分度值檢測(cè)以及在此基礎(chǔ)上的可視化指針式儀表讀數(shù)識(shí)別軟件。本文的研究?jī)?nèi)容主要分為以下幾個(gè)部分:(1)為更好提取指針式儀表輪廓,去除其背景干擾信息,本文采用高斯濾波、自適應(yīng)閾值等方法對(duì)圖像進(jìn)行處理,提取出刻度線、指針以及圓心,獲取指針及刻度線交點(diǎn)坐標(biāo)及圓心坐標(biāo),建立了指針式儀表圖像數(shù)據(jù)集,實(shí)現(xiàn)了對(duì)儀表圖像表盤(pán)輪廓的提取。(2)為實(shí)現(xiàn)對(duì)指針式儀表表盤(pán)進(jìn)行穩(wěn)定準(zhǔn)確讀數(shù),本文通過(guò)YOLOv8檢測(cè)出目標(biāo)框位置信息,通過(guò)計(jì)算表盤(pán)指針與儀表刻度盤(pán)之間的夾角來(lái)確定指針?biāo)赶虻目潭?,從而?jì)算出表盤(pán)指針?biāo)赶虻淖x數(shù)。該方法通過(guò)引入神經(jīng)網(wǎng)絡(luò)因此獲得較穩(wěn)定的定位及識(shí)別結(jié)果,具有較強(qiáng)的魯棒性。(3)針對(duì)指針式儀表讀數(shù)識(shí)別系統(tǒng)的實(shí)際需求,本文實(shí)現(xiàn)了不同功能模塊的可視化軟件設(shè)計(jì),并將讀數(shù)數(shù)據(jù)按時(shí)保存,以適應(yīng)實(shí)際生產(chǎn)應(yīng)用的需要。實(shí)驗(yàn)結(jié)果表明,本文設(shè)計(jì)的指針式儀表讀數(shù)識(shí)別方法對(duì)儀表識(shí)別的相對(duì)誤差在5%以內(nèi),實(shí)現(xiàn)了智能儀表讀數(shù)識(shí)別,具有良好的可行性。關(guān)鍵詞:指針式儀表;YOLOv8;圖像處理;自動(dòng)讀數(shù)AbstractBecauseofitssimplestructure,stability,reliabilityandlowcost,pointertypeinstrumentiswidelyusedinvariousindustrialprocessmonitoring,andhasanirreplaceablepositionincomplexscenessuchasautomobiletransportation,electricpowerenergy,medicalequipmentandsoon.However,thetraditionalpointermeterreadingmethodismostlymanualrecordingofreadings,whichnotonlyhasalargenumberofhumanresourcescosts,butalsohaslowefficiencyandcannotmeettheneedsofmodernproductionandlife.Therefore,theresearchonautomaticidentificationofpointermeterreadingsisverynecessary.Thispaperproposesamachinevision-basedpointermeterautomaticreadingprogram,whichincludespointermetertiltcorrection,confidenceoutput,displayreading,indexvaluedetection,andbasedonthisvisualizationpointermeterreadingrecognitionsoftware.Theresearchcontentofthispaperismainlydividedintothefollowingparts:(1)Inordertobetterextractthecontourofthepointermeterandremovethebackgroundinterferenceinformation,thispaperadoptsGaussianfiltering,adaptivethresholdingandothermethodstoprocesstheimage,extractthescaleline,pointerandcenterofthecircle,obtainthecoordinatesoftheintersectionpointofthepointerandthescalelineandthecenterofthecircle,establishapointermeterimagedataset,andrealizetheextractionofthedialcontourofthemeterimage.(2)Inordertorealizestableandaccuratereadingofthedialofthepointerinstrument,thispaperdetectsthetargetframepositioninformationthroughYOLOv8,anddeterminesthescalepointedbythepointerbycalculatingtheanglebetweenthedialpointerandtheinstrumentdial,soastocalculatethereadingpointedbythedialpointer.Thismethodhasastrongrobustnessbyintroducingneuralnetworksandthereforeobtainingmorestablelocalizationandrecognitionresults.(3)Fortheactualneedsofthepointermeterreadingrecognitionsystem,thispaperrealizesthevisualizationsoftwaredesignofdifferentfunctionalmodulesandsavesthereadingdataontimetoadapttotheneedsofactualproductionapplications.Experimentalresultsshowthatthepointermeterreadingrecognitionmethoddesignedinthispaperhasagoodfeasibilityofrecognizingthemeterwitharelativeerrorof5%orless,andrealizingtheintelligentmeterreadingrecognition.Keywords:pointermeter;YOLOv8;imageprocessing;automaticreading緒論1.1研究背景和意義隨著科學(xué)技術(shù)的日益發(fā)展,我國(guó)的經(jīng)濟(jì)發(fā)展速度以及人民生活水平都已實(shí)現(xiàn)質(zhì)的飛躍,這歸功于我國(guó)的工業(yè)生產(chǎn)規(guī)模逐漸擴(kuò)大,同時(shí)20世紀(jì)以來(lái),計(jì)算機(jī)技術(shù)發(fā)展迅猛,推動(dòng)了人工智能等領(lǐng)域的快速進(jìn)步。我國(guó)在2015年印發(fā)的《中國(guó)制造2025》中明確指出要以全面信息化技術(shù)推動(dòng)促進(jìn)產(chǎn)業(yè)變革REF_Ref160456128\r\h[1],我國(guó)作為制造業(yè)大國(guó),信息化、智能化的生產(chǎn)方式稱為大勢(shì)所趨、民心所向。指針式儀表因其機(jī)械結(jié)構(gòu)簡(jiǎn)單、性能穩(wěn)定可靠且制造成本較低而被廣泛應(yīng)用于生產(chǎn)生活中,作為工業(yè)生產(chǎn)中監(jiān)測(cè)和控制各種工業(yè)過(guò)程不可或缺的要素,為工業(yè)生產(chǎn)各個(gè)環(huán)節(jié)的執(zhí)行提供了保障。然而,指針式儀表通常沒(méi)有數(shù)顯接口,其監(jiān)測(cè)數(shù)據(jù)的采集與記錄工作需要利用手工進(jìn)行記錄,這種方法不僅會(huì)消耗大量的人力物力,并且效率較低,同時(shí)人工讀數(shù)具有較強(qiáng)的主觀性和不確定性,極易造成讀數(shù)記錄不穩(wěn)定及不準(zhǔn)確的現(xiàn)象。此外,在如采油廠、變電站等條件惡劣危險(xiǎn)的作業(yè)區(qū),長(zhǎng)期采取人工讀數(shù)必然會(huì)存在危險(xiǎn)。由此可見(jiàn),傳統(tǒng)的指針式儀表讀數(shù)方法依然無(wú)法滿足世紀(jì)生產(chǎn)生活的需要,采用更加智能化的途徑來(lái)替代人工識(shí)別具有重要研究意義和應(yīng)用前景REF_Ref160460609\r\h[2]。圖1人工抄表現(xiàn)場(chǎng)圖當(dāng)前人工智能技術(shù)發(fā)展迅猛,計(jì)算機(jī)視覺(jué)(ComputerVision,CV)以及深度學(xué)習(xí)的理念出現(xiàn)之后REF_Ref160460709\r\h[3],國(guó)內(nèi)外眾多學(xué)者在此基礎(chǔ)上進(jìn)行廣泛研究,逐步應(yīng)用于各種領(lǐng)域并不斷改進(jìn),與上述技術(shù)結(jié)合,指針式儀表讀數(shù)自動(dòng)識(shí)別研究取得了一系列的進(jìn)展。本文利用深度學(xué)習(xí)技術(shù)并結(jié)合傳統(tǒng)圖像處理技術(shù)用于指針式儀表讀數(shù)識(shí)別,在一定程度上解決了傳統(tǒng)工人讀數(shù)方法含有的主觀性強(qiáng)、讀數(shù)準(zhǔn)確度差及效率不高等缺點(diǎn),這必然使生產(chǎn)效率得到大幅提升,有效降低成本,具有深遠(yuǎn)影響和意義,同時(shí)也是該領(lǐng)域的研究發(fā)展趨勢(shì)?;谏鲜鲅芯勘尘埃疚闹荚诨跈C(jī)器視覺(jué)技術(shù)研究指針式儀表讀數(shù)識(shí)別方法,并設(shè)計(jì)了指針式儀表讀數(shù)識(shí)別系統(tǒng),有效降低傳統(tǒng)人工方法可能造成的讀數(shù)誤差問(wèn)題,為進(jìn)一步實(shí)現(xiàn)無(wú)人巡檢提供基礎(chǔ)?!?.2國(guó)內(nèi)外研究現(xiàn)狀1.2.1基于傳統(tǒng)圖像處理的指針式儀表讀數(shù)識(shí)別方法自1962年P(guān)aulHough提出霍夫(Hough)變換之后,為直線及圓檢測(cè)提供了有效工具,其核心思想是通過(guò)坐標(biāo)變換來(lái)檢測(cè)直線,因此也為指針式儀表讀數(shù)識(shí)別奠定了理論基礎(chǔ),在早期的指針式儀表讀數(shù)識(shí)別方法中,幾乎均是建立在Hough變換的基礎(chǔ)上而成。如RobertSablatnig與F.CorraAlegria等人通過(guò)Hough變換提出了讀取指針角度的方法REF_Ref160466225\r\h[5]。Belan等人以儀表表盤(pán)中心作為參考點(diǎn),通過(guò)Bresenham劃線算法(BresenhamDrawingLineAlgorithm)REF_Ref160466644\r\h[6]及二值化方法獲取指針并構(gòu)建一個(gè)直線系,通過(guò)判斷直線上黑色像素的個(gè)數(shù)來(lái)確定指針位置。Jaffery等人在以往研究的基礎(chǔ)上,提出了基于匹配的模擬儀表讀數(shù)識(shí)別算法REF_Ref160466841\r\h[7]。Chi等人通過(guò)神經(jīng)分類技術(shù),實(shí)現(xiàn)了從待測(cè)圖像中提取出刻度線及指針的特征,并通過(guò)投影法來(lái)獲取指針的具體位置信息REF_Ref160467043\r\h[8],然而,該方法具有較大局限性,其對(duì)閾值的選取十分苛刻。為了進(jìn)一步提升指針式儀表讀書(shū)識(shí)別方案中的應(yīng)用效果,不少國(guó)內(nèi)學(xué)者也對(duì)Hough變換進(jìn)行了相應(yīng)的改進(jìn)工作,并取得了重要的研究進(jìn)展。如1995年,張鳳翔等人采用數(shù)字圖像測(cè)量技術(shù),利用浮動(dòng)閾值法對(duì)待測(cè)圖像進(jìn)行二值化處理,通過(guò)對(duì)指針及刻度線進(jìn)行掃描從而獲取指針相對(duì)刻度線的夾角大小實(shí)現(xiàn)指針式儀表讀數(shù)識(shí)別REF_Ref160467863\r\h[9],實(shí)驗(yàn)表明了該方法在特定場(chǎng)景下的讀數(shù)準(zhǔn)確率優(yōu)于人工讀數(shù),但該方法需要保證圓與刻度線垂直相交,在面對(duì)大批量圖片的時(shí)候顯得乏力。何智杰等人基于數(shù)字圖像處理技術(shù),通過(guò)條件霍夫變換(ConstraintedHoughTransfer)及中心投影法實(shí)現(xiàn)指針式儀表刻度讀數(shù)的自動(dòng)識(shí)別REF_Ref160468182\r\h[10],并展現(xiàn)了較高的識(shí)別精度。陶冰潔等人采用改進(jìn)的自適應(yīng)中值濾波法和雙閾值的霍夫變換提出圖像特征,利用表盤(pán)的刻度與角度的線性關(guān)系獲取指針的讀數(shù)REF_Ref160468408\r\h[11],具有較高的精度和實(shí)時(shí)性。李鐵橋等人基于Hough變換圓檢測(cè)方法,將表盤(pán)的圓心作為原點(diǎn),并構(gòu)建極坐標(biāo)系,將起始刻度作為極軸,從而根據(jù)刻度線與指針之間的極角計(jì)算出表盤(pán)讀數(shù)。2020年,張雪飛等人根據(jù)指針式儀表的結(jié)構(gòu)特性,提出了基于快速直線檢測(cè)(LineSegmentDetector,LSD)的多類指針式儀表分割算法REF_Ref160469049\r\h[13],并通過(guò)角度法獲取指針讀數(shù),并應(yīng)用于手持設(shè)備上。然而,Hough變換檢測(cè)方法在面對(duì)復(fù)雜背景圖像時(shí),極易錯(cuò)誤識(shí)別背景中的同類型物體,導(dǎo)致誤檢率高的現(xiàn)象。此外,基于Hough變換的指針式儀表讀數(shù)識(shí)別算法在不同環(huán)境下表現(xiàn)不穩(wěn)定,需要根據(jù)不同的應(yīng)用場(chǎng)景對(duì)參數(shù)進(jìn)行相應(yīng)的修改。因此,在實(shí)際應(yīng)用中,基于Hough變換的指針式儀表讀數(shù)識(shí)別方法效果并不理想。1.2.2基于深度學(xué)習(xí)的指針式儀表讀數(shù)識(shí)別方法隨著深度學(xué)習(xí)技術(shù)的迅猛發(fā)展和圖像處理器性能不斷提升REF_Ref160469915\r\h[14],越來(lái)越多的科研人員將深度學(xué)習(xí)技術(shù)應(yīng)用于圖像分割、目標(biāo)檢測(cè)及定位等傳統(tǒng)機(jī)器視覺(jué)難以實(shí)現(xiàn)的復(fù)雜場(chǎng)景中,指針式儀表自動(dòng)讀數(shù)領(lǐng)域也深受深度學(xué)習(xí)的影響?;谏疃葘W(xué)習(xí)的方法有助于充分剔除圖像中復(fù)雜背景的干擾,準(zhǔn)確地對(duì)表盤(pán)中刻度、指針等位置信息進(jìn)行定位,并結(jié)合傳統(tǒng)圖像處理方法,從而對(duì)儀表進(jìn)行準(zhǔn)確讀數(shù)。邢浩強(qiáng)等人通過(guò)引入卷積神經(jīng)網(wǎng)絡(luò),定位到儀表的外接矩形框REF_Ref160470553\r\h[15],但該方法所得到的位置信息精確度不高,存在偏差。徐發(fā)兵等人基于改進(jìn)的YOLOREF_Ref160470910\r\h[16](YouOnlyLookOnce)算法獲取到圖像中儀表的大概位置,利用場(chǎng)景文本檢測(cè)器(EAST)算法對(duì)儀表目標(biāo)進(jìn)行文本檢測(cè),篩選出儀表刻度的位置信息與數(shù)值,并通過(guò)角度法完成儀表讀數(shù)識(shí)別REF_Ref160470819\r\h[17]。WangLu等人提出了一種基于Faster-RCNN的指針式儀表讀數(shù)識(shí)別方法REF_Ref160471477\r\h[18],利用Faster-RCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)獲取指針式儀表表盤(pán)區(qū)域,結(jié)合傳統(tǒng)圖像處理方法和Hough直線檢測(cè)方法完成指針式儀表讀數(shù)功能,該方法在測(cè)試集的平均準(zhǔn)確度(meanAveragePrecison,mAP)達(dá)到了90.2%,但速度相較于單階段檢測(cè)算法有所降低。孫曉朋等人提出了一種基于兩階段的指針式儀表自動(dòng)讀數(shù)方法,首先利用Faster-RCNN網(wǎng)絡(luò)模型定位到儀表的包圍框位置,再通過(guò)尺度不變特征變換(Scale-InvariantFeatureTransform,SIFT)圖像特征匹配算法和隨機(jī)抽樣一致(RandomSampleConsensus,RANSAC)算法對(duì)圖像進(jìn)行預(yù)處理,再利用大津算法(Otsu算法)提取分割閾值,最后利用角度法獲取指針式儀表讀數(shù)REF_Ref160472373\r\h[19],實(shí)驗(yàn)結(jié)果表明,該方法具有較好的準(zhǔn)確性和抗干擾能力。賀嘉琪創(chuàng)造性地提出了MASKR2CNN網(wǎng)絡(luò)模型,從自然場(chǎng)景中識(shí)別儀表盤(pán),采用Ostu閾值分割法和概率霍夫直線法對(duì)指針進(jìn)行擬合和定位REF_Ref160472688\r\h[20],在COCO2017公共數(shù)據(jù)集上的表現(xiàn)良好,檢測(cè)準(zhǔn)確率相較于傳統(tǒng)方法有較大提升。綜上所述,國(guó)內(nèi)外研究人員針對(duì)指針式儀表讀數(shù)識(shí)別的研究主要分為以下兩個(gè)方面,第一個(gè)方面是對(duì)儀表表盤(pán)及其內(nèi)部區(qū)域的準(zhǔn)確定位,除此之外則是對(duì)表盤(pán)中的示數(shù)進(jìn)行準(zhǔn)確讀取。采用的方法多為Hough變換及目標(biāo)檢測(cè)網(wǎng)絡(luò),在示數(shù)讀取上多采用角度法進(jìn)行讀取。由此可知,不同的方法均是各有千秋,當(dāng)下最為經(jīng)濟(jì)有效的方法就是針對(duì)特定應(yīng)用場(chǎng)景下的儀表進(jìn)行研究,提出針對(duì)性的方案,從而提高研究效率,降低研究成本。1.3本文研究?jī)?nèi)容與技術(shù)路線基于傳統(tǒng)圖像處理的指針式儀表讀數(shù)識(shí)別方法中,存在效率低下、表盤(pán)輪廓提取不完整、抗干擾能力差以及識(shí)別精度不高等問(wèn)題,本文擬基于傳統(tǒng)數(shù)字圖像處理技術(shù)與深度學(xué)習(xí)相關(guān)技術(shù),實(shí)現(xiàn)對(duì)儀表盤(pán)輪廓的定位及其示數(shù)較精確的識(shí)別讀取,并在此基礎(chǔ)上設(shè)計(jì)相應(yīng)的可視化應(yīng)用程序。本文的主要研究?jī)?nèi)容如下:(1)在指針式儀表讀數(shù)識(shí)別方法中引入單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv8,用于檢測(cè)指針式儀表圖像中的表盤(pán)、指針及刻度值等目標(biāo)。使用YOLOv8模型能夠更準(zhǔn)確地對(duì)指針式儀表表盤(pán)中的指針和起始刻度線等目標(biāo)進(jìn)行提取。(2)針對(duì)指針式儀表表盤(pán)內(nèi)為指針及刻度值等小目標(biāo)物體,在YOLOv8模型中加入了注意力機(jī)制,進(jìn)一步提高模型對(duì)小目標(biāo)物理的特征提取能力,進(jìn)而提高檢測(cè)的精確度和效率。(3)針對(duì)儀表在復(fù)雜環(huán)境下指針和刻度的輪廓分割問(wèn)題及保證提取出來(lái)的表盤(pán)準(zhǔn)確,本文通過(guò)圖像預(yù)處理模塊設(shè)計(jì),首先對(duì)儀表圖像進(jìn)行圖像均值遷移模糊處理,使用OpenCV中的均值偏移pyrMeanShiftFiltering函數(shù)進(jìn)行圖像平滑濾波,再使用COLOR_BGR2GRAY函數(shù)轉(zhuǎn)換圖片為灰度圖像,接著使用HoughCircles函數(shù)進(jìn)行圓形檢測(cè),最后采用霍夫梯度法通過(guò)計(jì)算圓心的累加器閾值來(lái)實(shí)現(xiàn)檢測(cè)。(4)利用Hough圓檢測(cè)檢測(cè)截取表盤(pán)區(qū)域并得到表盤(pán)中心點(diǎn)的坐標(biāo),對(duì)濾除背景的表盤(pán)進(jìn)行高斯濾波,再轉(zhuǎn)為灰度圖并進(jìn)行二值化操作。使用findContours函數(shù)定位指針和刻度線的輪廓,從而在二值化圖像中找到輪廓并返回它們的列表和層次結(jié)構(gòu)。根據(jù)輪廓中心點(diǎn)到使用Hough圓檢測(cè)出的表盤(pán)中心點(diǎn)的距離篩選出指針輪廓和刻度線輪廓,再將輪廓擬合成直線,完成對(duì)刻度線的檢測(cè)。(5)使用角度法,減少指針式儀表示數(shù)讀取過(guò)程中的理論誤差,利用指針與起始刻度以的夾角,根據(jù)夾角計(jì)算指針的位置,進(jìn)而讀取刻度值。(6)設(shè)計(jì)PyQt可視化界面,界面包括導(dǎo)入圖片、開(kāi)始檢測(cè)、確認(rèn)讀數(shù)、修改讀數(shù)、清除數(shù)據(jù)等操作,讀數(shù)結(jié)果會(huì)保存在相應(yīng)的文件中,可為其他下游任務(wù)提供數(shù)據(jù)支持。1.4論文組織結(jié)構(gòu)本篇論文深入探討了指針式儀表讀數(shù)的識(shí)別方法。文章的結(jié)構(gòu)安排如下:第一章:緒論。針對(duì)本文的研究任務(wù),本章著重闡述了研究指針式儀表讀數(shù)識(shí)別的重要性和背景,綜述了國(guó)內(nèi)外在此領(lǐng)域的研究成果及其不足,明確提出了本研究的目標(biāo)、采用的技術(shù)途徑及文章的組織架構(gòu)。第二章:相關(guān)理論技術(shù)介紹。本章詳細(xì)介紹了與本研究相關(guān)的目標(biāo)檢測(cè)和圖像處理的基礎(chǔ)理論,從目標(biāo)檢測(cè)的基本概念入手,對(duì)比了傳統(tǒng)算法和基于深度學(xué)習(xí)的方法在指針式儀表讀數(shù)識(shí)別上的應(yīng)用及其局限性,最終解釋了為何選擇特定的圖像預(yù)處理技術(shù)來(lái)優(yōu)化識(shí)別過(guò)程。第三章:基于改進(jìn)YOLOv8的表盤(pán)內(nèi)容智能識(shí)別方法研究。本章以YOLOv8模型為基礎(chǔ),根據(jù)指針式儀表讀數(shù)識(shí)別算法需求,對(duì)網(wǎng)絡(luò)進(jìn)行有效優(yōu)化,通過(guò)引入注意力模塊,提高了網(wǎng)絡(luò)的檢測(cè)性能。第四章:指針式儀表讀數(shù)算法研究。本章主要闡述指針式儀表的傾斜校正、示數(shù)讀取和量程識(shí)別方法,改進(jìn)指針式儀表示數(shù)讀取方法,進(jìn)一步減少理論誤差。第五章:指針式儀表讀數(shù)識(shí)別系統(tǒng)實(shí)現(xiàn)。本章對(duì)利用PyQt搭建GUI圖形界面進(jìn)行了介紹,詳細(xì)說(shuō)明了軟件的主要功能和具體設(shè)計(jì)流程,最后對(duì)軟件界面進(jìn)行運(yùn)行測(cè)試。第六章:總結(jié)與展望。本章總結(jié)了課題中的研究?jī)?nèi)容,分析當(dāng)前研究結(jié)果中的不足,并針對(duì)不足提出了一些改進(jìn)思路。第二章:相關(guān)理論技術(shù)介紹2.1傳統(tǒng)目標(biāo)檢測(cè)算法2.1.1基于灰度信息的模板配準(zhǔn)算法基于灰度信息的模板配準(zhǔn)REF_Ref160479589\r\h[21]算法是一種在計(jì)算機(jī)視覺(jué)和圖像處理中常用的技術(shù),用于在一張大圖像(或稱為搜索圖像)中找到與給定模板圖像最相似的區(qū)域。這種算法主要依賴于圖像的灰度信息,即每個(gè)像素點(diǎn)的亮度值,而不是圖像中的顏色、紋理或其他特征。根據(jù)計(jì)算相似程度的準(zhǔn)則不同,模板匹配算法可以分為平均絕對(duì)誤差算法(MAD)、絕對(duì)誤差和算法(SAD)、誤差平方和算法(SSD)等?;诨叶刃畔⒌哪0迮錅?zhǔn)算法各有優(yōu)缺點(diǎn),適用于不同的應(yīng)用場(chǎng)景。在實(shí)際應(yīng)用中,需要根據(jù)具體的需求和場(chǎng)景選擇合適的算法。在平均絕對(duì)誤差算法(MAD)中,設(shè)S(x,y)是長(zhǎng)度為m,寬度為n的搜索圖像,T(x,y)是長(zhǎng)度為M,寬度為N的模板圖像,如圖2-1所示,算法的目的是令模板圖像T在搜索圖像S內(nèi)遍歷,從搜索圖像圖2圖2-1待測(cè)圖像與模板圖像的關(guān)系在搜索圖S中,以(i,j)為左上角,取與模板圖像T大小一致的子圖,計(jì)算其與模板的相似度;遍歷整個(gè)搜索圖,在所有能夠取到的子圖中,找到與模板圖最相似的子圖作為最終匹配結(jié)果REF_Ref160528692\r\h[22]平均絕對(duì)誤差算法(MAD)的相似性測(cè)度公式如下。:D其中,1≤i然而,在實(shí)際的工業(yè)環(huán)境中,由于指針式儀表背景復(fù)雜和采集圖像數(shù)據(jù)時(shí)可能存在的旋轉(zhuǎn)、傾斜等問(wèn)題,模板匹配的成功率并不理想,可見(jiàn)該方法不適合指針式儀表中文本的檢測(cè)。2.1.2基于變換域的圖像配準(zhǔn)算法針對(duì)實(shí)際生產(chǎn)中遇到的測(cè)量圖像S與模板圖像T間的傾斜和尺度差異問(wèn)題,可以利用基于變換域的圖像配準(zhǔn)方法來(lái)解決。該策略主要通過(guò)將圖像從原始的空間域轉(zhuǎn)入變換域(如通過(guò)傅立葉變換),在該域內(nèi)進(jìn)行配準(zhǔn)處理后,再將圖像轉(zhuǎn)換回空間域。對(duì)于存在尺度變化的兩幅圖像,此方法首先將它們映射到對(duì)數(shù)坐標(biāo)系中,這樣,圖像的尺度變化問(wèn)題便轉(zhuǎn)化為了平移問(wèn)題,從而有效降低了噪聲干擾并簡(jiǎn)化了配準(zhǔn)的計(jì)算步驟。。設(shè)待測(cè)圖像S(x,y)和模板圖像T之間存在平移量(u0,v0)、旋轉(zhuǎn)角度θ0及縮放量S對(duì)公式(2.2)進(jìn)行傅里葉變換以及極坐標(biāo)變換S取變換后?S和?T的幅值并沿坐標(biāo)半徑r方向取對(duì)數(shù)可得S通過(guò)公式(2.4)可將旋轉(zhuǎn)角度θ0和縮放量b轉(zhuǎn)換為在對(duì)數(shù)極坐標(biāo)系上的平移。在經(jīng)過(guò)旋轉(zhuǎn)和尺度變換后,待測(cè)圖像S與模板圖像T之間只剩下了平移關(guān)系,并可由此確定平移量(u0,v0)REF_Ref160534705\r\h[24],至此模板圖像T與待測(cè)圖像S完成配準(zhǔn)。該算法可以有效解決基于灰度信息的圖像匹配算法無(wú)法匹配圖像帶有旋轉(zhuǎn)及尺度變換的問(wèn)題,并且能夠有效降低對(duì)于噪聲的敏感程度,但是該方法在面對(duì)復(fù)雜環(huán)境背景時(shí),如環(huán)境中有與目標(biāo)類似的物體或是光照不足的情況下,檢測(cè)效果會(huì)受到嚴(yán)重影響,而在實(shí)際的生產(chǎn)應(yīng)用中,指針式儀表的安裝位置往往存在光照不足的現(xiàn)象,因此,基于傅里葉變換域的圖像配準(zhǔn)算法不適用于指針式儀表目標(biāo)的位置檢測(cè)。2.1.3基于特征的圖像配準(zhǔn)算法基于特征的圖像匹配算法與上述兩種算法有所不同,它通過(guò)提取和比較兩幅圖像中的特征點(diǎn)來(lái)實(shí)現(xiàn)圖像的對(duì)齊,該算法主要分為特征匹配、特征描述、特征提取及模型求解四個(gè)步驟。該方法的優(yōu)點(diǎn)在于它對(duì)圖像的旋轉(zhuǎn)、縮放、光照變化等具有一定的魯棒性。經(jīng)過(guò)多年發(fā)展,研究人員已經(jīng)設(shè)計(jì)出許多優(yōu)秀的匹配算法,其中較為常見(jiàn)的包括尺度不變特征轉(zhuǎn)換算法(SIFT)、SURF算法REF_Ref160535774\r\h[25]、ORB圖像特征算法REF_Ref160535778\r\h[26]、Canny邊緣檢測(cè)算法REF_Ref160535782\r\h[27]及最大穩(wěn)定極值區(qū)域(MSER)算法REF_Ref160535787\r\h[28]。其中應(yīng)用最為廣泛的算法為SIFT算法REF_Ref160536916\r\h[29],該算法于1999年由DavidLower提出,并在2004年進(jìn)行了完善,能夠?qū)D像的旋轉(zhuǎn)、尺度縮放、亮度變化等保持不變性,對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。其核心計(jì)算步驟如下(1)尺度空間定義一個(gè)圖像的尺度空間為L(zhǎng)(x,y,σ),變化尺度的高斯函數(shù)為G(x,y,σ),輸入圖像為I(x,y)L其中*為卷積計(jì)算。G其中,m、n表示高斯模版的維度,(x,y)代表圖像像素的位置。(2)建立高斯金字塔通過(guò)對(duì)原始圖像進(jìn)行連續(xù)的降采樣操作,生成一組大小各異的圖像,這些圖像按照尺寸從大到小排列,形成了一個(gè)類似金字塔的結(jié)構(gòu),其中最底層是原始圖像,而每一次降采樣生成的新圖像都位于金字塔的更高一層。在高斯金字塔中,除了進(jìn)行降采樣之外,還在每次降采樣前應(yīng)用了高斯濾波處理,以平滑圖像。進(jìn)一步地,金字塔中每一層的圖像都會(huì)經(jīng)過(guò)不同程度的高斯模糊處理,形成多張模糊圖像,這些模糊圖像的集合稱為一組Octave。金字塔的每一層都包含一組圖像,而每組中包含多張不同程度模糊的Interval圖像,這樣既保證了圖像信息的豐富性,也為后續(xù)的圖像處理提供了更多的靈活性和選擇REF_Ref160537102\r\h[30]。(3)建立DOG高斯差分金字塔為了對(duì)關(guān)鍵點(diǎn)實(shí)現(xiàn)有效提取,本文采用高斯差分函數(shù)進(jìn)行處理,由不同尺度的高斯差分核與卷積生成。DOG函數(shù)如下D=L(4)DOG局部極值檢測(cè)DOG局部極值檢測(cè)特征點(diǎn)的選取基于DOG空間中的局部極值點(diǎn)。為尋找這些極值點(diǎn),必須將每個(gè)像素與其周圍的像素進(jìn)行比較,以判斷該點(diǎn)是否在圖像域和尺度域的相鄰點(diǎn)中是最大或最小。具體來(lái)說(shuō),就是將中心像素與其在同一尺度層的8個(gè)鄰域像素,以及在尺度空間上下兩層中各9個(gè)像素(共26個(gè)像素)進(jìn)行比較。這一過(guò)程確保了能夠在尺度和圖像空間中準(zhǔn)確地識(shí)別出極值點(diǎn)。(5)關(guān)鍵點(diǎn)定位關(guān)鍵點(diǎn)定位關(guān)鍵點(diǎn)的精確定位采用子像素插值技術(shù),該技術(shù)通過(guò)對(duì)已知的離散空間點(diǎn)進(jìn)行插值,來(lái)確定連續(xù)空間中的極值點(diǎn)。此步驟旨在提升特征點(diǎn)定位的精度和穩(wěn)健性。利用DOG函數(shù)在尺度空間的擬合函數(shù)為:DSIFT算法通過(guò)對(duì)圖像金字塔中每層求局部極值點(diǎn),計(jì)算局部圖像的梯度直方圖,就可以得到同一尺度下的關(guān)鍵點(diǎn)。這些關(guān)鍵點(diǎn)可以用來(lái)進(jìn)行圖像匹配、目標(biāo)跟蹤等任務(wù)。采用SIFT算法檢測(cè)出的特征點(diǎn)準(zhǔn)確且具有良好的抗干擾能力,但針對(duì)不同的指針式儀表需要特定的模板圖像,需要耗費(fèi)大量人工。2.2基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法2.2.1兩階段目標(biāo)檢測(cè)算法兩階段目標(biāo)檢測(cè)算法REF_Ref160539405\r\h[31]又稱為基于區(qū)域建議的目標(biāo)檢測(cè)算法或基于感興趣區(qū)域的目標(biāo)檢測(cè)算法,它的基本思想是將目標(biāo)檢測(cè)任務(wù)分為兩個(gè)階段來(lái)完成。在第一階段,算法會(huì)生成一組候選目標(biāo)區(qū)域,這些區(qū)域可能包含目標(biāo)對(duì)象。在第二階段,算法會(huì)對(duì)這些候選區(qū)域進(jìn)行精細(xì)化的分類和定位,以確定每個(gè)區(qū)域是否真正包含目標(biāo)對(duì)象,并精確確定目標(biāo)對(duì)象的位置和大小。兩階段目標(biāo)檢測(cè)算法中最具代表性的算法是R-CNN算法REF_Ref160539432\r\h[32],包括R-CNN、FastR-CNNREF_Ref160539442\r\h[33]、FasterR-CNN、MaskR-CNNREF_Ref160539468\r\h[34]等。其中,F(xiàn)asterR-CNN是當(dāng)下最常用的兩階段目標(biāo)檢測(cè)算法,通過(guò)使用RegionProposalNetwork(RPN)來(lái)生成候選目標(biāo)區(qū)域,實(shí)現(xiàn)了快速的候選區(qū)域生成和分類。FasterR-CNN的優(yōu)點(diǎn)在于其速度快、精度高,并且能夠處理各種復(fù)雜的場(chǎng)景和目標(biāo)形態(tài)。RPN網(wǎng)絡(luò)的引入使得候選區(qū)域的生成和分類成為了一個(gè)端到端的訓(xùn)練過(guò)程,從而提高了算法的速度和精度。然而,F(xiàn)asterR-CNN也存在一些缺點(diǎn)。由于其計(jì)算復(fù)雜度較高,需要更多的計(jì)算資源和時(shí)間,因此在實(shí)時(shí)性要求較高的場(chǎng)景下可能不太適用。此外,F(xiàn)asterR-CNN對(duì)于小目標(biāo)的檢測(cè)效果也不太理想,需要進(jìn)一步改進(jìn)。2.2.2單階段目標(biāo)檢測(cè)算法相較于分兩步進(jìn)行的目標(biāo)檢測(cè)算法,單階段目標(biāo)檢測(cè)算法直接在一步中完成目標(biāo)的識(shí)別和定位,將這一過(guò)程簡(jiǎn)化為一個(gè)回歸問(wèn)題,直接預(yù)測(cè)圖像中目標(biāo)的位置及其類別,無(wú)需預(yù)先提取候選區(qū)域。這種方法因其處理速度快和高效性而受到青睞。代表性的單階段目標(biāo)檢測(cè)算法包括SSD(SingleShotMultiBoxDetector)REF_Ref160539531\r\h[35]、YOLO(YouOnlyLookOnce)系列算法REF_Ref160539591\r\h[36]和RetinaNetREF_Ref160539637\r\h[37]等。其中,YOLO系列算法是當(dāng)下最常用的單階段目標(biāo)檢測(cè)算法,YOLO算法的優(yōu)點(diǎn)在于其速度快、實(shí)時(shí)性好,并且對(duì)于不同尺度和形狀的目標(biāo)具有較好的適應(yīng)性。近年來(lái),隨著YOLO系列算法的不斷發(fā)展改進(jìn),如采用多尺度訓(xùn)練、特征金字塔等技術(shù)以增強(qiáng)對(duì)小目標(biāo)物體的檢測(cè)能力,其在檢測(cè)精度的表現(xiàn)方面甚至超過(guò)了一些兩階段目標(biāo)檢測(cè)算法。在面對(duì)指針式儀表此類小目標(biāo)物體檢測(cè)的問(wèn)題上,YOLO系列算法表現(xiàn)出了良好的準(zhǔn)確度和魯棒性。2.3圖像預(yù)處理方法2.3.1圖像濾波算法圖像濾波算法是一種用于圖像處理的技術(shù),主要包括均值濾波REF_Ref160549778\r\h[38]、中值濾波REF_Ref160549782\r\h[39]、高斯濾波REF_Ref160549786\r\h[40]及雙邊濾波REF_Ref160549788\r\h[41]等。(1)均值濾波均值濾波將每個(gè)像素的值替換為其周圍像素的平均值任意一點(diǎn)的像素值,如圖像中某點(diǎn)的位置坐標(biāo)為(x,y),其領(lǐng)域?yàn)镹×M個(gè)像素值,計(jì)算其領(lǐng)域內(nèi)所有像素點(diǎn)的均值以替換該點(diǎn)(x,y)的像素信息。具體公式如下h其中hx,y表示該點(diǎn)更新后的像素值。(2)中值濾波中值濾波將每個(gè)像素的值替換為其領(lǐng)域像素的中值,使其領(lǐng)域的像素值接近真實(shí)值。具體公式如下h其中,Tx,y為待處理圖像,hx,y(3)高斯濾波高高斯濾波操作通過(guò)對(duì)圖像的每個(gè)像素應(yīng)用高斯核(也稱作高斯模板),使用該模板覆蓋的像素區(qū)域內(nèi)的加權(quán)平均值來(lái)更新中心像素點(diǎn)的灰度值。高斯濾波的計(jì)算過(guò)程如下G這種濾波器對(duì)于去除高頻噪聲和平滑圖像邊緣效果較好。(4)雙邊濾波雙邊濾波是一種綜合考慮圖像空間接近性和像素值相似度的濾波方法,旨在在平滑圖像的同時(shí)保持邊緣信息。它通過(guò)空間域和灰度值域的信息,實(shí)現(xiàn)了邊緣保持和去噪的雙重效果。雙邊濾波的核心公式如下WI其中Gσs為空間域核,Gσr2.3.2圖像二值化算法圖像二值化算法是將圖像上的像素點(diǎn)按照設(shè)定的閾值將像素點(diǎn)設(shè)置為白色或黑色,將整個(gè)圖像呈現(xiàn)出明顯的黑白效果的過(guò)程。這是圖像處理中的一種常見(jiàn)技術(shù),主要用于簡(jiǎn)化圖像信息,方便后續(xù)處理和分析,因此,選擇合適的二值化閾值是突出圖像特征的關(guān)鍵,當(dāng)前常用的閾值選擇方法主要為Otsu大津算法REF_Ref160550384\r\h[42]和自適應(yīng)閾值(adaptiveThreshold)算法REF_Ref160550453\r\h[43]。以本文使用的自適應(yīng)閾值算法為例,將全局閾值τ設(shè)置為模型對(duì)未標(biāo)記數(shù)據(jù)的平均置信度,其中t表示第t個(gè)時(shí)間步,全局閾值τ定義和調(diào)整為τ其中,λ∈0,1計(jì)算模型對(duì)每個(gè)類別c的預(yù)測(cè)的期望,以估計(jì)特定于類別的學(xué)習(xí)狀態(tài)。p其中,pt=pt1,pτ其中MaxNorm是最大歸一化,最后第t次迭代的無(wú)監(jiān)督訓(xùn)練LuL確定閾值后,根據(jù)二值化公式完成儀表圖像二值化。2.4本章小結(jié)本章較為詳細(xì)地闡述了該研究所采用的目標(biāo)檢測(cè)算法以及圖像預(yù)處理算法。同時(shí)對(duì)不同的目標(biāo)檢測(cè)算法的原理進(jìn)行分析比較,在此基礎(chǔ)上解釋了傳統(tǒng)目標(biāo)檢測(cè)算法不適合用于指針式儀表讀數(shù)識(shí)別的原因,以及YOLO系列目標(biāo)檢測(cè)算法在眾多目標(biāo)檢測(cè)算法中的優(yōu)勢(shì)。第三章基于改進(jìn)YOLOv8的表盤(pán)內(nèi)容智能識(shí)別方法研究3.1YOLOv8算法概述近年來(lái),眾多基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法被不斷提出,不同的目標(biāo)檢測(cè)模型都有其各自的優(yōu)勢(shì)與缺陷,如兩階段目標(biāo)檢測(cè)網(wǎng)絡(luò)的代表算法FasterR-CNN,其在檢測(cè)過(guò)程中容易出現(xiàn)特征圖平移的問(wèn)題,進(jìn)而干擾其對(duì)目標(biāo)的正確定位,并且FasterR-CNN算法的計(jì)算過(guò)程較為復(fù)雜,難以滿足指針式儀表讀數(shù)識(shí)別的實(shí)時(shí)性要求。單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)SSD雖然在檢測(cè)速度及檢測(cè)精度上優(yōu)于FasterR-CNN網(wǎng)絡(luò),但SSD網(wǎng)絡(luò)對(duì)小目標(biāo)物體的檢測(cè)能力較弱,因此不適用于如指針式儀表表盤(pán)讀數(shù)的識(shí)別。基于關(guān)鍵點(diǎn)的CenterNet目標(biāo)檢測(cè)網(wǎng)絡(luò)REF_Ref160554404\r\h[44]對(duì)如指針、刻度線等小目標(biāo)物體的檢測(cè)精度較高,但可能會(huì)出現(xiàn)檢測(cè)框中心點(diǎn)偏移的情況。YOLOv8網(wǎng)絡(luò)REF_Ref160555179\r\h[45]是在YOLOv3REF_Ref160555269\r\h[46]、YOLOv5REF_Ref160555273\r\h[47]、YOLOv7REF_Ref160555276\r\h[48]的基礎(chǔ)上不斷發(fā)展提出的,YOLOv8相較于YOLOv5采用了新的骨干網(wǎng)絡(luò)、使用了一個(gè)新的無(wú)錨框(Ancher-Free)檢測(cè)頭以及采用了一種新的損失函數(shù),由于YOLOv8在模型結(jié)構(gòu)、檢測(cè)頭和損失函數(shù)等方面進(jìn)行了改進(jìn),因此YOLOv8模型在檢測(cè)性能上得到了進(jìn)一步提升,有著快速性和在小目標(biāo)物體檢測(cè)上的優(yōu)勢(shì),更加適合于實(shí)時(shí)目標(biāo)檢測(cè)任務(wù)。本文采用單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv8作為基礎(chǔ)網(wǎng)絡(luò),用于對(duì)指針式儀表圖像數(shù)據(jù)中的不同目標(biāo)進(jìn)行信息提取,并引入注意力機(jī)制使得該模型具有更高的特征提取能力及檢測(cè)精度。3.1.1YOLOv8網(wǎng)絡(luò)結(jié)構(gòu)YOLOv8是來(lái)自Ultralytics的最新基于YOLO的對(duì)象檢測(cè)模型系列,提供最先進(jìn)的性能。該模型建立在以前YOLO版本的成功基礎(chǔ)上,并引入了新的功能和改進(jìn),以進(jìn)一步提升性能和靈活性。在目前發(fā)行的最新版本中,YOLOv8包括YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l及YOLOv8x五個(gè)版本,其中YOLOv8s網(wǎng)絡(luò)模型具有體積小、速度快、對(duì)小目標(biāo)物體檢測(cè)準(zhǔn)確度高的特點(diǎn),因此,本文選用YOLOv8s作為基礎(chǔ)模型研究。圖3-1YOLOv8網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3-1所示,YOLOv8網(wǎng)絡(luò)模型相較于之前版本的區(qū)別主要體現(xiàn)在(1)Backbone和Neck的第一個(gè)卷積層的kernel從6x6變成了3x3,同時(shí)將所有的C3模塊換成了C2f,并增加了更多的跳層和額外的Split操作。(2)去掉了Neck模塊中部分Conv層。(3)骨干網(wǎng)絡(luò)中的C2f模塊的block數(shù)變?yōu)榱?-6-6-3。(4)Head中將原有的耦合頭變成了解耦頭,并且將之前版本采用的Anchor-Based變成了Anchor圖3-1YOLOv8網(wǎng)絡(luò)模型結(jié)構(gòu)3.1.2YOLOv8的損失函數(shù)YOLOv8網(wǎng)絡(luò)模型的損失函數(shù)計(jì)算包括2個(gè)分支:分類和回歸分支,取代了之前的objectness分支。其中采用二元交叉熵(BCE)作為分類損失REF_Ref160560915\r\h[49],每類別判斷出“是否為此類”,并輸出置信度。其定義式如下L在YOLOv8中,由于去掉了對(duì)象損失,在輸出中也去掉了“對(duì)象置信度”,直接輸出各個(gè)類別的“置信度分?jǐn)?shù)”,再對(duì)其求最大值,將其作為此anchor框的“置信度”。YOLOv8的定位損失采用ICOU衡量,其定位損失計(jì)算公式如下Loss其中,ρ2b,bgt表示預(yù)測(cè)框與真實(shí)框的中心點(diǎn)的歐式距離,c表示能夠同時(shí)包含預(yù)測(cè)框與真實(shí)框的最小閉包區(qū)域的對(duì)角線距離,3.1.3目標(biāo)檢測(cè)網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)評(píng)價(jià)一個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)性能是否優(yōu)良,通常從以下三個(gè)方面進(jìn)行評(píng)估:(1)分類的精度一般使用準(zhǔn)確度(Accuracy)、精確度(Precision)、召回率(RecallRate)以及平均精度均值mAP。其中準(zhǔn)確度表示預(yù)測(cè)正確的樣本占所有樣本數(shù)量的比率,其具體計(jì)算公式如下Acc在此情境下,TP(TruePositives)是正確預(yù)測(cè)為正的樣本數(shù)量,TN(TrueNegatives)是正確預(yù)測(cè)為負(fù)的樣本數(shù)量,F(xiàn)P(FalsePositives)是錯(cuò)誤地預(yù)測(cè)為正的負(fù)樣本數(shù)量,而FN(FalseNegatives)是錯(cuò)誤地預(yù)測(cè)為負(fù)的正樣本數(shù)量。精確度(Precision)是衡量預(yù)測(cè)為正的樣本中實(shí)際為正的比例,其計(jì)算公式如下Pre召回率(RecallRate)預(yù)測(cè)正確的正樣本數(shù)占所有正樣本數(shù)的比率,平均精度均值是指每個(gè)類別的平均精度,并將它們?nèi)∑骄?,平均精度均值綜合考慮了所有類別的性能,是一個(gè)全面評(píng)價(jià)模型性能的指標(biāo),其具體公式如下mAP3.2指針式儀表數(shù)據(jù)集構(gòu)建3.2.1指針式儀表圖像采集本文所采用的指針式儀表數(shù)據(jù)集來(lái)自于公開(kāi)數(shù)據(jù)集網(wǎng)站RoboflowREF_Ref160565125\r\h[50],該數(shù)據(jù)集包含不同量程、不同品牌的360度指針式儀表。數(shù)據(jù)集的選取對(duì)深度學(xué)習(xí)中模型的訓(xùn)練起到至關(guān)重要的作用,為了更好地模擬實(shí)際生產(chǎn)應(yīng)用環(huán)境的復(fù)雜性,本文選取了不同傾斜角度、光照角度的指針式儀表圖像數(shù)據(jù),并在此基礎(chǔ)上對(duì)數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)和增廣,以保證訓(xùn)練模型的效果。(1)不同傾斜角度下的指針式儀表圖像數(shù)據(jù)在實(shí)際應(yīng)用環(huán)境中,由于安裝條件限制,攝像頭往往無(wú)法正對(duì)著指針式儀表進(jìn)行安裝,這將導(dǎo)致攝像頭采集到表盤(pán)傾斜的圖像數(shù)據(jù),為了模擬實(shí)際應(yīng)用環(huán)境中可能存在的表盤(pán)傾斜問(wèn)題,本文采用了攝像頭與指針式儀表表盤(pán)有不同傾角的圖像數(shù)據(jù),部分圖像數(shù)據(jù)如圖3-1所示。(a)向左傾斜(b(a)向左傾斜(b)向右傾斜圖3-1不同傾斜角度的指針式儀表圖像數(shù)據(jù)(2)不同干擾條件下的指針式儀表圖像數(shù)據(jù)在實(shí)際應(yīng)用過(guò)程中,除了不同傾斜角度的影響,還往往存在反光或光線不足的情況。為了進(jìn)一步模擬實(shí)際應(yīng)用過(guò)程中的光照變化,本文采集了儀表表盤(pán)上存在的鏡面反光、陰影模糊的圖像數(shù)據(jù),并將部分指針式儀表圖像數(shù)據(jù)進(jìn)行了亮度調(diào)整,部分圖像數(shù)據(jù)如圖3-2所示。(c)圖像模糊(b)(c)圖像模糊(b)光線較暗(a)鏡面反光圖3-2不同干擾條件下的指針式儀表圖像數(shù)據(jù)3.2.2指針式儀表數(shù)據(jù)集擴(kuò)充為了提升模型在處理指針式儀表圖像數(shù)據(jù)集時(shí)的魯棒性,本研究采用了多種圖像增強(qiáng)和擴(kuò)展技術(shù)。具體方法包括:(1)幾何變換,如對(duì)圖像進(jìn)行水平和垂直翻轉(zhuǎn)、隨機(jī)角度旋轉(zhuǎn)、隨機(jī)裁剪以及尺寸縮放等;(2)顏色變換,涉及加入CoarseDropout噪聲和進(jìn)行顏色擾動(dòng);(3)利用多樣本數(shù)據(jù)增強(qiáng)策略,如采用SMOTE插值、SamplePairing以及mixup等方法。通過(guò)這些處理,加強(qiáng)了數(shù)據(jù)集的多樣性和復(fù)雜性,以期模型能夠更好地泛化。處理后的數(shù)據(jù)集被按照8:2的比例劃分為訓(xùn)練集和驗(yàn)證集,用于模型的訓(xùn)練和性能評(píng)估。3.2.3指針式儀表數(shù)據(jù)集標(biāo)注本文利用roLabelImg工具對(duì)指針式儀表圖像數(shù)據(jù)進(jìn)行標(biāo)注,并對(duì)不同的目標(biāo)類別添加標(biāo)簽,標(biāo)注過(guò)程如圖3-3所示。圖3圖3-3roLabelImg標(biāo)注工具3.3改進(jìn)YOLOv8網(wǎng)絡(luò)模型3.3.1注意力機(jī)制注意力機(jī)制(AttentionMechanism)REF_Ref160623277\r\h[55]是一種數(shù)據(jù)處理方法,其本質(zhì)是通過(guò)網(wǎng)絡(luò)自主學(xué)習(xí)出的一組權(quán)重系數(shù),并以“動(dòng)態(tài)加權(quán)”的方式來(lái)強(qiáng)調(diào)感興趣的區(qū)域,同時(shí)抑制不相關(guān)背景區(qū)域。由于注意力機(jī)制引入了權(quán)重的概念,可以使網(wǎng)絡(luò)模型具有更強(qiáng)的特征提取能力。因此,在YOLOv8網(wǎng)絡(luò)模型中引入注意力機(jī)制可以有效提升模型對(duì)于指針式儀表中的指針、大刻度線等小目標(biāo)的特征提取能力,從而進(jìn)一步提升模型性能。注意力按照不同維度,可以分為通道注意力、空間注意力以及混合注意力。(1)通道注意力圖3-4SENet結(jié)構(gòu)圖通道注意力機(jī)制的原理基于注意力機(jī)制,類似于人類在觀察物體時(shí)的注意力集中。在計(jì)算機(jī)視覺(jué)任務(wù)中,輸入數(shù)據(jù)通常包含多個(gè)通道,如RGB圖像中的紅、綠、藍(lán)三個(gè)通道。這些通道之間的特征可能存在一定的相關(guān)性,這些特征之間的相關(guān)性通過(guò)權(quán)重系數(shù)來(lái)進(jìn)行衡量,通道注意力則通過(guò)權(quán)重系數(shù)來(lái)判定對(duì)任務(wù)更為重要的通道特征,并對(duì)次要特征進(jìn)行抑制。通道注意力機(jī)制的代表模型是壓縮和激勵(lì)網(wǎng)絡(luò)(Squeeze-and-ExcitationNetworks,SENet)REF_Ref160625903\r\h[56],其結(jié)構(gòu)如圖3-4所示。圖3-4SENet結(jié)構(gòu)圖其中,在壓縮部分,輸入的元素特征圖的維度為H×W×C,H、W和C分別表示高度、寬度及通道數(shù)。壓縮部分的功能是將特征圖維度H×W×C壓縮成1×1×C,即把H×W壓縮成為1×1維,這個(gè)過(guò)程由全局平均池化(Global(2)空間注意力圖3-5STN模型結(jié)構(gòu)空間注意力(SpatialAttention)與通道注意力不同,其更關(guān)注于輸入數(shù)據(jù)中的空間位置信息,即特征圖上不同位置的信息??臻g注意力機(jī)制通過(guò)對(duì)輸入數(shù)據(jù)的空間位置進(jìn)行建模,學(xué)習(xí)出一個(gè)權(quán)重圖,用于強(qiáng)調(diào)重要的空間位置并抑制次要位置,從而提高模型對(duì)關(guān)鍵信息的關(guān)注度。其最具代表性的模型為空間變換神經(jīng)網(wǎng)絡(luò)(SpatialTransformerNetworks,STN),其網(wǎng)絡(luò)結(jié)構(gòu)如圖圖3-5STN模型結(jié)構(gòu)該模型模型的基本結(jié)構(gòu)主要包括三個(gè)部分,分別為L(zhǎng)ocalizationNetwork、Gridgenerator及Sampler,通過(guò)這樣的機(jī)制,能夠有效地聚焦于圖像中的關(guān)鍵區(qū)域,從而優(yōu)化模型性能。(3)混合注意力在混合注意力機(jī)制中,通道注意力機(jī)制與空間注意力機(jī)制可以實(shí)現(xiàn)串聯(lián)或并聯(lián)的方式進(jìn)行組合,結(jié)合兩者優(yōu)勢(shì)從而提高模型性能。其中,CBAM和CA都是典型的混合注意力機(jī)制模型。經(jīng)過(guò)消融實(shí)驗(yàn)的對(duì)比,實(shí)驗(yàn)結(jié)果表明添加CBAM注意力模塊的YOLOv8網(wǎng)絡(luò)模型收斂速度更快,分類及角度損失更低,在平均精度均值上有著顯著提升。因此,本文在YOLOv8目標(biāo)檢測(cè)網(wǎng)絡(luò)中引入CBAM注意力模塊,CBAM注意力模塊的結(jié)構(gòu)如圖3-6所示。圖3-6CBAM圖3-6CBAM注意力模塊結(jié)構(gòu)包含2個(gè)獨(dú)立的子模塊,通道注意力模塊(ChannelAttentionModule,CAM)和空間注意力模塊(SpartialAttentionModule,SAM),分別進(jìn)行通道與空間上的Attention。通道注意力模塊的具體計(jì)算方式如下所示M=σ即將輸入的維度為H×W×C的特征圖F分別經(jīng)過(guò)全局最大池化和全局平均池化,將得到的兩個(gè)1×1×C空間注意力模塊的具體計(jì)算公式如下M即將通道注意力模塊輸出的特征圖F'作為本模塊的輸入特征圖,將特征圖經(jīng)過(guò)池化操作后,得到兩個(gè)H×W×1的特征圖,將這兩個(gè)特征圖進(jìn)行通道拼接操作,利用一個(gè)7×7的卷積操作實(shí)現(xiàn)降維,3.3.2改進(jìn)角度分類損失函數(shù)由于本文采用角度分類與定義邊長(zhǎng)法的組合來(lái)檢測(cè)結(jié)果,鑒于指針式儀表的目標(biāo)檢測(cè)過(guò)程中,儀表表盤(pán)的區(qū)域位置為一個(gè)類正方形目標(biāo),而長(zhǎng)邊定義法無(wú)法較好地定義一個(gè)類正方形目標(biāo),具體影響如圖3-7所示。(a)(a)真實(shí)目標(biāo)框((b)視覺(jué)可行效果圖3-7類正方形目標(biāo)檢測(cè)結(jié)果由圖3-7可知,此時(shí)的計(jì)算誤差非常大,這個(gè)誤差主要來(lái)源于傾斜角度,仔細(xì)觀察可以發(fā)現(xiàn)真實(shí)目標(biāo)框與視覺(jué)可行效果的角度差達(dá)到90°針對(duì)以上問(wèn)題,本文對(duì)角度分類損失函數(shù)引入了一個(gè)損失權(quán)重(ADARSW),具體公式如下Wα=具體的想法是通過(guò)目標(biāo)的預(yù)測(cè)角度和目標(biāo)的實(shí)際角度的十進(jìn)制差值來(lái)引入容忍性,三角函數(shù)的引入來(lái)解決角度周期性和類正方形檢測(cè)問(wèn)題。3.4實(shí)驗(yàn)結(jié)果與結(jié)果分析3.4.1實(shí)驗(yàn)環(huán)境搭建本文使用CPU為Intel12600k,GPU為NVIDIAGeForceRTX3060Ti,顯存為8GB的主機(jī)對(duì)模型進(jìn)行訓(xùn)練,操作系統(tǒng)使用Ubuntu18.04。訓(xùn)練目標(biāo)檢測(cè)網(wǎng)絡(luò)的數(shù)據(jù)集為360度指針式儀表,共標(biāo)注指針、大刻度線、刻度值三個(gè)類別,輸入圖片尺寸為900x900,epoch設(shè)置為110,batch-size設(shè)置為8。3.4.2實(shí)驗(yàn)結(jié)果分析在標(biāo)注完指針式儀表圖像數(shù)據(jù)集及配置好所需實(shí)驗(yàn)環(huán)境后,用改進(jìn)后的YOLOv8網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,并根據(jù)訓(xùn)練完成的數(shù)據(jù)繪制出損失曲線對(duì)比圖。如圖3-8所示。(b(b)classprobablity損失(a)boundingbox損失圖3-8損失值曲線圖3-8中(a)、(b)分別為置信度損失和分類損失,可以看出,該網(wǎng)絡(luò)模型收斂速度較快,在迭代訓(xùn)練后期,網(wǎng)絡(luò)的損失均可以將降到相對(duì)較低的水平,可以滿足對(duì)于指針式儀表讀數(shù)識(shí)別的要求。模型的Precision曲線和mAP曲線如圖3-9所示。(b)mAP(b)mAP曲線(a)Precision曲線圖3-9Precision曲線和mAP曲線由圖3-9可知,隨著迭代次數(shù)的增加,模型的檢測(cè)精度不斷提高,改進(jìn)后的YOLOv8網(wǎng)絡(luò)模型的準(zhǔn)確率達(dá)到97.5%,實(shí)驗(yàn)表明該模型具有較好的性能,并且網(wǎng)絡(luò)檢測(cè)速度較快,每張圖片的平均檢測(cè)時(shí)間為13ms。由于本文所用數(shù)據(jù)集為公開(kāi)數(shù)據(jù)集,存在指針式儀表所處環(huán)境單一且背景相對(duì)簡(jiǎn)單的情況,雖然使用如旋轉(zhuǎn)、亮度調(diào)整等方法對(duì)數(shù)據(jù)集進(jìn)行了部分?jǐn)U充,但當(dāng)在更換指針式儀表所處環(huán)境時(shí),可能會(huì)出現(xiàn)漏檢、誤判的情況。后續(xù)需要進(jìn)一步擴(kuò)充不同環(huán)境下的指針式儀表數(shù)據(jù)集,從而避免因環(huán)境變化產(chǎn)生的漏檢問(wèn)題。3.5本章小結(jié)本章選用單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv8s作為基礎(chǔ)網(wǎng)絡(luò),通過(guò)引入CBAM注意力模塊及優(yōu)化損失函數(shù)等措施對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行改進(jìn),最后利用改進(jìn)后的模型對(duì)指針式儀表數(shù)據(jù)集進(jìn)行訓(xùn)練,實(shí)驗(yàn)結(jié)果表明模型具有較好的性能。第四章指針式儀表讀數(shù)算法研究4.1基于刻度數(shù)字中心點(diǎn)的儀表傾斜校正4.1.1儀表校正方法概述儀表校正方法多種多樣,包括但不限于以下幾種常見(jiàn)技術(shù):利用仿射變換進(jìn)行的校正、通過(guò)透視變換實(shí)現(xiàn)的校正、依據(jù)預(yù)設(shè)分割模型的校正、基于霍夫變換的方法以及采用深度學(xué)習(xí)技術(shù)的校正方法。其中,深度學(xué)習(xí)技術(shù)特別是通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取儀表盤(pán)上刻度和數(shù)字周圍的關(guān)鍵點(diǎn),利用這些點(diǎn)擬合橢圓,并依據(jù)橢圓的參數(shù)和關(guān)鍵點(diǎn)位置信息,同時(shí)進(jìn)行儀表圖像的傾斜和旋轉(zhuǎn)校正??傮w來(lái)看,儀表校正旨在通過(guò)對(duì)儀表進(jìn)行仔細(xì)檢驗(yàn)和調(diào)整,確保其測(cè)量結(jié)果的精確性和可靠性。4.1.2指針式儀表傾斜校正面對(duì)指針式儀表圖像在目標(biāo)檢測(cè)過(guò)程中因儀表傾斜產(chǎn)生的讀數(shù)誤差,本文采用了一種以表盤(pán)大刻度線中心點(diǎn)為基準(zhǔn)的校正方法。此方法基于橢圓變換理論,應(yīng)用透視變換對(duì)圖像進(jìn)行初步的傾斜校正,然后根據(jù)儀表豎直中軸線兩側(cè)對(duì)稱的關(guān)鍵點(diǎn)確定儀表相對(duì)于水平方向的旋轉(zhuǎn)角度,并以橢圓的幾何中心為旋轉(zhuǎn)軸進(jìn)行圖像旋轉(zhuǎn),以完成第二階段的校正。儀表圖像旋轉(zhuǎn)校正涉及的坐標(biāo)變換公式為x部分經(jīng)過(guò)旋轉(zhuǎn)校正的指針式儀表表盤(pán)區(qū)域圖像如圖4-1所示。(c)目標(biāo)檢測(cè)((c)目標(biāo)檢測(cè)(a)目標(biāo)檢測(cè)(b)目標(biāo)檢測(cè)(f)旋轉(zhuǎn)校正(e)(f)旋轉(zhuǎn)校正(e)旋轉(zhuǎn)校正(d)旋轉(zhuǎn)校正圖4-1指針式儀表旋轉(zhuǎn)矯正效果圖由4-1可知,該指針式儀表旋轉(zhuǎn)校正方法效果較好,圖像數(shù)據(jù)在經(jīng)過(guò)傾斜校正之后再識(shí)別指針式儀表圖像,能夠進(jìn)一步提高讀數(shù)準(zhǔn)確度,具有實(shí)用價(jià)值。4.2圖像預(yù)處理及特征提取在指針式儀表表盤(pán)讀數(shù)的識(shí)別過(guò)程中,表盤(pán)圖像的質(zhì)量好壞直接影響到最終的識(shí)別精度。因此,本文對(duì)傾斜校正后的指針式儀表表盤(pán)圖像進(jìn)行了一系列的圖像預(yù)處理操作,以滿足后續(xù)算法的要求。(1)濾波處理本文分別選用四種濾波算法來(lái)對(duì)指針式儀表表盤(pán)區(qū)域進(jìn)行濾波操作,分別為均值濾波、中值濾波、高斯濾波及雙邊濾波,如圖4-2所示(a)原始圖片(b(a)原始圖片(b)均值濾波(c)中值濾波(e)雙邊(e)雙邊濾波(d)高斯濾波圖4-2濾波實(shí)驗(yàn)結(jié)果圖根據(jù)四種濾波算法對(duì)指針式儀表表盤(pán)圖像的輸出結(jié)果對(duì)比可知,均值濾波、中值濾波及雙邊濾波均能有效地降低圖像噪聲,但是同時(shí)會(huì)使圖像數(shù)據(jù)變得模糊,細(xì)節(jié)保留效果不佳。相較于其他濾波方法,高斯濾波算法不僅能夠有效去除圖像的顆粒噪聲,并且對(duì)指針式儀表表盤(pán)區(qū)域的細(xì)節(jié)保留較為良好。因此,本文選用高斯濾波算法對(duì)指針式儀表表盤(pán)區(qū)域進(jìn)行處理。(2)指針及圓心提取在使用高斯濾波對(duì)圖像處理之后,要先將圖像轉(zhuǎn)化為灰度圖,再對(duì)圖像進(jìn)行二值化處理,以便提取指針及圓心。為了尋找表盤(pán)圖像中的輪廓,本文使用OpenCV中的findContours函數(shù)。該函數(shù)可以定位指針和刻度線的輪廓,從而在二值化圖像中找到輪廓并返回它們的列表和層次結(jié)構(gòu)。根據(jù)輪廓中心點(diǎn)到使用HoughCircle檢測(cè)出的表盤(pán)中心點(diǎn)的距離篩選出指針輪廓和刻度線輪廓,再將輪廓擬合成直線,完成對(duì)刻度線的檢測(cè)。在得到所有刻度線后,將它們兩兩延長(zhǎng),獲取所有交點(diǎn),計(jì)算所有交點(diǎn)的x坐標(biāo)和y坐標(biāo)的平均值,這個(gè)平均值即為優(yōu)化過(guò)后的表盤(pán)中心點(diǎn)坐標(biāo)。得到各個(gè)輪廓中心點(diǎn)坐標(biāo)(xi,yi)則有各個(gè)輪廓中心點(diǎn)到表盤(pán)中心點(diǎn)的距離di滿足以下公式d篩選出指針輪廓后,得到指針輪廓中心點(diǎn)坐標(biāo)(xi,yi),針對(duì)指針輪廓圖像使用概率霍夫線變換函數(shù)檢測(cè)圖像中的直線,篩選出最長(zhǎng)直線段,得到直線段兩端的端點(diǎn)
,計(jì)算直線段兩端點(diǎn)與表盤(pán)中心點(diǎn)的距離,即dd若d1>d2
,則指針端點(diǎn)為(xp1,yp1),否則指針端點(diǎn)為(xp2,yp2)。圖4-3為指針式儀表圖像經(jīng)過(guò)二值化之后的圖像及檢測(cè)結(jié)果。(a)二值化圖像(a)二值化圖像(b)檢測(cè)結(jié)果圖4-3二值化處理及檢測(cè)結(jié)果4.3指針式儀表示數(shù)讀取本文所用的檢測(cè)方法為角度法,即通過(guò)計(jì)算指針與指針式儀表刻度盤(pán)之間的夾角來(lái)確定指針?biāo)赶虻目潭?。其主要原理是利用指針與零刻度的夾角,根據(jù)夾角占比計(jì)算指針的位置,進(jìn)而讀取刻度值。圖4-4為角度法原理圖。圖4圖4-4角度法讀數(shù)示意圖設(shè)置起始刻度線、指針端點(diǎn)、圓心分別為p1、p2和p3,通過(guò)計(jì)算指針端點(diǎn)坐標(biāo)、圓心坐標(biāo)、及起始刻度線中心坐標(biāo)計(jì)算起始刻度線與指針之間所成的夾角,再根據(jù)該夾角乘以指針式儀表的量程即為指針式儀表的讀數(shù)。指針式儀表輸入網(wǎng)絡(luò)時(shí)可能會(huì)出現(xiàn)四種情況,即為指針的位置位于第一象限、第二象限、第三象限及第四象限。因此,在進(jìn)行指針式儀表讀數(shù)分析時(shí)需要進(jìn)行特殊處理,以防止讀數(shù)計(jì)算出現(xiàn)問(wèn)題。輸出情況如下公式所示x利用余弦定理求出當(dāng)前指針下的偏轉(zhuǎn)角,其具體公式如下angle其中,abc在根據(jù)公式(4.6)獲取當(dāng)前指針的偏轉(zhuǎn)角度之后,結(jié)合公式(4.5)可以推導(dǎo)出對(duì)應(yīng)的指針式儀表讀數(shù)計(jì)算表達(dá)式,如下所示value其中,value表示當(dāng)前指針式儀表的最后讀數(shù)結(jié)果,MAX表示當(dāng)前指針式儀表的最大量程。4.4實(shí)驗(yàn)結(jié)果與分析經(jīng)過(guò)上述實(shí)驗(yàn)步驟,本文對(duì)于指針式儀表圖像進(jìn)行測(cè)試,部分讀數(shù)結(jié)果如表4-1所示。 表4-1部分指針式儀表讀數(shù)識(shí)別結(jié)果序號(hào)人工讀數(shù)/mm測(cè)量值/mm絕對(duì)誤差/mm相對(duì)誤差/%115.7815.730.05-0.317274.2574.670.420.566334.6134.110.50-1.442425.6325.980.351.365513.2114.180.977.342643.7043.910.210.481754.1053.850.25-0.462888.5089.010.510.576由表4-1可知,本文所使用的指針式儀表讀數(shù)識(shí)別系統(tǒng)讀數(shù)的最大相對(duì)誤差為7.342%,讀數(shù)識(shí)別結(jié)果較為準(zhǔn)確,能夠滿足讀數(shù)識(shí)別的要求。讀數(shù)算法產(chǎn)生誤差的原因可能涉及多個(gè)方面。如(1)算法本身的限制,讀數(shù)識(shí)別算法,如距離法和角度法,都存在自身的局限性。距離法雖然識(shí)別誤差較小,但對(duì)光照變化敏感,光照變化較大時(shí)可能導(dǎo)致讀數(shù)識(shí)別方法失效。而角度法雖然對(duì)光照適應(yīng)性較強(qiáng),但存在偏心誤差,即由于指針軸心與儀表刻度盤(pán)中心不重合引起的誤差,這會(huì)影響識(shí)別的精度。此外,當(dāng)指針邊緣與儀表刻度盤(pán)中的字母、數(shù)字或刻度線相連時(shí),也可能導(dǎo)致細(xì)化后獲取的指針直線偏離指針軸心,造成讀數(shù)誤差。(2)圖像質(zhì)量的影響,由于需要通過(guò)圖像獲取具體的數(shù)字、指針及刻度,圖像質(zhì)量對(duì)讀數(shù)算法的準(zhǔn)確性有重要影響。圖像質(zhì)量不佳可能導(dǎo)致算法在解析圖像時(shí)出現(xiàn)偏差,從而產(chǎn)生誤差。(3)環(huán)境條件,如溫度、濕度、壓力等也會(huì)對(duì)讀數(shù)算法產(chǎn)生影響。這些環(huán)境因素可能導(dǎo)致儀表本身發(fā)生變化,從而影響算法的讀數(shù)準(zhǔn)確性。實(shí)驗(yàn)表明,本文所用方法能夠較為準(zhǔn)確地識(shí)別指針式儀表示數(shù),并且具有良好的檢測(cè)速度。4.5本章小結(jié)本章主要對(duì)指針式儀表表盤(pán)示數(shù)讀取算法進(jìn)行了研究,利用多種圖像預(yù)處理算法提取指針式儀表表盤(pán)信息,如刻度線、指針及圓心等,進(jìn)一步獲取指針和刻度線交點(diǎn)坐標(biāo)及圓心坐標(biāo),再使用YOLOv8目標(biāo)檢測(cè)網(wǎng)絡(luò)獲取目標(biāo)檢測(cè)框的寬度、高度及位置坐標(biāo)等信息,最后計(jì)算起始刻度線與指針?biāo)蓨A角角度并計(jì)算最終結(jié)果。第五章指針式儀表讀數(shù)識(shí)別系統(tǒng)實(shí)現(xiàn)5.1系統(tǒng)概述本文設(shè)計(jì)的指針式儀表讀數(shù)系統(tǒng)的主要目的是代替?zhèn)鹘y(tǒng)的人工讀數(shù)方式,減小工作量,提高工作效率,同時(shí)能夠?qū)崟r(shí)監(jiān)控設(shè)備的工作狀態(tài),確保其處于最佳運(yùn)行狀態(tài),為工業(yè)生產(chǎn)和儀表管理帶來(lái)更大的便利和效益。5.2軟件設(shè)計(jì)5.2.1指針式儀表讀數(shù)識(shí)別系統(tǒng)整體框架指針式儀表讀數(shù)識(shí)別系統(tǒng)整體框架如圖5-1所示。圖5圖5-1軟件功能模塊本文設(shè)計(jì)的指針式儀表讀數(shù)識(shí)別系統(tǒng)主要包括算法管理模塊和結(jié)果顯示模塊。算法管理模塊包括指針式儀表圖像的傾斜校正、量程識(shí)別、示數(shù)讀取、讀數(shù)修改及讀數(shù)確認(rèn);結(jié)果顯示模塊包括檢測(cè)結(jié)果顯示、儀表圖像顯示及歷史記錄查詢。該系統(tǒng)的各個(gè)功能模塊主要采用Python語(yǔ)言實(shí)現(xiàn),各個(gè)模塊的集成以及系統(tǒng)的可視化由PyQT5實(shí)現(xiàn)。5.2.2功能演示指針式儀表讀數(shù)識(shí)別系統(tǒng)界面包括導(dǎo)入圖片、開(kāi)始檢測(cè)、確認(rèn)讀數(shù)、修改讀數(shù)、結(jié)果顯示(包括當(dāng)前時(shí)間、讀數(shù)結(jié)果)、清除數(shù)據(jù)等操作,讀數(shù)結(jié)果會(huì)保存在相應(yīng)txt文件中,如圖5-2所示。該系統(tǒng)檢測(cè)結(jié)果和程序界面如圖圖5-2讀數(shù)系統(tǒng)界面5圖5-2讀數(shù)系統(tǒng)界面圖5圖5-3系統(tǒng)讀數(shù)結(jié)果由圖5-3可知,人工讀數(shù)為41.49,本文設(shè)計(jì)的指針式儀表讀數(shù)識(shí)別系統(tǒng)所得到的讀數(shù)為41.65,絕對(duì)誤差為0.16,相對(duì)誤差為0.386%,模型性能較好,檢測(cè)效果達(dá)到較好水平。該系統(tǒng)對(duì)單個(gè)圖像數(shù)據(jù)的檢測(cè)速度如圖5-4所示。圖5圖5-4系統(tǒng)檢測(cè)速度由圖5-4可知,該系統(tǒng)對(duì)單張圖像的平均識(shí)別檢測(cè)速度為25.6ms,處于較快水平,實(shí)驗(yàn)表明本文所使用的改進(jìn)YOLOv8目標(biāo)檢測(cè)模型具有更小的網(wǎng)絡(luò)復(fù)雜度及輕量化的網(wǎng)絡(luò)結(jié)構(gòu)。5.3功能檢測(cè)軟件功能檢測(cè)的主要目的是確保軟件的功能按照預(yù)期的方式正常工作,本文對(duì)該系統(tǒng)的各個(gè)功能模塊進(jìn)行全面的測(cè)試和驗(yàn)證,以確保其正確性、完整性、穩(wěn)定性和可靠性。該系統(tǒng)的各項(xiàng)功能與相應(yīng)的測(cè)試結(jié)果如表5-1所示。表5-1基本功能測(cè)試測(cè)試項(xiàng)目測(cè)試內(nèi)容測(cè)試結(jié)果圖片導(dǎo)入檢測(cè)圖像數(shù)據(jù)能否正常被系統(tǒng)讀取并傳入至顯示界面PASS圖像檢測(cè)檢測(cè)指針式儀表圖像示數(shù)能否被正常識(shí)別并傳入至顯示界面PASS讀數(shù)驗(yàn)證檢測(cè)指針式儀表讀數(shù)識(shí)別結(jié)果能否被修改及確認(rèn)PASS讀數(shù)查詢檢測(cè)指針式儀表讀數(shù)識(shí)別的歷史結(jié)果能否正常讀取PASS讀數(shù)存儲(chǔ)檢測(cè)指針式儀表讀數(shù)識(shí)別結(jié)果能否正常保存至本地PASS5.4本章小結(jié)本章實(shí)現(xiàn)了指針式儀表讀數(shù)識(shí)別系統(tǒng)的整體設(shè)計(jì),主要包括系統(tǒng)功能與GUI圖形界面的設(shè)計(jì),從系統(tǒng)的整體結(jié)構(gòu)入手,逐步實(shí)現(xiàn)了結(jié)構(gòu)流程中的各個(gè)功能模塊,并集成各功能模塊搭建可視化界面,最后對(duì)該系統(tǒng)進(jìn)行了讀數(shù)識(shí)別功能的測(cè)試。6總結(jié)與展望6.1總結(jié)本文針對(duì)指針式儀表讀數(shù)識(shí)別方法進(jìn)行了研究,根據(jù)指針式儀表的實(shí)際應(yīng)用場(chǎng)景的需求,分析指針式儀表共有特征,采取深度學(xué)習(xí)方法與傳統(tǒng)圖像處理方法相結(jié)合的思想,進(jìn)一步設(shè)計(jì)了指針式儀表讀數(shù)識(shí)別系統(tǒng),完成了指針式儀表表盤(pán)示數(shù)識(shí)別檢測(cè)功能,并對(duì)其各個(gè)功能模塊進(jìn)行了測(cè)試。本文主要研究?jī)?nèi)容如下(1)針對(duì)指針式儀表在實(shí)際應(yīng)用環(huán)境中所存在的儀表傾斜問(wèn)題,本文采用了一種基于儀表大刻度線中心點(diǎn)的方法來(lái)改進(jìn)指針式儀表傾斜問(wèn)題,并取得了較好的效果。(2)為了能夠充分對(duì)指針式儀表表盤(pán)內(nèi)部的指針、刻度線、圓心等小目標(biāo)物體進(jìn)行提取,本文首先對(duì)指針式儀表圖像進(jìn)行平滑處理,再利用高斯濾波方法和自適應(yīng)閾值算法對(duì)圖形進(jìn)行進(jìn)一步處理,最后實(shí)現(xiàn)對(duì)刻度線、指針及圓心的提取,并獲取其坐標(biāo),通過(guò)角度法計(jì)算指針式儀表的最終讀數(shù)。(3)本文通過(guò)改進(jìn)YOLOv8目標(biāo)檢測(cè)網(wǎng)絡(luò),引入CBAM注意力機(jī)制,提升模型對(duì)小目標(biāo)物體的特征提取能力,從而提升模型性能。(4)根據(jù)指針式儀表讀數(shù)識(shí)別系統(tǒng)的需求,本文設(shè)計(jì)出系統(tǒng)的整體結(jié)構(gòu)框架和檢測(cè)流程,并對(duì)各個(gè)功能模塊進(jìn)行集成搭建可視化界面,最后將該系統(tǒng)的各項(xiàng)功能進(jìn)行測(cè)試,實(shí)現(xiàn)了對(duì)指針式儀表讀數(shù)的識(shí)別。6.2展望本文所設(shè)計(jì)的指針式儀表讀數(shù)識(shí)別系統(tǒng)在一定程度上為部分類別的指針式儀表讀數(shù)識(shí)別提供了可行的方案,但是由于技術(shù)水平有限,本文所研究的內(nèi)容仍然存在不少可以優(yōu)化與改進(jìn)的地方,這需要在未來(lái)的研究中進(jìn)一步探討。(1)本文選用的數(shù)據(jù)集為公開(kāi)數(shù)據(jù)集,存在數(shù)據(jù)質(zhì)量參差不齊、數(shù)據(jù)規(guī)模較小、圖像數(shù)據(jù)環(huán)境多樣化不足及圖形背景相對(duì)單一等問(wèn)題,這導(dǎo)致了模型在訓(xùn)練集上表現(xiàn)優(yōu)異,但在測(cè)試環(huán)境中的表現(xiàn)不佳,泛化能力欠缺。在之后的研究中,應(yīng)當(dāng)考慮進(jìn)一步擴(kuò)充數(shù)據(jù)集特別是不同采集環(huán)境下的圖像數(shù)據(jù),以提高模型的魯棒性和泛化能力。(2)本文使用的指針式儀表傾斜校正方法在面對(duì)儀表旋轉(zhuǎn)90-180度時(shí),難以實(shí)現(xiàn)正確的校正,即校正后的儀表可能是倒立的。(3)模型對(duì)指針式儀表表盤(pán)內(nèi)指針的定位和擬合算法容易受光照和表盤(pán)背景干擾,在未來(lái)的實(shí)驗(yàn)中可以考慮利用殘差神經(jīng)網(wǎng)絡(luò)直接對(duì)指針進(jìn)行定位和擬合。(4)指針式儀表表盤(pán)示數(shù)判定算法存在一定誤差,在之后的研究中應(yīng)當(dāng)優(yōu)化和改進(jìn)讀數(shù)算法,提高判定準(zhǔn)確率。參考文獻(xiàn)楊澤坤.《中國(guó)制造2025》與《德國(guó)工業(yè)戰(zhàn)略2030》的異曲同工[J].中國(guó)投資(中英文),2022,(Z9):26-29.王春霞,張亞楠.關(guān)于提高智能抄表成功率的探討[J].科技風(fēng),2018,(35):87.DOI:10.19392/ki.1671-7341.201835069.嚴(yán)永嘉,蹇木偉,劉宏哲等.基于深度學(xué)習(xí)的視覺(jué)SLAM研究綜述[C]//中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì).中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2023年第二十七屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集.北京聯(lián)合大學(xué)北京市信息服務(wù)重點(diǎn)實(shí)驗(yàn)室;北京聯(lián)合大學(xué)機(jī)器人學(xué)院腦與認(rèn)知智能北京實(shí)驗(yàn)室;山東財(cái)經(jīng)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;,2023:4.DOI:10.26914/kihy.2023.055284.張怡霄,王懷習(xí),姚云龍等.基于聚類與霍夫變換的同型雷達(dá)多目標(biāo)定位算法[J].電訊技術(shù),2023,63(12):1885-1893.DOI:10.20079/j.issn.1001-893x.230914002.張峰川.基于Python的模擬儀表讀數(shù)自動(dòng)識(shí)別系統(tǒng)設(shè)計(jì)[D].西安石油大學(xué),2023.DOI:10.27400/ki.gxasc.2023.000231.劉建軍,張壽明,鐘志偉.基于Bresenham算法的儀表示值自動(dòng)讀取方法[J].化工自動(dòng)化及儀表,2019,46(04):267-272.Bresenham,JE.AlgorithmforComputerControlofaDigitalPlotter[J].IBMSystemsJournal,1965,4(1):25-30.Chij,LiuL,LiuJ,etal.MachineVisionBasedAutomaticDetectionMethodofIndicatingValuesofaPointerGauge[J].MathematicalProblemsinEngineering,2015,2015(3):1-19.張鳳翔,趙輝,于汶.采用圖像測(cè)量技術(shù)實(shí)現(xiàn)指針式儀表示值的智能判讀[J].計(jì)量技術(shù),1995(9):28-30.何智杰,張彬,金連文.高精度指針儀表自動(dòng)讀數(shù)識(shí)別方法[J].計(jì)算機(jī)輔助工程,2006(03):9-12.陶冰潔,韓佳樂(lè),李恩.一種實(shí)用的指針式儀表讀數(shù)識(shí)別方法[J].光電工程,2011,38(04):145-150.李鐵橋,富麗宇,張虹等.圖象處理在指針式壓力表自動(dòng)判讀方面的應(yīng)用[J].自動(dòng)化儀表,1996,(12):17-20+43-44.張雪飛,黃山.多類指針式儀表識(shí)別讀數(shù)算法研究[J].電測(cè)與儀表,2020,57(16):147-152.DOI:10.19753/j.issn1001-1390.2020.16.025.于明鑫,王長(zhǎng)龍,張玉華等.復(fù)雜環(huán)境下視覺(jué)目標(biāo)跟蹤研究現(xiàn)狀及發(fā)展[J/OL].航空兵器,1-12[2024-03-04]./kcms/detail/41.1228.TJ.20240117.1742.001.html.邢浩強(qiáng),杜志岐,蘇波.變電站指針式儀表檢測(cè)與識(shí)別方法[J].儀器儀表學(xué)報(bào),2017,38(11):2813-2821.QingL,Ting-tingW,Ya-hongD,etal.IntelligentidentificationoflandslidesinloessareasbasedontheimprovedYOLOalgorithm:acasestudyofloesslandslidesinBaojiCity[J].JournalofMountainScience,2023,20(11):3343-3359.徐發(fā)兵,吳懷宇,陳志環(huán)等.基于深度學(xué)習(xí)的指針式儀表檢測(cè)與識(shí)別研究[J].高技術(shù)通訊,2019,29(12):1206-1215.WangL,WangP.Computervisionbasedautomaticrecognitionofpointerinstruments:datasetoptimizationandreading[J].Entropy,2021,23(3):1-21.孫曉朋,侯立群,渠懷勝.基于卷積神經(jīng)網(wǎng)絡(luò)的漸進(jìn)式指針表自動(dòng)讀數(shù)方法[J].傳感技術(shù)學(xué)報(bào),2021,34(10):1326-1333.賀嘉琪.基于深度學(xué)習(xí)的指針式儀表示數(shù)自動(dòng)識(shí)別的研究與應(yīng)用[D].北京郵電大學(xué),2019.李漢巨.基于機(jī)器學(xué)習(xí)和模板匹配的變電站儀表自動(dòng)讀數(shù)方法[J].電氣技術(shù),2024,25(01):61-66.董晶.模板圖像快速可靠匹配技術(shù)研究[D].國(guó)防科學(xué)技術(shù)大學(xué),2015.黎超.基于深度學(xué)習(xí)的圖像配準(zhǔn)算法研究[D].北京郵電大學(xué),2023.DOI:10.26969/ki.gbydu.2023.000140.李翰威,崔飛易,凌慶慶等.基于傅里葉梅林變換的圖像配準(zhǔn)方法[J].中國(guó)醫(yī)學(xué)物理學(xué)雜志,2023,40(05):562-567.賈一鑫,鄧魏永,殷強(qiáng)等.基于改進(jìn)SURF的增強(qiáng)現(xiàn)實(shí)圖像匹配方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025高考新高考一卷地理模擬試題試卷+參考答案
- 幼兒園師德培訓(xùn)個(gè)人心得體會(huì)4篇
- 2025教育法規(guī)試題及答案
- 南方科技大學(xué)《計(jì)量技術(shù)》2024-2025學(xué)年第一學(xué)期期末試卷
- 2025年財(cái)稅崗位筆試題目及答案
- 成都中醫(yī)藥大學(xué)《Web前端應(yīng)用技術(shù)》2024-2025學(xué)年第一學(xué)期期末試卷
- 石家莊鐵道大學(xué)四方學(xué)院《回歸分析實(shí)驗(yàn)》2024-2025學(xué)年第一學(xué)期期末試卷
- 法律賠償諒解書(shū)
- 石家莊信息工程職業(yè)學(xué)院《數(shù)值計(jì)算基礎(chǔ)》2024-2025學(xué)年第一學(xué)期期末試卷
- 基于淀西河橋橋梁拆橋施工方案的設(shè)計(jì)-畢業(yè)設(shè)計(jì)
- 色素性皮膚病課件
- 《醫(yī)用化學(xué)基礎(chǔ)》教案
- GB/T 9969-2008工業(yè)產(chǎn)品使用說(shuō)明書(shū)總則
- GB/T 3618-2006鋁及鋁合金花紋板
- GB 31645-2018食品安全國(guó)家標(biāo)準(zhǔn)膠原蛋白肽
- 防山體滑坡應(yīng)急預(yù)案
- 江蘇省社會(huì)組織網(wǎng)上辦事系統(tǒng)-操作手冊(cè)
- DB37-T 3079-2017特種設(shè)備事故隱患排查治理體系細(xì)則
- 2023版江西省鄉(xiāng)鎮(zhèn)衛(wèi)生院街道社區(qū)衛(wèi)生服務(wù)中心地址醫(yī)療機(jī)構(gòu)名單(1744家)
- 各種隔離標(biāo)識(shí)
- 鋼質(zhì)防火門(mén)窗項(xiàng)目商業(yè)計(jì)劃書(shū)范文參考
評(píng)論
0/150
提交評(píng)論