[13]。 基于候選區(qū)的檢測算法，如R-CNN系列，通過區(qū)域建議網(wǎng)絡(luò)（RPN）生成候選框，然后使用分類器對目標(biāo)進(jìn)行分類，最后通過回歸器微調(diào)目標(biāo)框的位置。這種方法在物體檢測中取得了較好的效果，但檢測速度相對較慢。由于二階段算法在兩個(gè)階段都進(jìn)行了精細(xì)的處理，因此在小目標(biāo)檢測和復(fù)雜場景中的表現(xiàn)通常優(yōu)于單階段算法。為了提高速度和準(zhǔn)確率，研究者們提出了FasterR-CNN，通過共享全連接層和引入?yún)^(qū)域池化（ROIpooling）來優(yōu)化檢測流程。此外，還有研究者通過多尺度訓(xùn)練和特征融合技術(shù)改進(jìn)FasterR-CNN，以解決遮擋和小目標(biāo)漏檢問題。 基于分類的檢測算法，如YOLO系列v7、SSD系列和RetinaNet系列等，其主要優(yōu)勢在于速度快，能夠?qū)崿F(xiàn)實(shí)時(shí)目標(biāo)檢測。這類算法直接在網(wǎng)絡(luò)的輸出層給出目標(biāo)的類別和位置信息，無需額外的步驟生成候選區(qū)域，因此在處理速度上有明顯優(yōu)勢。YOLOv7算法作為單階段算法的代表，通過使用多尺度特征預(yù)測和數(shù)據(jù)增強(qiáng)技術(shù)，有效提高了小目標(biāo)的檢測準(zhǔn)確率。SSD算法則通過在不同層級上添加卷積層來捕獲不同尺度的目標(biāo)。而RetinaNet算法可以看成是一個(gè)RPN網(wǎng)絡(luò)，經(jīng)過Backbone進(jìn)行特征提取之后，接FPN然后進(jìn)行分類和回歸的檢測。這些算法在安全帽佩戴檢測中的應(yīng)用表明，它們能夠在保持較高檢測速度的同時(shí)，也具有較好的準(zhǔn)確率。 除了上述主流方法，研究者們還嘗試將深度學(xué)習(xí)與其他輔助算法結(jié)合，可以更準(zhǔn)確地判斷安全帽是否被正確佩戴。此外，使用注意力機(jī)制和超分辨率重建技術(shù)可以進(jìn)一步提高模型對復(fù)雜背景和低分辨率圖像的處理能力。 總體來看，國內(nèi)外在安全帽佩戴檢測算法的研究上取得了顯著進(jìn)展。基于深度學(xué)習(xí)的方法不僅提高了檢測的準(zhǔn)確性和實(shí)時(shí)性，而且通過與其他技術(shù)的融合，增強(qiáng)了模型的泛化能力和適應(yīng)性。未來，隨著算法的不斷優(yōu)化和計(jì)算資源的進(jìn)一步提升，安全帽佩戴檢測技術(shù)有望在施工現(xiàn)場安全管理中發(fā)揮更加重要的作用。1.3主要研究內(nèi)容基于Python和華為云平臺的安全帽和反光衣檢測算法的智慧工地項(xiàng)目，旨在通過先進(jìn)的計(jì)算機(jī)視覺技術(shù)提升工地安全管理和施工效率。該項(xiàng)目的主要研究內(nèi)容包括： （1）目標(biāo)檢測與識別：項(xiàng)目的核心是開發(fā)和訓(xùn)練深度學(xué)習(xí)模型，聚焦于用YOLOv7算法實(shí)現(xiàn)物體檢測，在ModelArts的Notebook開發(fā)環(huán)境中實(shí)現(xiàn)用YOLOv7算法構(gòu)建一個(gè)物體檢測的卷積神經(jīng)網(wǎng)絡(luò)模型（CNN），并在該環(huán)境中實(shí)現(xiàn)對物體檢測神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練與測試，最終達(dá)到自動(dòng)檢測和識別關(guān)鍵目標(biāo)的目的，包括對工人是否佩戴安全帽和反光衣的檢測。（2）實(shí)時(shí)監(jiān)控系統(tǒng)：利用華為云平臺的計(jì)算能力，項(xiàng)目實(shí)現(xiàn)了對工地現(xiàn)場的實(shí)時(shí)監(jiān)控。通過部署訓(xùn)練模型，系統(tǒng)能夠不間斷地捕捉圖像和視頻數(shù)據(jù)，并將這些數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行處理和分析。（3）數(shù)據(jù)分析與優(yōu)化：項(xiàng)目通過多次訓(xùn)練所收集數(shù)據(jù)進(jìn)行深入分析，以發(fā)現(xiàn)施工過程中的效率瓶頸和安全風(fēng)險(xiǎn)。這些分析結(jié)果有助于優(yōu)化施工計(jì)劃、提高資源利用率，并預(yù)測潛在的安全問題。（4）用戶界面設(shè)計(jì)：為了讓工地管理人員能夠方便地使用系統(tǒng)，項(xiàng)目還包括開發(fā)直觀的用戶界面。通過這些界面，管理人員可以輕松查看監(jiān)控結(jié)果，并根據(jù)需要采取相應(yīng)的管理措施。通過這些研究內(nèi)容，基于Python機(jī)器視覺的智慧工地項(xiàng)目不僅能夠提高工地安全管理的效率和水平，還能夠通過智能化的監(jiān)控手段，為建筑行業(yè)的數(shù)字化轉(zhuǎn)型和可持續(xù)發(fā)展提供堅(jiān)實(shí)的技術(shù)支持。通過這些研究內(nèi)容的深入探索和實(shí)踐應(yīng)用，智慧工地項(xiàng)目有望成為未來建筑行業(yè)安全管理的新標(biāo)桿。1.4本文結(jié)構(gòu)第一章為緒論，首先講述本系統(tǒng)的研究背景和意義；闡述在安全帽配戴檢測方法等領(lǐng)域相關(guān)算法的國內(nèi)外發(fā)展現(xiàn)狀；簡要介紹本系統(tǒng)的主要內(nèi)容和創(chuàng)新點(diǎn)；最后對本文的內(nèi)容安排進(jìn)行介紹。第二章為需求分析，主要從技術(shù)的難度和作品的成本等方面的考慮本系統(tǒng)的可行性，并對設(shè)計(jì)所需的功能進(jìn)行簡要分析。第三章為系統(tǒng)總體方案設(shè)計(jì)，闡述系統(tǒng)整體框架設(shè)計(jì)；介紹本系統(tǒng)所需的安全帽和反光衣數(shù)據(jù)集的訓(xùn)練；從物體檢測算法、物體識別算法、預(yù)訓(xùn)練模型以及終端和服務(wù)器端之間的通信等方面分析系統(tǒng)工作原理。第四章為系統(tǒng)軟件設(shè)計(jì)，主要介紹系統(tǒng)圖像的無線傳輸程序設(shè)計(jì)、系統(tǒng)的兩種工作模式的設(shè)計(jì)、信息提取結(jié)果匯總的程序設(shè)計(jì)。第五章為系統(tǒng)功能測試，將從視頻回放模式和視頻錄制模式兩個(gè)方面對智慧工地檢測系統(tǒng)進(jìn)行功能測試。第六章為結(jié)束語，總結(jié)本系統(tǒng)的工作內(nèi)容、分析出現(xiàn)的問題以及對未來的展望。2需求分析2.1可行性分析智慧工地項(xiàng)目的研究取得了很大的進(jìn)展，相關(guān)算法根據(jù)場景和需求都做了相應(yīng)的創(chuàng)新，在應(yīng)用上取得了豐碩的成果。國內(nèi)外出現(xiàn)了多個(gè)開源項(xiàng)目和工具庫，根據(jù)本系統(tǒng)的需求，還有三個(gè)項(xiàng)目可供選擇。（1）OpenMMLab以其全面的算法支持、活躍的社區(qū)背景和易于使用的接口脫穎而出，但該項(xiàng)目存在一定的不足，需要較大的計(jì)算資源，運(yùn)行耗時(shí)，效率不足，且對初學(xué)者存在一定學(xué)習(xí)成本。（2）MMDetection以其模塊化設(shè)計(jì)、多樣化的模型為用戶提供了高度的自定義和擴(kuò)展能力。盡管如此，管理和配置Python環(huán)境及依賴需要額外的開發(fā)成本。（3）TensorFlowObjectDetectionAPI則提供了強(qiáng)大的框架支持、靈活性和可擴(kuò)展性，以及豐富的預(yù)訓(xùn)練模型和詳細(xì)的文檔教程，幫助開發(fā)者快速上手。但一些復(fù)雜的模型對于不熟悉TensorFlow框架的開發(fā)者來說，存在一定的學(xué)習(xí)成本，并需要額外的性能優(yōu)化以適應(yīng)資源受限導(dǎo)致不準(zhǔn)確的預(yù)測結(jié)果。綜上所述，YOLOv7為本系統(tǒng)提供了高速度和高準(zhǔn)確性的目標(biāo)檢測能力，而華為云平臺的ModelArts服務(wù)則為本系統(tǒng)提供了全流程的AI開發(fā)支持和強(qiáng)大的算力資源。在這一技術(shù)框架下，選擇華為晟騰910作為訓(xùn)練芯片是一個(gè)關(guān)鍵的決策，它進(jìn)一步增強(qiáng)了系統(tǒng)的訓(xùn)練效率和準(zhǔn)確率。華為晟騰910是一款專為深度學(xué)習(xí)訓(xùn)練任務(wù)設(shè)計(jì)的高性能AI處理器，它具備大量的計(jì)算核心和高速的數(shù)據(jù)處理能力，能夠顯著提升模型訓(xùn)練的速度和最終模型的性能表現(xiàn)。 ModelArts作為一個(gè)一站式AI開發(fā)平臺，它不僅提供了海量數(shù)據(jù)預(yù)處理及半自動(dòng)化標(biāo)注、大規(guī)模分布式訓(xùn)練、自動(dòng)化模型生成及端-邊-云模型按需部署的能力，還通過其底層對異構(gòu)計(jì)算資源的支持，使得開發(fā)者能夠更加專注于算法創(chuàng)新和模型優(yōu)化。這種底層技術(shù)支持的透明化，極大地簡化了AI開發(fā)的復(fù)雜性，降低了技術(shù)門檻，使得不同經(jīng)驗(yàn)水平的開發(fā)者都能夠高效地利用平臺資源，快速構(gòu)建和部署AI模型。 ModelArts平臺的設(shè)計(jì)理念在于簡化AI開發(fā)流程，使得AI開發(fā)變得更加簡單和方便。對于業(yè)務(wù)開發(fā)者，ModelArts提供的自動(dòng)學(xué)習(xí)流程讓他們無需深入模型或編碼細(xì)節(jié)，也能快速構(gòu)建AI應(yīng)用。對于AI初學(xué)者，預(yù)置算法的提供使他們即使不深入了解模型開發(fā)，也能構(gòu)建有效的AI應(yīng)用。對于AI工程師，ModelArts提供了多種開發(fā)環(huán)境和操作流程，便于他們進(jìn)行編碼擴(kuò)展和快速構(gòu)建模型及應(yīng)用。 通過這種結(jié)合YOLOv7的目標(biāo)檢測能力和ModelArts的一站式AI開發(fā)平臺，再輔以華為晟騰910訓(xùn)練芯片的強(qiáng)大計(jì)算能力，本系統(tǒng)能夠?qū)崿F(xiàn)高效、準(zhǔn)確、便捷的管理和監(jiān)控。這種技術(shù)組合不僅減少了對專用芯片的依賴，降低了開發(fā)成本，而且通過華為云的按需收費(fèi)模式，確保了項(xiàng)目成本的可控性，同時(shí)保持了系統(tǒng)的高準(zhǔn)確率。這對于智慧工地系統(tǒng)項(xiàng)目來說至關(guān)重要，能夠顯著提高工地的安全性和管理效率，推動(dòng)建筑行業(yè)的智能化和自動(dòng)化發(fā)展。隨著技術(shù)的不斷進(jìn)步和優(yōu)化，未來智慧工地項(xiàng)目還有望進(jìn)一步提升性能，解決小尺寸物體識別精度不高和圖像傳輸時(shí)間較長等問題，不斷提升系統(tǒng)的綜合性能和應(yīng)用價(jià)值。2.2功能需求本系統(tǒng)主要的功能需求有目標(biāo)檢測與識別、數(shù)據(jù)分析與優(yōu)化以及用戶界面設(shè)計(jì)三個(gè)功能。（1）目標(biāo)檢測與識別功能。該部分功能通過部署高清攝像頭捕捉工地現(xiàn)場的圖像，并運(yùn)用深度學(xué)習(xí)算法對視頻流進(jìn)行實(shí)時(shí)分析，自動(dòng)識別并區(qū)分工作人員是否正確佩戴安全帽和穿著反光衣。這一功能能夠識別并標(biāo)記出不符合安全著裝要求的人員，為安全管理提供直接的依據(jù)。（2）數(shù)據(jù)分析與優(yōu)化功能。系統(tǒng)能夠評估和優(yōu)化現(xiàn)有的安全帽和反光衣檢測算法，通過對比不同模型的性能，選擇或調(diào)整最佳模型。通過持續(xù)的監(jiān)測和反饋，可以不斷改進(jìn)數(shù)據(jù)處理流程和模型性能，確保智慧工地項(xiàng)目能夠長期有效地服務(wù)于工地安全管理。（3）用戶界面設(shè)計(jì)。該部分功是確保智慧工地項(xiàng)目易于使用和推廣的關(guān)鍵。系統(tǒng)設(shè)計(jì)了直觀且易于理解的用戶界面，使得非技術(shù)人員也能快速掌握并有效使用，如圖2-1、圖2-2和圖2-3。圖2-1智慧工地系統(tǒng)登錄窗口圖2-2智慧工地系統(tǒng)注冊窗口圖2-3智慧工地+AI監(jiān)測系統(tǒng)界面3系統(tǒng)總體方案設(shè)計(jì)3.1系統(tǒng)框架設(shè)計(jì)基于python機(jī)器視覺的智慧工地系統(tǒng)分為數(shù)據(jù)集的制作和訓(xùn)練、信息提取相關(guān)算法的選擇和實(shí)現(xiàn)原理、終端和服務(wù)器端的協(xié)同三個(gè)部分。本系統(tǒng)的模型訓(xùn)練包括兩個(gè)主要部分：數(shù)據(jù)集的人工標(biāo)注和在華為云平臺上搭建yolov7訓(xùn)練環(huán)境并使用CNN算法框架對數(shù)據(jù)集進(jìn)行訓(xùn)練。本系統(tǒng)的信息提取部分包括工地場景下對安全帽和反光衣進(jìn)行的物體檢測、物體識別等算法的選擇和實(shí)現(xiàn)。本系統(tǒng)的終端和服務(wù)器端的協(xié)同部分包括實(shí)時(shí)監(jiān)控、模型推理等。本系統(tǒng)能夠處理圖片和xml兩種格式的文件。在服務(wù)器端部署模型后，將需要處理的文件上傳到服務(wù)器端，然后進(jìn)行關(guān)鍵信息提取、圖像和標(biāo)簽的保存以及可視化處理結(jié)果的生成等操作?？紤]到本系統(tǒng)存在部署門檻、產(chǎn)品批量化需求和成本控制等因素，同時(shí)對模型推理設(shè)備的算力和顯存有一定的要求，因此本系統(tǒng)采用如圖3-1所示的框架。該框架將華為云平臺作為服務(wù)器端，為模型推理提供所需算力。終端設(shè)備將攝像頭采集到的圖像上傳到華為云平臺進(jìn)行處理，并接收處理結(jié)果。本系統(tǒng)分為物體檢測、物體識別兩個(gè)階段對智慧工地的監(jiān)控錄像進(jìn)行特征提取，旨在提高信息提取的準(zhǔn)確性。最終服務(wù)器端返回結(jié)果給終端設(shè)備進(jìn)行保存和顯示。圖3-1系統(tǒng)框架圖3.2數(shù)據(jù)集的制作和訓(xùn)練3.2.1樣本圖片的收集 為構(gòu)建有效的訓(xùn)練數(shù)據(jù)集，本系統(tǒng)通過多種途徑收集樣本圖片。首先，使用圖片爬蟲技術(shù)從互聯(lián)網(wǎng)上自動(dòng)獲取包含安全帽和反光衣的圖片。其次，利用華為云平臺的AIGallery下載相關(guān)的數(shù)據(jù)集，這些數(shù)據(jù)集通常由專業(yè)人士整理，具有較高的質(zhì)量和多樣性。收集到的圖片經(jīng)過嚴(yán)格的篩選和分類，確保樣本的多樣性和代表性。最終，得到安全帽圖片1137張，反光衣圖片1985張。3.2.2數(shù)據(jù)標(biāo)注和模型訓(xùn)練YOLOv7（YouOnlyLookOnceversion7）是一個(gè)先進(jìn)的目標(biāo)檢測算法，它能夠?qū)崟r(shí)地檢測和識別圖像中的物體。通過在華為云平臺上部署YOLOv7，可以充分利用云服務(wù)器的高性能計(jì)算資源，對大量圖像數(shù)據(jù)進(jìn)行處理以快速得到檢測和識別結(jié)果。該算法支持矩形框標(biāo)注，導(dǎo)出格式可直接用于檢測和識別模型的訓(xùn)練。將包括圖片、文本框坐標(biāo)、文本內(nèi)容等信息的數(shù)據(jù)集導(dǎo)出后，上傳到華為云平臺服務(wù)端進(jìn)行部署，并調(diào)整參數(shù)進(jìn)行訓(xùn)練即可得到模型。為了優(yōu)化圖像傳輸速率、壓縮和加速模型、提高可移植性和推理性能，將該模型轉(zhuǎn)化為推理模型，最終得到了物體檢測和物體識別兩個(gè)模型。利用該數(shù)據(jù)集，在三個(gè)智慧工地錄像場景下對模型進(jìn)行微調(diào)。物體檢測采用以ELAN（EfficientLayerAggregationNetwork）為特征模塊提取網(wǎng)絡(luò)的YOLOv7算法，物體識別以采用以ResNet-50作為骨干網(wǎng)絡(luò)的FasterR-CNN算法進(jìn)行適配。本系統(tǒng)能夠有效地檢測和識別智慧工地中的安全帽和反光衣，為工地安全管理提供了有力的技術(shù)支持。3.3系統(tǒng)工作原理3.3.1物體檢測算法 物體檢測是通過計(jì)算機(jī)視覺技術(shù)在圖像或視頻中，識別和定位一個(gè)或多個(gè)物體，并為每個(gè)檢測到的物體提供邊界框和類別標(biāo)簽的過程。本系統(tǒng)物體檢測采用先進(jìn)的YOLOv7算法進(jìn)行物體檢測，該算法通過卷積神經(jīng)網(wǎng)絡(luò)直接從輸入圖像像素映射到邊界框坐標(biāo)和類別概率，實(shí)現(xiàn)了快速且準(zhǔn)確的目標(biāo)檢測。 YOLOv7的核心技術(shù)包括新型骨干網(wǎng)絡(luò)（NovelBackboneNetwork，NBN）、改進(jìn)的特征金字塔（ImprovedFeaturePyramid，IFP）、更強(qiáng)大的目標(biāo)檢測頭，以及集成了多種數(shù)據(jù)增強(qiáng)和訓(xùn)練策略。其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3-2所示。系統(tǒng)首先接收輸入圖像，然后通過特征提取、邊界框預(yù)測、類別預(yù)測和置信度評分等步驟，最終利用非極大值抑制（NMS）處理消除重疊的預(yù)測框，確保每個(gè)檢測到的物體都準(zhǔn)確標(biāo)記。這一過程使得系統(tǒng)能夠在實(shí)時(shí)監(jiān)控中有效識別并定位安全帽、反光衣等關(guān)鍵物體，為智慧工地安全管理提供強(qiáng)有力的技術(shù)支持。圖3-2YOLOv7算法的網(wǎng)絡(luò)結(jié)構(gòu)YOLOv7在設(shè)計(jì)上注重速度和準(zhǔn)確性的平衡，其在5fps至160fps范圍內(nèi)的速度和精度都超過了所有已知的物體檢測器，并在所有已知的實(shí)時(shí)物體檢測器中具有最高的精度(56.8%AP)，在GPUV100上具有30fps或更高的速度。YOLOv7與其他目標(biāo)檢測器相比實(shí)現(xiàn)了最先進(jìn)的性能，如圖3-3、圖3-4、圖3-5，圖3-6所示（x軸是推理時(shí)間，y軸是準(zhǔn)確率）。圖3-3YOLOv7與YOLO系列前代實(shí)時(shí)目標(biāo)檢測器性能對比圖圖3-4YOLOv7與其他物體檢測器性能對比圖圖3-5YOLOv7與其他實(shí)時(shí)物體檢測器性能對比圖圖3-6YOLOv7與其他實(shí)時(shí)目標(biāo)檢測器性能對比圖 在目標(biāo)檢測算法中，Backbone是整個(gè)網(wǎng)絡(luò)的基礎(chǔ)，負(fù)責(zé)從輸入圖像中提取有用的特征，這些特征隨后被用于各種任務(wù)，如分類、檢測或分割。常見的Backbone網(wǎng)絡(luò)包括： （1）Darknet：YOLO系列目標(biāo)檢測算法中常用的Backbone，例如Darknet-53是YOLOv3和YOLOv4中使用的網(wǎng)絡(luò)結(jié)構(gòu)。 （2）ResNet：殘差網(wǎng)絡(luò)，由微軟研究院提出，通過使用殘差連接來解決深層網(wǎng)絡(luò)訓(xùn)練中的梯度消失問題。 （3）EfficientNet：一系列優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)，通過模型縮放來提高效率和準(zhǔn)確性。 （4）VGGNet：視覺幾何組網(wǎng)絡(luò)，由牛津大學(xué)的視覺幾何組提出，以其較深的網(wǎng)絡(luò)結(jié)構(gòu)聞名。 （5）Inception：谷歌提出的網(wǎng)絡(luò)，通過多尺度的卷積核來提取不同尺度的特征。算法中的ELAN（EfficientLayerAggregationNetwork）模塊是一種高效的網(wǎng)絡(luò)結(jié)構(gòu)，它的主要功能是優(yōu)化梯度長度，以提高網(wǎng)絡(luò)的學(xué)習(xí)能力和效率，如圖3-7所示。ELAN模塊通過控制最短和最長的梯度路徑，使網(wǎng)絡(luò)能夠在較少的參數(shù)量下學(xué)習(xí)到更多的特征，并且具有更強(qiáng)的魯棒性。 圖3-7YOLOv7算法中的ELAN模塊 ELAN模塊包含兩條分支，第一條分支通過1x1的卷積模塊改變通道數(shù)，而第二條分支則更為復(fù)雜，它首先通過1x1的卷積模塊進(jìn)行通道數(shù)的變化，然后經(jīng)過多個(gè)3x3的卷積模塊進(jìn)行特征提取。這些特征最后被疊加在一起，形成最終的特征提取結(jié)果。 ELAN的設(shè)計(jì)允許網(wǎng)絡(luò)結(jié)構(gòu)在保持原有梯度傳輸路徑不變的情況下，通過expand、shuffle、mergecardinality的操作來增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。這種操作方式可以增強(qiáng)不同特征圖學(xué)習(xí)到的特征，改進(jìn)參數(shù)的使用和計(jì)算效率。 ELAN模塊還能夠引導(dǎo)不同組的計(jì)算塊學(xué)習(xí)更多樣化的特征，從而提高目標(biāo)檢測的準(zhǔn)確性。此外，ELAN的結(jié)構(gòu)允許在不破壞原有梯度路徑的情況下讓網(wǎng)絡(luò)的學(xué)習(xí)能力不斷增強(qiáng)，這對于提高YOLOv7在目標(biāo)檢測任務(wù)中的性能至關(guān)重要。 在本系統(tǒng)中，Backbone結(jié)合SPPCSPC網(wǎng)絡(luò)結(jié)構(gòu)模塊以提高特征提取的效率和效果，如圖3-8所示。SPPCSPC（SpatialPyramidPoolingCrossStagePartialChannel）是一種在深度學(xué)習(xí)中用于特征提取的網(wǎng)絡(luò)結(jié)構(gòu)模塊，是YOLOv7目標(biāo)檢測算法中的一部分。這個(gè)模塊結(jié)合了空間金字塔池化（SpatialPyramidPooling,SPP）和CrossStagePartial（CSP）網(wǎng)絡(luò)的概念，旨在提高目標(biāo)檢測網(wǎng)絡(luò)對小目標(biāo)的檢測能力，同時(shí)保持對大目標(biāo)的高性能。圖3-8backbone結(jié)合SPPCSPC網(wǎng)絡(luò)結(jié)構(gòu)模塊 通過這種方式，SPPCSPC能夠更有效地提取和融合多尺度特征，從而提高整體的目標(biāo)檢測性能。SPPCSPC模塊通常位于網(wǎng)絡(luò)的“頸部”（neck），這是特征提取和目標(biāo)預(yù)測之間的過渡部分。它的作用是提取豐富的特征信息，并將其傳遞給后續(xù)的目標(biāo)檢測頭（head），以便進(jìn)行準(zhǔn)確的目標(biāo)分類和定位。 3.3.2物體識別算法物體識別是計(jì)算機(jī)視覺中通過分析圖像內(nèi)容來識別并分類圖像中的物體的過程。本系統(tǒng)采用以ResNet-50作為骨干網(wǎng)絡(luò)的FasterR-CNN算法進(jìn)行物體識別。FasterR-CNN是截止目前，R-CNN系列算法的最杰出產(chǎn)物，最為經(jīng)典的雙階段物體識別算法。推理第一階段先找出圖片中待檢測物體的anchor矩形框（對背景、待檢測物體進(jìn)行二分類），第二階段對anchor框內(nèi)待檢測物體進(jìn)行分類，如圖3-9所示。圖3-9FasterR-CNN檢測示例該算法是一種高效的兩階段目標(biāo)識別框架，它在保持高準(zhǔn)確性的同時(shí)顯著提高了目標(biāo)識別的速度。FasterR-CNN的核心在于引入了區(qū)域建議網(wǎng)絡(luò)（RegionProposalNetwork，RPN），該網(wǎng)絡(luò)能夠在整個(gè)圖像上生成候選對象區(qū)域，并對這些區(qū)域進(jìn)行特征提取和分類，如圖3-10所示。圖3-10區(qū)域提案網(wǎng)絡(luò)（RPN）整個(gè)FasterR-CNN可以分為三部分，如圖3-11所示：（1）Backbone：共享基礎(chǔ)卷積層，構(gòu)建復(fù)雜神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵組件，它負(fù)責(zé)從輸入數(shù)據(jù)中提取有用的特征。這些特征隨后可以被用于各種下游任務(wù)，如分類、檢測或分割。Backbone通常由一系列卷積層組成，這些層共享權(quán)重并并行處理輸入數(shù)據(jù)，從而有效地提取圖像的局部和全局特征。例如VGG16，或Resnet101，去除其中的全連接層，只留下卷積層，輸出下采樣后的特征圖。（2）RPN：候選檢測框生成網(wǎng)絡(luò)（RegionProposalNetworks）將圖像（任意大?。┳鳛檩斎?，并輸出一組矩形對象提案，每個(gè)提案都有一個(gè)對象分?jǐn)?shù)。為了生成區(qū)域建議，我們在最后一個(gè)共享卷積層輸出的卷積特征圖上滑動(dòng)一個(gè)小網(wǎng)絡(luò)。這個(gè)小網(wǎng)絡(luò)將輸入卷積特征圖的n×n空間窗口作為輸入。每個(gè)滑動(dòng)窗口都映射到一個(gè)低維特征。（3）Roipooling與分類網(wǎng)絡(luò)：對候選檢測框進(jìn)行分類，并且再次微調(diào)候選框坐標(biāo)（在RPN中，網(wǎng)絡(luò)會(huì)根據(jù)先前人為設(shè)置的anchor框進(jìn)行坐標(biāo)調(diào)整，所以這里是第二次調(diào)整）輸出檢測結(jié)果。將h×w的RoI窗口劃分為大小近似為h/H×w/W的子窗口的H×W網(wǎng)格，然后將每個(gè)子窗口中的值最大池化到相應(yīng)的輸出網(wǎng)格單元格中。池化獨(dú)立應(yīng)用于每個(gè)特征圖通道，就像在標(biāo)準(zhǔn)最大池化中一樣。RoI層只是空間金字塔池化層的特例，其中只有一個(gè)金字塔級別。圖3-11FasterR-CNN結(jié)構(gòu)圖在FasterR-CNN中，首先使用骨干網(wǎng)絡(luò)（如ResNet-50）對輸入圖像進(jìn)行特征提取，生成一個(gè)全局的特征圖。這個(gè)特征圖被送入RPN后通過滑動(dòng)窗口在特征圖上生成一系列候選區(qū)域（anchors），每個(gè)區(qū)域都伴隨一個(gè)對象存在的概率分?jǐn)?shù)。接下來，這些候選區(qū)域被送入RoI池化層，該層將不同大小和比例的候選區(qū)域轉(zhuǎn)換為固定大小的特征表示，使得后續(xù)的處理可以統(tǒng)一處理所有候選區(qū)域。這些固定大小的特征表示隨后被送入分類層和邊界框回歸層。分類層使用全連接層對每個(gè)候選區(qū)域進(jìn)行分類，確定它屬于哪個(gè)類別。邊界框回歸層則對每個(gè)候選區(qū)域的位置進(jìn)行精細(xì)調(diào)整，以更準(zhǔn)確地定位對象。最后，通過非極大值抑制（NMS）處理，移除重疊的檢測框，確保每個(gè)對象只被檢測一次。這樣，F(xiàn)asterR-CNN算法就能夠在圖像中識別并分類多個(gè)對象，并為每個(gè)對象提供一個(gè)精確的邊界框和類別標(biāo)簽。3.3.3終端和服務(wù)器端的通信 向華為云平臺上用AK/SK進(jìn)行請求通信時(shí)，通常使用的是HTTP/HTTPS協(xié)議。AK/SK（AccessKeyID和SecretAccessKey）是華為云提供的一種身份驗(yàn)證機(jī)制，用于確保請求的安全性和請求者身份的正確性。這種驗(yàn)證機(jī)制通常與HTTP或HTTPS協(xié)議結(jié)合使用，以傳輸加密后的請求數(shù)據(jù)。 HTTPS是HTTP的安全版本，它在HTTP的基礎(chǔ)上通過SSL/TLS提供了數(shù)據(jù)加密、完整性驗(yàn)證和身份驗(yàn)證機(jī)制。其通信步驟如圖3-12所示。使用HTTPS協(xié)議可以進(jìn)一步保護(hù)數(shù)據(jù)傳輸過程中的安全性，防止敏感信息（如AK/SK）在傳輸過程中被竊聽或篡改，確保通信的安全性和請求的合法性。圖3-12HTTPS加密、解密、驗(yàn)證及數(shù)據(jù)傳輸過程 通過這種方式，本系統(tǒng)確保了圖像數(shù)據(jù)在終端和服務(wù)器端之間的高效、安全傳輸，為智慧工地的實(shí)時(shí)監(jiān)控和分析提供了堅(jiān)實(shí)的技術(shù)支持。 4系統(tǒng)軟件設(shè)計(jì) 本章主要介紹終端和服務(wù)器端的無線圖像傳輸程序設(shè)計(jì)，簡要闡述系統(tǒng)兩種工作模式的設(shè)計(jì)思路以及信息提取結(jié)果匯總的程序設(shè)計(jì)。4.1登錄和注冊界面設(shè)計(jì) 本項(xiàng)目基于PythonQT模塊設(shè)計(jì)并實(shí)現(xiàn)了用戶登錄和注冊界面。通過采用面向?qū)ο缶幊痰姆椒?，筆者構(gòu)建了一個(gè)具有良好用戶交互性和數(shù)據(jù)處理安全性的圖形用戶界面（GUI）。以下是對所用代碼的學(xué)術(shù)性描述和分析。4.1.1用戶登陸界面設(shè)計(jì) 登錄界面的實(shí)現(xiàn)通過loginWidget類進(jìn)行。該類繼承自BaseWidget，確保了代碼的可重用性和擴(kuò)展性。在初始化函數(shù)__init__中，首先調(diào)用基類的構(gòu)造函數(shù)來設(shè)置窗口的基本屬性，包括窗口標(biāo)題、圖標(biāo)和背景圖片，以及窗口的初始尺寸。隨后，通過調(diào)用init_login_controls方法來初始化登錄所需的控件。 在init_login_controls方法中，通過創(chuàng)建多個(gè)QLabel和QLineEdit控件以顯示提示信息和接收用戶輸入。為增強(qiáng)用戶體驗(yàn)，筆者還使用setStyleSheet方法來自定義控件的樣式，并使用setPlaceholderText方法為輸入框提供輸入提示。此外集成一個(gè)驗(yàn)證碼輸入功能，通過Code類實(shí)例化來生成和顯示驗(yàn)證碼圖像。 為處理用戶的登錄請求，將登錄按鈕的clicked信號與loginBtn_click槽函數(shù)相連接。在該槽函數(shù)中，首先獲取用戶輸入的用戶名和密碼，然后進(jìn)行驗(yàn)證。如果驗(yàn)證碼輸入正確，則進(jìn)一步檢查用戶名和密碼是否匹配。如果驗(yàn)證成功，彈出提示框告知用戶登錄成功，并隱藏登錄窗口，顯示主界面窗口MainWidget。如圖4-1所示。圖4-1登錄成功提示窗口4.1.2用戶注冊界面設(shè)計(jì) 注冊界面的實(shí)現(xiàn)通過registerWidget類進(jìn)行。與登錄界面類似，該類也繼承自BaseWidget。在初始化函數(shù)中，筆者設(shè)置了注冊窗口的基本屬性，并調(diào)用init_register_controls方法來初始化注冊所需的控件。 在init_register_controls方法中，分別創(chuàng)建用于接收用戶名、密碼和確認(rèn)密碼輸入的控件。為確保用戶名的唯一性和格式正確性，使用QRegExpValidator來驗(yàn)證輸入的用戶名。首先驗(yàn)證用戶輸入的內(nèi)容是否符合要求，包括檢查輸入是否為空以及兩次輸入的密碼是否一致。隨后，檢查用戶名是否已被注冊。如果用戶名未被占用，則將新用戶的信息寫入到文件中，并彈出提示框告知用戶注冊成功。最后，隱藏注冊窗口，并顯示登錄界面。如圖4-2所示。圖4-2注冊成功提示窗口4.2無線圖傳程序設(shè)計(jì)服務(wù)器和終端在基于HTTPS協(xié)議建立連接后，需要將圖像壓縮并轉(zhuǎn)為字節(jié)流形式再進(jìn)行相互數(shù)據(jù)傳輸。由于每次圖像的傳輸前接收端對數(shù)據(jù)大小是未知的，所以本系統(tǒng)在發(fā)送端傳輸圖像數(shù)據(jù)前，需要先發(fā)送數(shù)據(jù)包的大小，再傳輸圖像數(shù)據(jù)。4.2.1終端的圖像傳輸程序設(shè)計(jì) 在終端設(shè)備上，圖像傳輸程序的設(shè)計(jì)遵循一系列關(guān)鍵步驟，以確保圖像數(shù)據(jù)能夠高效且安全地傳輸?shù)椒?wù)器。首先，攝像頭捕獲的原始圖像數(shù)據(jù)需要經(jīng)過預(yù)處理，這通常包括壓縮和格式轉(zhuǎn)換。壓縮可以顯著減少圖像文件的大小，而格式轉(zhuǎn)換則確保圖像數(shù)據(jù)符合特定的傳輸協(xié)議要求。例如，圖像可能從RAW格式轉(zhuǎn)換為JPEG或PNG格式，這些格式廣泛支持且適用于網(wǎng)絡(luò)傳輸。 預(yù)處理后的圖像數(shù)據(jù)隨后被編碼為Base64字符串。Base64編碼是一種將二進(jìn)制數(shù)據(jù)轉(zhuǎn)換為ASCII字符串的方法，它允許二進(jìn)制數(shù)據(jù)作為文本字符串在不支持二進(jìn)制數(shù)據(jù)的系統(tǒng)間傳輸。在客戶端，程序會(huì)讀取圖像文件的二進(jìn)制數(shù)據(jù)，使用Base64算法進(jìn)行編碼，并將結(jié)果作為一個(gè)字符串包含在JSON對象中。這樣，即使JSON通常用于文本數(shù)據(jù)的交換，也能夠通過HTTP等文本協(xié)議傳輸圖像數(shù)據(jù)。 在圖像數(shù)據(jù)被編碼并封裝為JSON對象后，客戶端程序會(huì)通過集成的無線模塊發(fā)送這些數(shù)據(jù)。Wi-Fi或4G模塊使得終端設(shè)備能夠無線連接到服務(wù)器。在數(shù)據(jù)傳輸過程中，為了確保數(shù)據(jù)的完整性和準(zhǔn)確性，客戶端程序會(huì)實(shí)現(xiàn)錯(cuò)誤控制機(jī)制。這些機(jī)制可能包括數(shù)據(jù)包的確認(rèn)和重傳、序列號和校驗(yàn)和等，以確保數(shù)據(jù)在傳輸過程中不會(huì)被損壞或丟失。4.2.2服務(wù)器端的圖像傳輸程序設(shè)計(jì) 一旦服務(wù)器接收到包含Base64編碼圖像的JSON對象，它將解析JSON提取Base64字符串，并解碼回原始的二進(jìn)制圖像數(shù)據(jù)。這樣，服務(wù)器就可以對圖像進(jìn)行進(jìn)一步的處理，如存儲(chǔ)、分析或其他所需的操作。通過這種方式，終端設(shè)備上的圖像傳輸程序不僅能夠適應(yīng)無線傳輸?shù)囊螅€能夠確保數(shù)據(jù)的完整性和準(zhǔn)確性，即使在網(wǎng)絡(luò)條件不理想的情況下也能保證數(shù)據(jù)的成功傳輸。為了應(yīng)對高并發(fā)請求，服務(wù)器端還需要實(shí)現(xiàn)負(fù)載均衡和監(jiān)控機(jī)制，確保系統(tǒng)的穩(wěn)定性和可靠性。同時(shí)，服務(wù)器端的設(shè)計(jì)應(yīng)具備良好的擴(kuò)展性，以便在業(yè)務(wù)增長時(shí)能夠靈活地增加資源。4.3系統(tǒng)工作模式設(shè)計(jì) 服務(wù)器端作為數(shù)據(jù)處理的核心，需要靈活地處理來自用戶和終端設(shè)備的數(shù)據(jù)輸入。在智慧工地檢測系統(tǒng)中，服務(wù)器端提供了兩種主要的工作模式：視頻回放模式和視頻錄制模式，以適應(yīng)不同的應(yīng)用場景和用戶需求。 模式一是視頻回放模式，服務(wù)器端對上傳的視頻文件進(jìn)行逐幀分析，執(zhí)行物體檢測和識別，并將結(jié)果保存到文本文件中，同時(shí)生成可視化的圖像或視頻輸出。 模式二是視頻錄制模式，服務(wù)器端實(shí)