ICS03.220.20CCSR8045IDB45/T2715—2023前言 12規(guī)范性引用文件 13術(shù)語和定義 14測(cè)試目的、 5測(cè)試流程 2 6測(cè)試方法 6 77評(píng)分方法 8 參考文獻(xiàn) DB45/T2715—2023本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由廣西壯族自治區(qū)交通運(yùn)輸廳提出并宣貫。本文件由廣西交通運(yùn)輸標(biāo)準(zhǔn)化技術(shù)委員會(huì)歸口。本文件起草單位：廣西交科集團(tuán)有限公司。本文件主要起草人：陳靜、馬高琳、陸璐、劉彬、梁杏、龍思穎、唐文娟、王玲容、蘭良、陳鷙翱、梁莫柱、韋科宇、李秀瓊、陳海軍。DB45/T2715—20231公路車輛影像分析測(cè)試與評(píng)分技術(shù)規(guī)程本文件界定了公路車輛影像分析測(cè)試與評(píng)分技術(shù)的術(shù)語和定義，規(guī)定了公路車輛影像分析測(cè)試項(xiàng)目、測(cè)試對(duì)象、測(cè)試原則、測(cè)試流程、測(cè)試方法和評(píng)分方法。本文件適用于廣西壯族自治區(qū)行政區(qū)域內(nèi)公路機(jī)動(dòng)車輛影像分析測(cè)試與評(píng)分工作。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1視頻圖像分析系統(tǒng)videoandimageanalysissystem對(duì)視頻和圖像進(jìn)行分析及處理，識(shí)別視頻和圖像的內(nèi)容，提升視頻和圖像質(zhì)量，快速發(fā)現(xiàn)和定位關(guān)注信息的系統(tǒng)。[來源：GA/T1399.1—2017，3.1.1]3.2車輛檢測(cè)vehicledetection對(duì)視頻圖像中的機(jī)動(dòng)車輛及其位置進(jìn)行辨識(shí)。[來源：GA/T1399.1—2017，3.1.16，有修改]3.3車輛基本特征識(shí)別basiccharacteristicofvehiclerecognition對(duì)視頻圖像中機(jī)動(dòng)車輛的車牌號(hào)碼、顏色、車輛類型等進(jìn)行辨識(shí)。[來源：GA/T1399.1—2017，3.1.17，有修改]3.4正檢truepositive視頻或圖像中出現(xiàn)應(yīng)該被正確檢測(cè)或分類的目標(biāo)或事件，且視頻圖像分析系統(tǒng)輸出正確的檢測(cè)結(jié)果。[來源：GB/T30147—2013，3.1.19]3.5誤檢falsepositive視頻或圖像中未出現(xiàn)相應(yīng)的目標(biāo)或事件，但視頻圖像分析系統(tǒng)輸出了檢測(cè)結(jié)果。[來源：GB/T30147—2013，3.1.20]DB45/T2715—202323.6漏檢falsenegative視頻或圖像中出現(xiàn)應(yīng)該被檢測(cè)的目標(biāo)或事件，但視頻圖像分析系統(tǒng)未輸出檢測(cè)結(jié)果。[來源：GB/T30147—2013，3.1.21]4測(cè)試目的、對(duì)象和原則4.1測(cè)試目的確保測(cè)試結(jié)果對(duì)公路機(jī)動(dòng)車輛影像分析系統(tǒng)、平臺(tái)或算法給出客觀定量的評(píng)價(jià)。4.2測(cè)試對(duì)象測(cè)試對(duì)象應(yīng)包括具備公路機(jī)動(dòng)車輛影像分析功能的系統(tǒng)、平臺(tái)或算法。4.3測(cè)試原則4.3.1實(shí)用性車輛影像分析測(cè)試方法應(yīng)能夠產(chǎn)生積極效果。4.3.2公平性車輛影像分析測(cè)試方法應(yīng)通過指定規(guī)則和指標(biāo)進(jìn)行比較。4.3.3公正性在測(cè)試過程中，應(yīng)以客觀的科學(xué)的測(cè)試數(shù)據(jù)為依據(jù)。4.3.4一致性在不同的測(cè)試環(huán)境對(duì)同一被測(cè)對(duì)象進(jìn)行測(cè)試時(shí)，其測(cè)試結(jié)果應(yīng)保持一致。5測(cè)試流程5.1測(cè)試項(xiàng)目5.1.1功能測(cè)試項(xiàng)目功能測(cè)試應(yīng)至少支持以下項(xiàng)目中的一種或幾種：a)車輛檢測(cè)：對(duì)圖像或視頻中的車輛的位置用檢測(cè)框標(biāo)出，且能對(duì)視頻中車輛位置進(jìn)行跟蹤；b)車輛基本特征識(shí)別：對(duì)圖像或視頻中的車輛進(jìn)行識(shí)別，包含車牌號(hào)碼、車輛顏色、車輛類型，車輛類型按附錄A表A.4；c)車輛數(shù)量分析：對(duì)圖像或視頻中的道路車流量、車輛類型分布統(tǒng)計(jì)；d)車輛行為分析：對(duì)視頻中車輛行為的分析，包含車輛交通事件中的停車、逆行、變線、倒車、超速、拋灑物、碰撞、隧道火災(zāi)、隧道水災(zāi)，分類按附錄A表A.1；e)車輛行駛環(huán)境分析：對(duì)圖像或視頻中的車輛行駛環(huán)境識(shí)別，包含道路路面情況及天氣情況，分類按附錄A表A.2和表A.3。DB45/T2715—202335.1.2性能測(cè)試項(xiàng)目性能測(cè)試應(yīng)支持以下項(xiàng)目中的幾種：a)負(fù)載測(cè)試：評(píng)估被測(cè)對(duì)象在預(yù)期變化負(fù)載下的性能表現(xiàn)，具體見6.3.2.1；b)壓力測(cè)試：評(píng)估被測(cè)對(duì)象在指定容量負(fù)載下的性能表現(xiàn)，具體見6.3.2.2；c)并發(fā)測(cè)試：評(píng)估被測(cè)對(duì)象在指定性能指標(biāo)下的最大處理能力，具體見6.3.2.3。5.2整體流程5.2.1流程圖測(cè)試流程如圖1所示。圖1測(cè)試流程圖DB45/T2715—202345.2.2測(cè)試申請(qǐng)測(cè)試前，由測(cè)試需求方向測(cè)試機(jī)構(gòu)提交測(cè)試申請(qǐng)。5.2.3選取測(cè)試項(xiàng)目由測(cè)試需求方選取測(cè)試項(xiàng)目。功能測(cè)試項(xiàng)目共5種，性能測(cè)試項(xiàng)目共3種，應(yīng)符合5.1的一項(xiàng)或幾項(xiàng)。5.2.4申請(qǐng)審核測(cè)試機(jī)構(gòu)對(duì)測(cè)試需求方提交的測(cè)試申請(qǐng)進(jìn)行審核。5.2.5測(cè)試大綱測(cè)試機(jī)構(gòu)根據(jù)測(cè)試需求方所選取的測(cè)試項(xiàng)目，編寫測(cè)試大綱。5.2.6測(cè)試準(zhǔn)備5.2.6.1提供測(cè)試對(duì)象由測(cè)試需求方向測(cè)試機(jī)構(gòu)提供測(cè)試對(duì)象。5.2.6.2數(shù)據(jù)源準(zhǔn)備5.2.6.2.1測(cè)試機(jī)構(gòu)應(yīng)根據(jù)測(cè)試項(xiàng)目匹配數(shù)據(jù)源，具體格式要求如下：a)圖像格式包括但不限于：1)CIF（352×288）、4CIF（704×576）、D1（720×576）、720P（1280×720）、1080P（1920×1080）等分辨率；2)JPEG、JPEG2000、BMP、PNG等格式；b)視頻格式包括但不限于：1)CIF（352×288）、4CIF（704×576）、D1（720×576）、720P（1280×720）、1080P（19202)PS、MP4、AVI、FLV等視頻封裝格式；3)SVAC、H.264、H.265、MPEG-4等視頻編碼格式。5.2.6.2.2數(shù)據(jù)源符合以下要求：a)視頻或圖像應(yīng)能識(shí)別出目標(biāo)檢測(cè)標(biāo)的物；b)視頻或圖像應(yīng)包含不同光照及氣象條件下的拍照條件，如白天、黑夜、雨雪霧天氣條件下的視頻或圖像；c)視頻應(yīng)包含車輛的整個(gè)運(yùn)動(dòng)流程；d)車輛行駛環(huán)境應(yīng)包含周邊道路的視頻圖像信息；e)數(shù)據(jù)規(guī)模應(yīng)不少于5000張。5.2.6.2.3測(cè)試機(jī)構(gòu)應(yīng)對(duì)數(shù)據(jù)源進(jìn)行標(biāo)注，標(biāo)注內(nèi)容如表1所示。DB45/T2715—20235表1數(shù)據(jù)源標(biāo)注內(nèi)容123455.2.6.3測(cè)試環(huán)境測(cè)試機(jī)構(gòu)應(yīng)提供相適應(yīng)的軟硬件環(huán)境，測(cè)試環(huán)境如圖2所示，測(cè)試環(huán)境的相關(guān)配置按附錄B表B.1的要求。圖2測(cè)試環(huán)境示意圖5.2.7測(cè)試測(cè)試工作包括功能測(cè)試和性能測(cè)試，功能測(cè)試的測(cè)試方法按6.2，性能測(cè)試的測(cè)試方法按6.3。5.2.8測(cè)試報(bào)告測(cè)試機(jī)構(gòu)對(duì)測(cè)試結(jié)果進(jìn)行評(píng)分。功能測(cè)試的評(píng)分方法按7.2，性能測(cè)試的評(píng)分方法按7.3。完成評(píng)分工作后，測(cè)試機(jī)構(gòu)應(yīng)輸出測(cè)試報(bào)告，功能測(cè)試報(bào)告的模板按附錄B表B.2，性能測(cè)試報(bào)告的模板按附錄B表B.3。DB45/T2715—202366測(cè)試方法6.1測(cè)試內(nèi)容各測(cè)試項(xiàng)目對(duì)應(yīng)的測(cè)試內(nèi)容見表2。表2測(cè)試內(nèi)容1234無56786.2功能測(cè)試方法6.2.1測(cè)試條件根據(jù)5.2.6準(zhǔn)備相應(yīng)測(cè)試條件。6.2.2測(cè)試步驟DB45/T2715—20237測(cè)試步驟如下：a)任務(wù)啟動(dòng)；b)通過流媒體服務(wù)器將數(shù)據(jù)流實(shí)時(shí)輸出至測(cè)試服務(wù)器；c)測(cè)試對(duì)象在測(cè)試服務(wù)器內(nèi)進(jìn)行測(cè)試；d)測(cè)試服務(wù)器輸出結(jié)果至分析服務(wù)器，分析服務(wù)器輸出評(píng)分指標(biāo)結(jié)果。6.2.3返回結(jié)果輸出測(cè)試報(bào)告，報(bào)告模板按附錄B表B.2。6.2.4評(píng)分根據(jù)評(píng)分標(biāo)準(zhǔn)進(jìn)行評(píng)分，指標(biāo)參照表3。6.3性能測(cè)試方法6.3.1測(cè)試條件根據(jù)5.2.6準(zhǔn)備相應(yīng)測(cè)試條件。6.3.2測(cè)試步驟6.3.2.1負(fù)載測(cè)試測(cè)試步驟如下：a)任務(wù)啟動(dòng)；b)流媒體服務(wù)器模擬真實(shí)場(chǎng)景將實(shí)時(shí)數(shù)據(jù)流輸出至測(cè)試服務(wù)器；c)測(cè)試對(duì)象在測(cè)試服務(wù)器進(jìn)行測(cè)試；d)記錄處理時(shí)間、CPU占有率、內(nèi)存占有率等相關(guān)指標(biāo)；e)分析服務(wù)器輸出評(píng)分指標(biāo)結(jié)果。6.3.2.2壓力測(cè)試分別測(cè)試CPU占用率在50％、60％、70％、80觀測(cè)測(cè)試對(duì)象是否正常運(yùn)行并評(píng)分。6.3.2.3并發(fā)測(cè)試在滿足1萬個(gè)測(cè)試數(shù)據(jù)體量以及CPU占用率在不超過70％的前提下，并發(fā)執(zhí)行負(fù)載測(cè)試，觀測(cè)測(cè)試對(duì)象的檢測(cè)效率并評(píng)分。6.3.3返回結(jié)果輸出測(cè)試報(bào)告，報(bào)告模板按附錄B表B.3。6.3.4評(píng)分根據(jù)評(píng)分標(biāo)準(zhǔn)進(jìn)行評(píng)分，指標(biāo)參照表4。DB45/T2715—202387評(píng)分方法7.1評(píng)分指標(biāo)7.1.1準(zhǔn)確率（Precision）視頻或圖像檢測(cè)系統(tǒng)輸出目標(biāo)或事件后，按照式（1）進(jìn)行計(jì)算。precision=x100%…(1)TP——正檢數(shù),即被系統(tǒng)正檢的目標(biāo)或事件的數(shù)目；FP——誤檢數(shù),即被系統(tǒng)誤檢的目標(biāo)或事件的數(shù)目。7.1.2召回率（Recall）視頻或圖像檢測(cè)系統(tǒng)輸出目標(biāo)或事件后，按照式（2）進(jìn)行計(jì)算。Recall=?×100%…(2)TP——正檢數(shù)，即被系統(tǒng)正檢的目標(biāo)或事件的數(shù)目；FN——漏檢數(shù)，即被系統(tǒng)漏檢的目標(biāo)或事件的數(shù)目。7.1.3交并比（IoU）視頻或圖像檢測(cè)系統(tǒng)輸出目標(biāo)后，按照式（3）進(jìn)行計(jì)算。B1∩B2——檢測(cè)框B1與標(biāo)注框B2的交集面積；B1∪B2——檢測(cè)框B1與標(biāo)注框B2的并集面積。7.1.4平均準(zhǔn)確率（AP）視頻或圖像檢測(cè)系統(tǒng)輸出目標(biāo)后，按照式（4）進(jìn)行計(jì)算。AP=?p(r)dr·················(4)P(r)——不同召回率r下對(duì)應(yīng)的準(zhǔn)確率。7.1.5平均準(zhǔn)確率均值（mAP）視頻或圖像檢測(cè)系統(tǒng)輸出目標(biāo)后，按照式（5）進(jìn)行計(jì)算。DB45/T2715—20239k——數(shù)據(jù)源中包含的所有類別的總數(shù)；APi——第i個(gè)類別對(duì)應(yīng)的平均準(zhǔn)確率。7.1.6R2分?jǐn)?shù)（R2-score）視頻或圖像檢測(cè)系統(tǒng)輸出數(shù)量后，按照式（6）進(jìn)行計(jì)算。R2——R2分?jǐn)?shù)；ni——第i個(gè)樣本中檢測(cè)出的目標(biāo)數(shù)量值；i——第i個(gè)樣本中的真實(shí)目標(biāo)數(shù)量值；n-——所有樣本的真實(shí)目標(biāo)數(shù)量值的平均值；m——樣本個(gè)數(shù)。7.1.7每秒幀率（FPS）單位時(shí)間內(nèi)處理的圖像數(shù)量或視頻幀數(shù)。7.2功能測(cè)試評(píng)分方法根據(jù)6.2功能測(cè)試方法，輸出測(cè)試報(bào)告，報(bào)告根據(jù)測(cè)試項(xiàng)目按照表3輸出評(píng)分指標(biāo)及評(píng)分結(jié)果。表3功能測(cè)試評(píng)分方法測(cè)試項(xiàng)目值值車輛檢測(cè)001122334455車輛基本特征識(shí)別00min(Precision,Recall,mAP)∈112min(Precision,Recall,mAP)∈2min(Precision,Recall,mAP)∈33min(Precision,Recall,mAP)∈4min(Precision,Recall,mAP)∈455DB45/T2715—20233功能測(cè)試評(píng)分方法（續(xù)）測(cè)試項(xiàng)目值值車輛數(shù)量分析001122334455車輛行為分析00112min(Precision,Recall,mAP)2334min(Precision,Recall,mAP)455車輛行駛環(huán)境分析00112min(Precision,Recall,mAP)2334min(Precision,Recall,mAP)4557.3性能測(cè)試評(píng)分方法在滿足功能測(cè)試運(yùn)行正常的前提下，根據(jù)6.3性能測(cè)試方法，輸出測(cè)試報(bào)告，報(bào)告根據(jù)測(cè)試項(xiàng)目按照表4輸出評(píng)分指標(biāo)及評(píng)分結(jié)果。表4提供了使用單卡具有12TFLOPS算力的4卡GPU服務(wù)器作為測(cè)試服務(wù)器下的性能指標(biāo)。DB45/T2715—2023表4性能測(cè)試評(píng)分方法檢測(cè)幀速率（FPS）01234580％前提下，記錄012345檢測(cè)幀速率（FPS）012345注：FPSi為數(shù)據(jù)源視頻的原始幀率。DB45/T2715—2023車輛影像分類附表A.1交通事件分類表A.1規(guī)定了交通事件的分類。表A.1交通事件分類123456789A.2道路天氣情況的分類表A.2規(guī)定了道路天氣情況的分類。表A.2道路天氣情況分類1晴2陰3雨4雪DB45/T2715—2023表A.2道路天氣情況分類（續(xù)）5霧6A.3路面狀態(tài)的分類表A.3規(guī)定了路面狀態(tài)的分類。表A.3路面狀態(tài)分類12345678A.4車輛分