《數(shù)據(jù)標(biāo)注實訓(xùn)》課程教案課題：圖像標(biāo)注—2D拉框教學(xué)目的：了解語音切割轉(zhuǎn)寫相關(guān)知識。掌握音頻文件的切割轉(zhuǎn)寫。課型：新授課課時：本章安排8個課時。教學(xué)重點：重點：了解2D拉框相關(guān)知識，掌握2D人體拉框標(biāo)注教學(xué)難點：難點：掌握2D人體拉框標(biāo)注及相關(guān)規(guī)范教學(xué)過程：教學(xué)形式：講授課，教學(xué)組織采用課堂整體講授和演示。教學(xué)媒體：采用啟發(fā)式教學(xué)、案例教學(xué)等教學(xué)方法。教學(xué)手段采用多媒體課件、視頻等媒體技術(shù)。板書設(shè)計：本課標(biāo)題圖像標(biāo)注—2D拉框課次4授課方式理論課□討論課□習(xí)題課□其他□課時安排8學(xué)分共2分授課對象普通高等院校學(xué)生任課教師教材及參考資料1.《數(shù)據(jù)標(biāo)注實訓(xùn)》；電子工業(yè)出版社。2.本教材配套視頻教程及學(xué)習(xí)檢查等資源。3.與本課程相關(guān)的其他資源。教學(xué)基本內(nèi)容教學(xué)方法及教學(xué)手段課程引入在圖像標(biāo)注中，最易學(xué)的當(dāng)屬2D拉框，而2D拉框的標(biāo)準(zhǔn)及工具的基本操作也是一名數(shù)據(jù)標(biāo)注人員必須掌握的技能。在深入學(xué)習(xí)2D拉框標(biāo)注之前，學(xué)習(xí)者需要先了解什么是2D拉框。參考以下形式：1.銜接導(dǎo)入2.懸念導(dǎo)入3.情景導(dǎo)入4.激疑導(dǎo)入5.演示導(dǎo)入6.實例導(dǎo)入7.其他形式5.1認(rèn)識2D拉框2D拉框是圖像標(biāo)注中最簡單的任務(wù)類型，通常需要拉一個貼合的矩形框，以框選出待檢測物體（目標(biāo)對象）。在2D拉框任務(wù)中，目標(biāo)對象有很多，例如，人、動物、車輛、物件等一切事物都可能需要畫框。一般來說，框選出待檢測物體之后還需要對框添加一個或多個標(biāo)簽作為類別標(biāo)記。以人為例，可能需要標(biāo)注出人的性別、年齡、膚色；如是框選動物，則可能需要標(biāo)注出動物的名稱、顏色等。如圖5-1所示為對地面車輛的拉框標(biāo)注。需要了解的是，在2D拉框中，目標(biāo)對象分為有效對象和無效對象。所謂有效對象是指各部位展示都清晰可辨、無嚴(yán)重遮擋且外觀大小合適的對象。反之，展示不清晰、遮擋嚴(yán)重或外形大小達不到標(biāo)準(zhǔn)值的對象即為無效對象。一般來說，在拉框時，無效對象需要用忽略框（也稱為無效框）來標(biāo)記。例如圖中的紅色框，由于其遮擋過于嚴(yán)重或目標(biāo)尺寸過小，則可能會被標(biāo)成忽略框。當(dāng)然，是否需要作為忽略對象還需要按照需求者的規(guī)定作出判斷，不同的需求者可能會給出不同的規(guī)定。在2D拉框標(biāo)注時，拉框也是有標(biāo)準(zhǔn)的。例如，為使模型訓(xùn)練效果更好，往往會要求框線與對象邊緣盡量貼合，避免框內(nèi)空白區(qū)域過多，這也就解釋了為什么在2D拉框時，常常需要對框的角度進行調(diào)整或旋轉(zhuǎn)。這一現(xiàn)象在人體拉框標(biāo)注中最為常見，人體拉框不同角度框的效果對比如圖5-2所示。在圖5-2中，右圖的拉框角度明顯好于左圖，用肉眼即可看清，右圖中的框與對象更為貼合，有效地減少了空白區(qū)域。另外，如果圖片中的人物未顯示完整，數(shù)據(jù)標(biāo)注人員還需要根據(jù)要求進行腦補，這種情況在2D拉框中很常見。上述要求僅僅是列舉了一個簡單的例子，在實際的拉框標(biāo)注中，類似的要求還有很多。同時，拉框標(biāo)注任務(wù)的難易程度也會與圖片本身的質(zhì)量有關(guān)。例如，圖片中待標(biāo)注對象的密集程度、對象的遮擋、圖片的角度等對于標(biāo)注效率及效果都會有直接的影響。接下來，我們從實踐的角度來對2D拉框任務(wù)進行了解。5.2拉框標(biāo)注之2D人體拉框標(biāo)注5.2.12D人體拉框標(biāo)注規(guī)范（一）任務(wù)目標(biāo)本任務(wù)的主要目標(biāo)是：用規(guī)則的方框標(biāo)識出圖片中的所有人物。本任務(wù)的標(biāo)注框分為兩種，即有效框和無效框。對于圖中所有的有效人物拉有效框（本規(guī)范中為綠色框）；所有無效人物拉無效框（本規(guī)范中為紅色框）。（二）術(shù)語定義本任務(wù)涉及術(shù)語定義如下：1.有效人物圖像中人物外形尺寸合適，主體顯示清晰，無遮擋或無嚴(yán)重遮擋，如圖5-3所示。2.無效人物圖像中人物外形尺寸過小、主體顯示不清晰或遮擋過于嚴(yán)重，如圖5-4所示。3.人物主體清晰圖像中人物能清晰體現(xiàn)出人體特征，標(biāo)注者從直覺上可判斷其為人物。一般來說，能清晰分辨出四肢和人物正反面者即可被認(rèn)定為主體顯示清晰，如圖5-5所示。4.遮擋嚴(yán)重若人體遮擋占比超過80%即可認(rèn)定為遮擋嚴(yán)重，如圖5-6所示。（三）基本標(biāo)注原則本任務(wù)標(biāo)注應(yīng)遵循如下原則：（1）標(biāo)注過程中應(yīng)仔細(xì)辨別，不可出現(xiàn)漏標(biāo)情況。如圖5-7所示，右側(cè)圖片黃色框線內(nèi)即為該圖中存在的明顯漏標(biāo)情況，仔細(xì)觀察會發(fā)現(xiàn)圖片中靠近門店位置還有很多無效人物也被漏標(biāo)，這里不一一標(biāo)注。（2）距離過近的無效人物同框標(biāo)注，有效人物單獨用框標(biāo)注。如圖5-8所示，無效人物較為密集時，統(tǒng)一用一個紅框來標(biāo)注。（3）無效人物用無效框標(biāo)注，有效人物用有效框標(biāo)注，不可出現(xiàn)框線屬性錯誤。如圖5-9所示，右圖中誤將綠色框線畫成紅色框線，又將紅色框線畫成綠色框線。（4）對于部分遮擋圖像，如在圖片內(nèi)，需適當(dāng)想象不可見部位進行補全。但超出圖片邊緣則無須腦補，將可見部分人體畫出即可，如圖5-10所示。（5）本任務(wù)要標(biāo)注所有真實人物，對于動漫等虛擬人物無須標(biāo)注，如圖5-11所示。（6）所有框線要位置適中，以剛好貼合輪廓為宜，不可過大或過小，如圖5-12所示。（四）具體說明針對本標(biāo)注任務(wù)的具體說明如下：1.有效框標(biāo)注（1）對有效人物拉有效框，本規(guī)范例子中均為綠色框。拉框應(yīng)盡量緊貼人物輪廓，不可過大或過小。圖5-12中的人物框應(yīng)處理為如圖5-13所示樣式。（2）有效框的重疊：有效框可以與有效框重疊，也可以跟無效框重疊，如圖5-14所示。（3）輕度遮擋的人物，如在圖片內(nèi)，需要腦補遮擋部位，如已超出圖片邊緣則無須做整體補全，如圖5-10所示。2.無效框標(biāo)注（1）對于遮擋嚴(yán)重、尺寸過小、過于模糊的人物標(biāo)無效框，框線僅針對顯示部位標(biāo)注即可，無須進行腦補，如圖5-15所示。（2）無效框的重疊：無效框可以和有效框重疊，但無效框之間不能重疊，因此本任務(wù)要求距離較近的無效人物用一個框整體標(biāo)注，如圖5-16所示。（3）無效框的標(biāo)注也要緊貼輪廓，對于顯示部位必須框全且不能拉框過大，如圖5-17所示，兩幅圖中所表示的即為無效框過大及過小的情況。特殊情況（1）若圖片中沒有人物，則整張圖片跳過，如圖5-18所示。（2）對于車窗、后視鏡等透露出來的人物，需要按照無效人物來處理，拉忽略框。但若是人物出現(xiàn)在車門口，且車門開啟或正在上、下車，則需按照有效人物來標(biāo)注，否則按照無效人物來標(biāo)注。如圖5-19所示，左側(cè)圖片車門開啟，應(yīng)標(biāo)為有效人物；右側(cè)圖片為車窗透出人影，按照無效人物來標(biāo)注。（3）對于廣告牌、公交車車身、墻壁、圖畫、假人雕塑等呈現(xiàn)出的真人畫面，按照無效人物來處理，拉無效框，如圖5-20所示。（4）密集人群、遮擋不嚴(yán)重者，按照有效人物來處理，其余標(biāo)注為無效人物，如圖5-21所示。（五）注意事項（1）對于無效人物的判斷不能單純地依賴于80%的指標(biāo)，需要根據(jù)實際情況來確定。例如，被自帶物品遮擋的部位，因為自帶物品都較小，因此不構(gòu)成嚴(yán)重遮擋，此時需要按照有效人物來處理，同時將遮擋部分補全，如圖5-22所示。（2）被欄桿等其他物體遮擋的部位，如果遮擋未過胸，且透過空隙等大體能判斷出人體輪廓，則按照有效人物來標(biāo)注，如圖5-23所示。（3）對于車窗、縫隙等透出的人物肢體，無須進行標(biāo)注。（六）系統(tǒng)使用本實訓(xùn)任務(wù)通過數(shù)據(jù)標(biāo)注實訓(xùn)平臺完成，關(guān)于系統(tǒng)登錄的具體事項已在本書第2章中詳細(xì)說明，因此本規(guī)范僅對進入實訓(xùn)任務(wù)的步驟以及具體的頁面操作過程進行講解。需要特別說明的是，此處所給出的所有標(biāo)注內(nèi)容均為按照項目經(jīng)驗總結(jié)的模擬數(shù)據(jù)。從系統(tǒng)登錄到標(biāo)注完成的操作流程及步驟如下：1.進入任務(wù)實施頁面（1）進入實訓(xùn)中心頁面登錄后自動進入實訓(xùn)中心頁面，如圖5-24所示。（2）進入任務(wù)實施頁面進入實訓(xùn)中心頁面后，單擊頁面上的2D拉框標(biāo)注模塊下的【進入學(xué)習(xí)】按鈕，進入任務(wù)列表頁面，如圖5-25所示。在2D拉框標(biāo)注任務(wù)列表頁面單擊任意一個任務(wù)模塊下的【進入學(xué)習(xí)】按鈕，如圖5-26所示，進入2D拉框標(biāo)注實施頁面。單擊后，進入2D拉框標(biāo)注實施頁面，如圖5-27所示。2D拉框標(biāo)注實施頁面大體可分為3個區(qū)，即黃色框線的畫框工具區(qū)，包括畫框要使用的框線選擇、“十”字線、跳過、顯示隱藏標(biāo)簽、一鍵清除、輔助“十”字線等；紅色框線的編輯區(qū)，主要是畫布區(qū)，所有畫框以及修改操作均在此區(qū)域內(nèi)進行；綠色框線的任務(wù)列表區(qū)，用于顯示待完成的所有題目?，F(xiàn)對標(biāo)注時的具體操作說明如下。2．標(biāo)注頁面操作詳解在本任務(wù)中，要完成標(biāo)注操作，需要用到如下按鈕和步驟，按順序說明如下：（1） 標(biāo)注任務(wù)領(lǐng)取打開任務(wù)實施頁面后，頁面會默認(rèn)加載第一條題目，因此不需要額外做任務(wù)領(lǐng)取操作，此時，右側(cè)列表中第一條題目編號會自動加深底色，呈選中狀態(tài)，如圖5-28所示。（2）拉框操作單擊標(biāo)注實施頁面左側(cè)的【矩形】拉框工具，在圖片上要畫框的位置按住鼠標(biāo)左鍵拖曳即可針對目標(biāo)對象實現(xiàn)畫框操作，如圖5-29和圖5-30所示。在進行拉框操作前，可打開頁面右上角的【十字線】按鈕，從而輔助確定邊緣和拉框起點，保證框線與人體邊緣的貼合性，如圖5-31所示。如感覺圖片過小，也可采取【鼠標(biāo)滾輪向上】的方式將圖片放大，如放大顯示不全，可打開工具欄的【拖曳開關(guān)】，通過拖曳來查看圖片，如圖5-32所示。（3）隱藏/顯示標(biāo)注結(jié)果由于部分圖片中可能存在多個待拉框標(biāo)注目標(biāo)，所以在標(biāo)注過程中，已標(biāo)注的框線可能會影響對未標(biāo)注對象范圍的確定，這時需要單擊【隱藏/顯示標(biāo)注結(jié)果】按鈕，隱藏已有的框線，如圖5-33和圖5-34所示。（4）跳過當(dāng)前任務(wù)在標(biāo)注過程中，有些任務(wù)可能會因某種原因而不需標(biāo)注，此時應(yīng)單擊【跳過】按鈕，可直接進入下一條任務(wù)，如圖5-35所示。（5）刪除單個標(biāo)注結(jié)果如果出現(xiàn)錯標(biāo)或因其他原因需要刪除單個標(biāo)注結(jié)果，可以在標(biāo)注實施區(qū)右側(cè)單擊【】按鈕，如圖5-36所示。（6）刪除全部標(biāo)注結(jié)果如需刪除全部標(biāo)注結(jié)果，可以使用【】按鈕，如圖5-37所示。（7） 保存單擊標(biāo)簽區(qū)下方的【保存】按鈕可保存當(dāng)前標(biāo)注結(jié)果。保存的主要作用是，保存標(biāo)注中狀態(tài)下題目的中間結(jié)果，以免標(biāo)注一半的結(jié)果意外丟失。單擊【保存】按鈕后，按鈕會變成橙色并提示保存成功，如圖5-38所示。（8） 提交單擊【提交】按鈕即為提交當(dāng)前任務(wù)。單擊【提交】按鈕后，除了提交當(dāng)前標(biāo)注結(jié)果，還會呈現(xiàn)答案對比頁面。答案對比頁面會給出參考答案與學(xué)習(xí)者所提交答案的對比，明確給出錯誤提示，如圖5-39所示。（9）切換至下一題單擊【提交】按鈕后，可單擊答案對比頁的【】按鈕后手動切換至下一題。對于已提交的題目，不能再進行修改。（10）查看答案單擊標(biāo)注頁面上方的【參考答案】按鈕可以查看參考答案。但如當(dāng)前題目的結(jié)果尚未提交，則不允許查看參考答案，如圖5-40和圖5-41所示。（11）查看標(biāo)注規(guī)范單擊頁面上的【規(guī)范文件預(yù)覽】按鈕，可查看當(dāng)前最新的完整標(biāo)注規(guī)范，如圖5-42和圖5-43所示。此外，為了更好地指導(dǎo)學(xué)習(xí)者操作，平臺還在每個標(biāo)注類型模塊中與【進入學(xué)習(xí)】入口并列提供了相應(yīng)的【學(xué)習(xí)引導(dǎo)】，如需查看2D拉框?qū)W習(xí)引導(dǎo)，可隨時單擊查看，如圖5-44所示。對于學(xué)習(xí)引導(dǎo)操作，可以選擇按照指定步驟完成，也可選擇中途退出，如想退出，單擊頁面中的【關(guān)閉】按鈕即可。（七）標(biāo)注樣例圖5-48至圖5-51所示為數(shù)據(jù)標(biāo)注人員對人體進行2D拉框后的結(jié)果，供參考。5.2.2項目案例分析對2D拉框標(biāo)注的規(guī)范和標(biāo)注原則以及注意事項清楚的基礎(chǔ)上，我們通過實例來進行詳細(xì)講解。如圖5-52所示為登山場景，我們的任務(wù)目標(biāo)即為利用方框標(biāo)注出圖5-52中的人物。解析：在圖5-52中，身著全身黑色衣服的女生和身著白色半袖（未戴帽子）的男生是整張圖中最為清晰的，完美地體現(xiàn)了人體特征，且無遮擋，故而用有效框（綠色框）來標(biāo)注；同時，兩者前面還存在2個人物，這2個人物的主體遮擋過于嚴(yán)重，不足以達到有效拉框的標(biāo)準(zhǔn)，因此需要用無效框來標(biāo)注，這樣就可以得出如圖5-53所示標(biāo)注結(jié)果。5.3.3實訓(xùn)習(xí)題隨堂練習(xí)1：請按照本節(jié)所給規(guī)范對圖5-54至圖5-63中圖片進行人體拉框標(biāo)注。隨堂練習(xí)2：判斷下列說法是否正確。（1） 2D拉框標(biāo)注并無統(tǒng)一的硬性規(guī)則，只要將目標(biāo)對象畫到框內(nèi)即可。（2）拉框標(biāo)注任務(wù)中，有時候需要腦補，有時候不需要，這主要取決于需求方的需求。（3）拉框標(biāo)注可用矩形框也可用不規(guī)則形狀的框。（4）在計算機視覺技術(shù)中，拉框標(biāo)注主要用于目標(biāo)檢測。（5） 拉框標(biāo)注過程中，框線的邊緣要與目標(biāo)對象邊緣盡量貼合。（6）對密集人群進行標(biāo)注時，將多人標(biāo)為同一個框即可。（7） 在拉框標(biāo)注時，不可出現(xiàn)漏標(biāo)和類別混淆的情況。（8） 在拉框標(biāo)注中，經(jīng)常會遇到無須標(biāo)注的圖片。（9）在人體拉框任務(wù)中，只要是人物便按照有效人物來標(biāo)注，無論是否清晰或是不是真實人物。（10）在人體拉框標(biāo)注中，車門或車窗透出的人物，有時需標(biāo)注，有時無須標(biāo)注。隨堂練習(xí)3：選擇正確答案填入括號內(nèi)（可能是一個選項，也可能是多個選項）。（1） 對下列圖片，拉框標(biāo)注錯誤的是（）。（2）按照本節(jié)所給規(guī)范要求，下列哪張圖片是無須標(biāo)注的？（）（3）按照本節(jié)所給規(guī)范要求，下列哪張圖片標(biāo)注是正確的？（）（4）按照本節(jié)所給規(guī)范要求，下列哪張圖片中的人物是需要標(biāo)注為有效人物的？