《數(shù)據(jù)標(biāo)注實(shí)訓(xùn)》課程教案課題：數(shù)據(jù)處理實(shí)戰(zhàn)教學(xué)目的：掌握問句復(fù)述原始數(shù)據(jù)處理規(guī)則，能依據(jù)規(guī)則對實(shí)際數(shù)據(jù)進(jìn)行清洗等操作，提高文本數(shù)據(jù)處理能力。了解音頻數(shù)據(jù)處理要求與步驟，能對音頻數(shù)據(jù)進(jìn)行預(yù)處理，為后續(xù)音頻分析等工作奠定基礎(chǔ)。課型：新授課課時(shí)：本章安排8個(gè)課時(shí)。教學(xué)重點(diǎn)：重點(diǎn)：掌握問句復(fù)述原始數(shù)據(jù)處理規(guī)則，能依據(jù)規(guī)則對實(shí)際數(shù)據(jù)進(jìn)行清洗等操作，提高文本數(shù)據(jù)處理能力。教學(xué)難點(diǎn)：難點(diǎn)：了解音頻數(shù)據(jù)處理要求與步驟，能對音頻數(shù)據(jù)進(jìn)行預(yù)處理，為后續(xù)音頻分析等工作奠定基礎(chǔ)。教學(xué)過程：教學(xué)形式：講授課，教學(xué)組織采用課堂整體講授和分組演示。教學(xué)媒體：采用啟發(fā)式教學(xué)、案例教學(xué)等教學(xué)方法。教學(xué)手段采用多媒體課件、視頻等媒體技術(shù)。板書設(shè)計(jì)：本課標(biāo)題數(shù)據(jù)處理實(shí)戰(zhàn)課次4授課方式理論課□討論課□習(xí)題課□其他□課時(shí)安排8學(xué)分共2分授課對象普通高等院校學(xué)生任課教師教材及參考資料1.《數(shù)據(jù)標(biāo)注實(shí)訓(xùn)》；電子工業(yè)出版社。2.本教材配套視頻教程及學(xué)習(xí)檢查等資源。3.與本課程相關(guān)的其他資源。教學(xué)基本內(nèi)容教學(xué)方法及教學(xué)手段課程引入前面章節(jié)學(xué)習(xí)了數(shù)據(jù)處理的各種理論與技術(shù)，是時(shí)候?qū)⑵鋺?yīng)用到實(shí)際場景中了。在真實(shí)的數(shù)據(jù)處理項(xiàng)目里，會(huì)面臨各種復(fù)雜問題與挑戰(zhàn)。本章將通過問句復(fù)述原始數(shù)據(jù)處理和音頻數(shù)據(jù)預(yù)處理實(shí)戰(zhàn)，讓大家在實(shí)踐中鞏固知識(shí)，提升數(shù)據(jù)處理能力。參考以下形式：1.銜接導(dǎo)入2.懸念導(dǎo)入3.情景導(dǎo)入4.激疑導(dǎo)入5.演示導(dǎo)入6.實(shí)例導(dǎo)入7.其他形式6.1問句復(fù)述原始數(shù)據(jù)處理實(shí)戰(zhàn)問句復(fù)述原始數(shù)據(jù)的種子問題可以通過多種方式獲取，如人工生成、網(wǎng)絡(luò)爬蟲或截取文章等。由于數(shù)據(jù)來源及獲取方式的不同，會(huì)出現(xiàn)不同的數(shù)據(jù)質(zhì)量問題。因此，為了得到高質(zhì)量的種子問題，需要對種子問題進(jìn)行處理。在此階段，對種子問題提出了更為詳細(xì)的處理規(guī)則。6.1.1處理規(guī)則1．去除非問題句子[原始問句]：據(jù)說這里是一生要去兩次的地方，北海道8天9夜自由行不完全攻略。[處理方法]：非問句，直接刪除即可。2．去除過短或過長的問句[原始問句1]：你是誰？[處理方法]：句子過短，沒有意義，直接刪除即可。[原始問句2]：男子遇村民多次攔車索要婦女節(jié)紅包，甘孜州文旅局表示已聯(lián)系巴塘縣進(jìn)行調(diào)查，目前該事件調(diào)查進(jìn)展如何？[處理方法]：句子過長，一般控制在25個(gè)字以下，并且問題包含信息過多，難以修改，直接刪除即可。3．消除歧義[原始問句]：他們都去哪兒了？[處理方法]：句子短，有歧義，可以通過填補(bǔ)進(jìn)行修改。例如，他們一起前往了什么地方？4．含義聚焦[原始問句]：什么樣的電影適合情侶看？不要太恐怖，也不要太無聊，最好有點(diǎn)浪漫和幽默。[處理方法]：句子長，含義分散，適當(dāng)改寫就能得到更好的種子問題。例如，有什么浪漫和幽默的電影推薦嗎？5．問題拆分[原始問句]：網(wǎng)傳一名游客從瀘定橋墜入大渡河？目前救援進(jìn)展如何？出游應(yīng)該注意什么？[處理方法]：拆分問句指代不清晰，可以通過填補(bǔ)進(jìn)行修改。例如，墜河游客目前救援進(jìn)展如何？游客出游應(yīng)該注意什么？6．去除相似度過高的問題[原始問句1]：你們每天都做哪些有意義的事？[原始問句2]：每天都做哪些有意義的事？[處理方法]：保留一個(gè)。7．更改錯(cuò)別字[原始問句]：一年事件能干什么事？[處理方法]：一年事件時(shí)間能干什么事？8．去除與核心問題關(guān)聯(lián)不大的冗余部分第6章[原始問句]：我想知道一下沈陽有哪些好玩又人少的地方呢？[處理方法]：我想知道一下沈陽有哪些好玩又人少的地方呢？以上列舉了常見的種子問題的處理規(guī)則，實(shí)際的規(guī)則人需要根據(jù)數(shù)據(jù)情況及項(xiàng)目需求制定。6.1.2清洗實(shí)例在給定的種子問題數(shù)據(jù)及處理規(guī)則后，當(dāng)面對批量的文本數(shù)據(jù)進(jìn)行清洗時(shí)，靈活地使用正則表達(dá)式可以達(dá)到事半功倍的效果。前文已經(jīng)簡單介紹了正則表達(dá)式的功能、相關(guān)工具及具體操作。這里結(jié)合問句復(fù)述的數(shù)據(jù)清洗工作進(jìn)行進(jìn)一步講解。假設(shè)有這樣一批從問答網(wǎng)站上獲取的數(shù)據(jù)（見圖6-1），可以看到有些句子并不是問句。這里就可以通過正則表達(dá)式來進(jìn)行批量去除，其方法可以根據(jù)文本結(jié)構(gòu)是否為“？”進(jìn)行匹配，通過“.*[^？]$”匹配不是“？”結(jié)尾的句子替換為空值。其中，“.”表示匹配任意字符，“.*”表示匹配任意字符零次或多次，“.*[^？]”表示在出現(xiàn)若干次字符后匹配一個(gè)不是“？”的字符，“.*[^？]$”表示匹配查詢對象的最后一個(gè)字符后面不是由“？”結(jié)尾的句子。這樣就可以很好地匹配一個(gè)不是“？”結(jié)尾的句子。如果想要從段落中提取問句（見圖6-2），則可以通過正則表達(dá)式快速匹配到問句，但是想要批量提取所有問句，僅僅通過文本編輯的工具并不能通過匹151配問句實(shí)現(xiàn)，還是需要匹配剩余部分并去掉，來保留想要的內(nèi)容。這里要強(qiáng)調(diào)一點(diǎn)，在通過元字符匹配任意字符時(shí)，除“\S”外一般都不會(huì)匹配換行符，這讓我們可以很好地逐行匹配。圖6-1批量從問答網(wǎng)站上獲取的數(shù)據(jù)圖6-2匹配不是問號(hào)結(jié)尾的句子因此這里對“?！薄ⅰ?？”與“！”進(jìn)行匹配，替換為在原符號(hào)后面增加一個(gè)換行符，最后刪除原本文本中的回車符及換行符，得到如圖6-3所示的效果?？梢钥吹?，這里對整個(gè)文章進(jìn)行一個(gè)分句的操作，此時(shí)再結(jié)合對非問句去除的方法，就可以有效地提取問句了。圖6-3問句出現(xiàn)在文章中正則表達(dá)式是一個(gè)非常實(shí)用的工具，靈活地使用正則表達(dá)式，可以處理大多數(shù)文本清洗的任務(wù)，如圖6-4所示。針對問句復(fù)述任務(wù)中原始問題中的錯(cuò)別字、歧義及含義分散等錯(cuò)誤要求，需要逐條核對改寫。我們通過學(xué)習(xí)上述文本的清洗方法，能夠快速提取問句，極大地提升了工作效率。6.2音頻數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理的根本目的是將原始數(shù)據(jù)處理為能夠?qū)霕?biāo)注平臺(tái)或能夠直接讓標(biāo)注人員標(biāo)注的形式。本次預(yù)處理主要處理音頻文件的格式，同時(shí)包括了清洗后將文件打包為上傳至標(biāo)注平臺(tái)的格式。需要注意的是，可能每一個(gè)平臺(tái)的文件要求與導(dǎo)入格式不盡相同。6.2.1音頻數(shù)據(jù)處理要求設(shè)置采樣精度為16000Hz；單個(gè)音頻時(shí)長小于或等于10s；音頻文件格式為“.wav”；音頻、Excel文件打包命名為“PhoneticizeQuestion”；壓縮包格式為“.zip”。1531546.2.2音頻數(shù)據(jù)處理步驟使用GoldWaveV5.67作為本次音頻處理工具，先處理采樣精度。1．單個(gè)文件處理方式（1）調(diào)整采樣精度，選擇“效果”→“重新采樣”命令，如圖6-5所示。圖6-5選擇“重新采樣”命令打開“重新采樣”對話框，通過設(shè)置“速率”將采樣精度調(diào)整為16000Hz，如圖6-6所示，單擊“確定”按鈕。圖6-6調(diào)整采樣精度155第6章數(shù)據(jù)處理實(shí)戰(zhàn)（2）單擊“保存”按鈕或按Ctrl+S組合鍵可以保存音頻文件，如圖6-7所示。2．批量文件處理方式（1）選擇“文件”→“批處理”命令，如圖6-8所示。圖6-7保存音頻文件圖6-8選擇“批處理”命令（2）打開“批處理”對話框，單擊“文件夾”按鈕，如圖6-9所示，在打開的“添加文件夾”對話框中單擊按鈕，選擇對應(yīng)音頻文件夾，如果內(nèi)部含有子文件夾，則需要勾選“包含全部子文件夾”復(fù)選框，單擊“確定”按鈕，返回“批處理”對話框，并在列表框中顯示添加的文件路徑，如圖6-10所示。（3）選擇“轉(zhuǎn)換”選項(xiàng)卡，勾選“轉(zhuǎn)換文件格式為（C）”、“速率（Hz）（Z）”與“保持原始文件的單聲或立體聲屬性（如果可能）”3個(gè)復(fù)選框，如圖6-11所示。（4）如果需要轉(zhuǎn)換格式，則可以根據(jù)需要選擇另存類型與音質(zhì)。（5）選擇速率為16000Hz，如圖6-12所示。（6）選擇“目標(biāo)”選項(xiàng)卡，如圖6-13所示。157圖6-13選擇“目標(biāo)”選項(xiàng)卡如果想要將處理后的文件保存在源文件夾，則可以選中“所有文件保存至各自來源文件夾”單選按鈕；如果想要將處理后的文件保存在新建文件夾，則可以選中“在此文件夾保存所有文件”單選按鈕，并單擊按鈕，如圖6-14所示，打開“瀏覽文件夾”對話框，在D盤或者其他位置，新建文件夾，單擊“確定”按鈕，如圖6-15所示。（7）設(shè)置完之后單擊“批處理”對話框中的“開始”按鈕，即可運(yùn)行批處理，如圖6-16所示，在列表框中將顯示批處理進(jìn)度信息，如圖6-17所示。（8）通過剛才創(chuàng)建的“新建文件夾（2）”窗口可以查看批處理后的文件，如圖6-18所示。（9）先顯示音頻時(shí)長，再通過文件夾篩選，刪除文件夾中時(shí)長大于10s的音頻，如圖6-19所示。同時(shí)刪除文本文件與拼音文件中對應(yīng)的內(nèi)容，最后保存文件即可，如圖6-20所示。（10）先將預(yù)先準(zhǔn)備好的Excel文件放入音頻文件夾中，再將該Excel文件重命名為“PhoneticizeQuestion”，如圖6-21所示，并將該文件壓縮為.zip格式，如圖6-22所示