第2章語料庫教案1.教案基本信息課程名稱Python中文自然語言處理基礎與實戰(zhàn)課程類別選修適用專業(yè)人工智能類相關專業(yè)總學時64學時（其中理論32學時，實驗32學時）總學分4.0學分本章學時6學時（其中理論3學時，實驗3學時）章節(jié)名稱第2章語料庫授課教師授課時間2.教學目標知識目標了解語料庫的特點、用途和發(fā)展歷程掌握語料庫的種類和構建原則熟悉中文開源語料庫和網絡在線語料庫理解網絡爬蟲獲取語料的基本原理能力目標能夠使用requests庫發(fā)起HTTP請求獲取網頁內容能夠使用BeautifulSoup解析HTML并提取文本能夠構建和分析小型語料庫能夠進行文本預處理和詞頻統(tǒng)計分析素質目標培養(yǎng)數(shù)據收集和處理的規(guī)范化意識建立網絡數(shù)據獲取的法律和倫理觀念提升文本數(shù)據分析和可視化能力養(yǎng)成科學嚴謹?shù)难芯繎B(tài)度3.教學重點與難點教學重點語料庫的概念、特點和用途語料庫的種類分類和構建原則網絡爬蟲的基本實現(xiàn)方法文本預處理和詞頻統(tǒng)計技術教學難點語料庫構建原則的理解和應用requests和BeautifulSoup庫的使用中文文本的清洗和預處理方法繁簡體轉換和編碼問題處理解決策略通過具體實例講解語料庫構建原則提供詳細的代碼示例和逐步演示使用多個實際案例練習文本處理重點講解中文處理的特殊性4.教學內容與知識結構主要知識點語料庫概述模塊語料庫的定義和特點語料庫在NLP中的用途語料庫發(fā)展歷程語料庫分類模塊平衡語料庫與專業(yè)語料庫雙語/多語語料庫靜態(tài)與動態(tài)語料庫注釋語料庫和多模態(tài)語料庫構建原則模塊代表性、平衡性、多樣性高質量、透明性、可追溯性倫理和法律要求可持續(xù)性和可擴展性獲取技術模塊開源語料庫資源網絡爬蟲技術文本清洗和預處理語料庫構建實踐知識結構關系語料庫概述為理論基礎層分類和原則為方法論層獲取技術為實踐應用層項目實戰(zhàn)為綜合運用層5.教學方法與手段理論教學方法概念講授法：系統(tǒng)講解語料庫基本概念分類比較法：對比不同類型語料庫特點案例分析法：分析真實語料庫構建案例原則導向法：以構建原則指導實踐實踐教學方法代碼演示法：現(xiàn)場演示爬蟲和處理代碼項目驅動法：通過具體項目學習技術漸進式教學：從簡單到復雜逐步深入問題解決法：解決實際數(shù)據處理問題教學工具和平臺Python開發(fā)環(huán)境（Anaconda）JupyterNotebook交互式編程requests和BeautifulSoup庫在線語料庫資源網站6.教學過程設計課時安排總覽課時類型內容第1課時理論課語料庫概述與特點用途第2課時理論課語料庫種類與構建原則第3課時理論+實驗語料庫獲取方法與爬蟲基礎第4課時實驗課網絡在線語料獲取實踐第5課時實驗課語料分析與處理實戰(zhàn)第6課時實驗課構建電影評論語料庫項目各課時教學環(huán)節(jié)設計第1課時（理論）：語料庫概述與特點用途導入環(huán)節(jié)（10分鐘）展示ChatGPT、百度翻譯等AI應用界面提問：這些AI系統(tǒng)是如何學習語言的？引出語料庫在NLP中的重要作用新課講授（30分鐘）語料庫的定義和發(fā)展歷程（8分鐘）語料庫的8個主要特點詳解（12分鐘）語料庫在NLP中的8種用途（10分鐘）案例分析（8分鐘）分析搜狗新聞語料庫、人民日報語料庫等實例討論不同語料庫的應用場景課時小結（2分鐘）總結語料庫的重要性和基本特點預告下節(jié)課語料庫分類內容第2課時（理論）：語料庫種類與構建原則復習導入（5分鐘）回顧語料庫的定義和特點提問：如何分類不同的語料庫？新課講授（35分鐘）語料庫的6種主要類型（18分鐘）平衡語料庫與專業(yè)語料庫對比雙語/多語語料庫特點靜態(tài)與動態(tài)語料庫區(qū)別語料庫構建的7個核心原則（17分鐘）代表性、平衡性、多樣性質量控制和倫理要求討論環(huán)節(jié)（8分鐘）分組討論：如何為特定應用選擇合適的語料庫類型？各組分享討論結果課時小結（2分鐘）強調構建原則的重要性介紹下次實驗課安排第3課時（理論+實驗）：語料庫獲取方法與爬蟲基礎理論講授（25分鐘）中文開源語料庫資源介紹（10分鐘）網絡在線語料庫概述（5分鐘）網絡爬蟲基本原理和技術棧（10分鐘）技術演示（20分鐘）requests庫基本用法演示（8分鐘）BeautifulSoup解析HTML演示（12分鐘）實踐練習（40分鐘）學生跟隨完成簡單網頁獲取練習（20分鐘）練習HTML解析和文本提?。?0分鐘）答疑總結（5分鐘）解答學生遇到的問題總結技術要點第4課時（實驗）：網絡在線語料獲取實踐實驗準備（5分鐘）檢查開發(fā)環(huán)境和網絡連接準備實驗所需的庫和代碼模板實驗講解（15分鐘）講解《西游記》網頁獲取案例分析代碼結構和關鍵步驟強調中文編碼處理要點學生實踐（60分鐘）完成網頁獲取和文本提?。?5分鐘）實現(xiàn)繁簡體轉換功能（15分鐘）進行文本清洗和預處理（20分鐘）成果展示（10分鐘）學生展示獲取的文本片段分享遇到的問題和解決方案第5課時（實驗）：語料分析與處理實戰(zhàn)實驗目標說明（5分鐘）介紹網絡在線語料分析任務說明分析流程和預期結果技術講解（20分鐘）文本清洗的正則表達式方法（8分鐘）停用詞處理和詞頻統(tǒng)計技術（7分鐘）文本預覽和分析方法（5分鐘）實踐操作（55分鐘）完成文本獲取和清洗（20分鐘）實現(xiàn)詞頻統(tǒng)計和分析（20分鐘）生成分析報告和可視化（15分鐘）結果討論（10分鐘）對比分析不同文本的詞頻特征討論分析結果的意義第6課時（實驗）：構建電影評論語料庫項目項目介紹（10分鐘）介紹電影評論語料庫構建任務分析CSV數(shù)據格式和字段含義明確項目目標和評價標準代碼講解（20分鐘）pandas數(shù)據讀取和處理方法（8分鐘）文本預處理函數(shù)設計（7分鐘）語料庫構建流程分析（5分鐘）項目實施（50分鐘）實現(xiàn)數(shù)據讀取和預處理（20分鐘）構建語料庫文件（15分鐘）測試和驗證語料庫（10分鐘）進行語料庫質量分析（5分鐘）項目總結（10分鐘）展示構建的語料庫總結項目經驗和技術要點7.實驗/實踐設計實驗一：網絡在線語料獲取實驗目的掌握使用requests庫獲取網頁內容的方法學會使用BeautifulSoup解析HTML文檔熟練處理中文編碼和繁簡體轉換實驗內容訪問古騰堡項目網站獲取中文文本使用requests獲取網頁HTML內容使用BeautifulSoup提取純文本進行繁簡體轉換和編碼處理實驗步驟安裝并導入required庫（requests,bs4,opencc）編寫網頁獲取函數(shù)實現(xiàn)HTML解析和文本提取添加繁簡體轉換功能測試并驗證結果預期結果成功獲取指定網頁的文本內容正確處理中文編碼問題實現(xiàn)繁簡體自動轉換實驗二：語料分析與處理實驗目的掌握文本預處理的基本方法學會使用正則表達式清洗文本熟練進行詞頻統(tǒng)計和分析實驗內容對獲取的文本進行清洗處理使用jieba進行中文分詞去除停用詞并統(tǒng)計詞頻生成詞頻分析報告實驗三：電影評論語料庫構建實驗目的學會從結構化數(shù)據構建語料庫掌握pandas處理CSV數(shù)據的方法理解語料庫構建的完整流程實驗內容讀取并分析電影評分CSV數(shù)據提取和預處理評論文本構建電影評論語料庫文件驗證和分析語料庫質量評價標準代碼實現(xiàn)正確性（35%）數(shù)據處理質量（25%）結果分析合理性（20%）實驗報告完整性（20%）8.課后作業(yè)與拓展理論鞏固作業(yè)完成課后選擇題（1-5題）總結語料庫構建的7個核心原則比較分析3種不同類型語料庫的特點和應用調研并介紹2個中文開源語料庫實踐編程任務訪問古騰堡項目，獲取《孔雀東南飛》文本并分析構建一個新聞文本語料庫（至少包含50篇文章）比較不同網站文本的詞頻分布特點實現(xiàn)自動化的語料庫質量評估工具拓展閱讀材料《語料庫語言學教程》相關章節(jié)網絡爬蟲技術與應用文獻中文文本處理技術綜述開源語料庫項目案例研究思考討論題如何平衡語料庫的代表性和專業(yè)性？網絡爬蟲獲取數(shù)據時需要注意哪些法律和倫理問題？如何評價一個語料庫的質量好壞？人工智能時代，語料庫面臨哪些新的挑戰(zhàn)和機遇？9.教學評價過程評價課堂參與（15%）：提問回答和討論參與度實驗操作（45%）：代碼編寫和調試能力問題解決（25%）：遇到困難時的解決策略團隊協(xié)作（15%）：小組討論和互助表現(xiàn)結果評價理論掌握（25%）：語料庫概念和原則理解技術應用（45%）：爬蟲和數(shù)據處理技能項目質量（20%）：語料庫構建完成度創(chuàng)新思維（10%）：方法改進和創(chuàng)新應用評價標準優(yōu)秀（90-100分）：理論掌握扎實，技術應用熟練，項目質量高，有創(chuàng)新亮點良好（80-89分）：理論理解正確，技術基本掌握，項目完成良好中等（70-79分）：理論基本理解，技術需要指導，項目基本完成及格（60-69分）：理論有欠缺，技術掌握不足，項目完成困難特別注意在進行網絡爬蟲實驗時，必須遵守以下原則：遵守網站的robots.txt規(guī)定控制請求頻率，避免對服務器造成壓力僅用于學習目的，不得商業(yè)使用尊重版權，合理使用原則10.教學反思教學效果自評學生對語料庫概念的理解程度網絡爬蟲技術的掌握情況文本處理技能的熟練度項目完成的質量和創(chuàng)新性學生反饋記錄收集學生對課程難度的反饋了解學生對實驗設計的建議記錄技術學習中的常見問題評估學生的興趣和參與度改進措施根據學生基礎調整技術難度增加更多實際應用案例優(yōu)化實驗指導的詳細程度加強編程基礎技能訓練下次授課調整建議增加更多中文語料庫實例提供更詳細的錯誤處理指導設計更多層次的練習題加強理論與實踐的結合11.教學資源教材和參考書目主教材：《Python中文自然語言處理基礎與實戰(zhàn)》第二版，肖剛張良均，人民郵電出版社參考書：《語料庫語言學教程》楊惠中《Python網絡爬蟲從入門到實踐》崔慶才《自然語言處理入門》何晗在線資源鏈接搜狗實驗室：/labs/古騰堡項目：/中文電子文本項目：/清華大學NLP實驗室：/開發(fā)環(huán)境和工具必需軟件：Python3.11+,Anaconda核心庫：requests,beautifulsoup4,jieba,opencc,pandas推薦IDE：Jupyter