《人類行為識(shí)別》教學(xué)大綱一、課程基本信息課程名稱人類行為識(shí)別HumanBehaviorRecognition課程編碼CST521621015開(kāi)課院部計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院課程團(tuán)隊(duì)計(jì)算機(jī)視覺(jué)教學(xué)團(tuán)隊(duì)學(xué)分1.5課內(nèi)學(xué)時(shí)32講授8實(shí)驗(yàn)0上機(jī)24實(shí)踐0課外學(xué)時(shí)0適用專業(yè)智能科學(xué)與技術(shù)授課語(yǔ)言中文先修課程計(jì)算機(jī)視覺(jué)課程簡(jiǎn)介（限選）本課程為面向計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院智能科學(xué)系開(kāi)設(shè)的專業(yè)必修課，針對(duì)本科高年級(jí)學(xué)生，學(xué)習(xí)完整的人類行為識(shí)別基礎(chǔ)理論。要求學(xué)生熟悉數(shù)字信號(hào)與多媒體對(duì)象、尤其是圖像的處理方法。建議選修、非必要的前置課程可包括：人工智能導(dǎo)論、機(jī)器學(xué)習(xí)、圖形圖像智能分析技術(shù)、計(jì)算機(jī)視覺(jué)等。人類行為識(shí)別是計(jì)算機(jī)視覺(jué)一個(gè)重要的研究方向，本課程介紹人類行為識(shí)別的基本問(wèn)題，幫助學(xué)生掌握該領(lǐng)域的基本概念，基礎(chǔ)知識(shí)和基本方法，為從事相關(guān)領(lǐng)域研究打開(kāi)一扇大門(mén)。課程還通過(guò)經(jīng)典文獻(xiàn)閱讀、經(jīng)典算法與應(yīng)用的驗(yàn)證，鍛煉學(xué)生在計(jì)算機(jī)科學(xué)領(lǐng)域的學(xué)習(xí)與探索能力。并且以課程專業(yè)知識(shí)點(diǎn)為主，挖掘課程知識(shí)點(diǎn)與思政元素的融合點(diǎn)為目標(biāo)，利用思政案例、使學(xué)生在掌握專業(yè)知識(shí)的同時(shí)，培養(yǎng)學(xué)生樹(shù)立正確的價(jià)值觀和深入理解社會(huì)主義核心價(jià)值觀等。ThiscourseisaprofessionalrequiredcoursefortheDepartmentofIntelligenceScienceoftheCollegeofComputerScienceandTechnology.Itisaimedatseniorundergraduatestudentsandlearnsacompletebasictheoryofhumanbehaviorrecognition.Studentsarerequiredtobefamiliarwithdigitalsignalsandmultimediaobjects,especiallyImageprocessingmethods.Itissuggestedthatoptionalandunnecessarypre-coursescaninclude:IntroductiontoArtificialintelligence,machinelearning,intelligentanalysistechnologyofgraphicsandimages,computervision,etc.Humanbehaviorrecognitionisanimportantresearchdirectionofcomputervision.Thiscourseintroducesthebasicproblemsofhumanbehaviorrecognitionandhelpsstudentsmasterthebasicconcepts,basicknowledgeandbasicmethodsinthisfield,openadoorforresearchinrelatedfields.Thecoursealsotrainsstudents'learningandexplorationabilityinthefieldofcomputersciencethroughreadingclassicdocumentsandverifyingclassicalgorithmsandapplications.負(fù)責(zé)人大綱執(zhí)筆人審核人二、課程目標(biāo)序號(hào)代號(hào)課程目標(biāo)OBE畢業(yè)要求指標(biāo)點(diǎn)任務(wù)自選1M1目標(biāo)1：掌握人類行為識(shí)別領(lǐng)域的基本概念，基礎(chǔ)知識(shí)和基本方法是2.22.22M2目標(biāo)2：通過(guò)經(jīng)典文獻(xiàn)閱讀、經(jīng)典算法與應(yīng)用的驗(yàn)證，鍛煉學(xué)生在計(jì)算機(jī)科學(xué)領(lǐng)域的學(xué)習(xí)與探索能力是2.22.23M3目標(biāo)3：了解人類行為識(shí)別研究與應(yīng)用的最新進(jìn)展和發(fā)展方向，開(kāi)闊視野并進(jìn)行應(yīng)用，能夠分析計(jì)算應(yīng)用領(lǐng)域的復(fù)雜工程問(wèn)題，使用人工智能的方法為相關(guān)實(shí)際問(wèn)題構(gòu)建可行是2.32.3三、課程內(nèi)容序號(hào)章節(jié)號(hào)標(biāo)題課程內(nèi)容/重難點(diǎn)支撐課程目標(biāo)課內(nèi)學(xué)時(shí)教學(xué)方式課外學(xué)時(shí)課外環(huán)節(jié)1第一章特征提取本章重點(diǎn)難點(diǎn)：HOG、SIFT、其他傳統(tǒng)特征提取的方法（SURF、ORB、LBP、HAAR）M1////21.1人類行為識(shí)別綜述介紹人類行為識(shí)別的基本概念和發(fā)展現(xiàn)狀；突出介紹國(guó)內(nèi)發(fā)展現(xiàn)狀和國(guó)內(nèi)科研人員成果；行為識(shí)別前景；行為識(shí)別流程目標(biāo)檢測(cè)的時(shí)間差分法、光流法、背景減除法；目標(biāo)分類的基于基于形狀信息分類和基于目標(biāo)信息分類的兩種方法；/1講授//31.2HOGHOG的具體原理和計(jì)算方法/1講授//41.3SIFTSIFT特征提取的實(shí)質(zhì)；構(gòu)造過(guò)程；應(yīng)用/1講授//51.4SIFT與HOG比較及其他傳統(tǒng)特征提取方法兩種算法的優(yōu)缺點(diǎn)及適用范圍；其他特征，例如SURF、ORB、LBP、HAAR幾種算法的原理；優(yōu)缺點(diǎn)/2講授1自學(xué)6第二章特征表示本章重點(diǎn)難點(diǎn)：特征表示基本概念、詞袋模型、主題模型、樹(shù)模型M1////72.1特征表示基本概念特征表示基本概念/1講授//82.2人體描述邊界框描述；棍棒圖描述；2D輪廓；3D體；多人姿態(tài)估計(jì)；視頻姿態(tài)估計(jì)與跟蹤/1講授//92.3運(yùn)動(dòng)跟蹤四種運(yùn)動(dòng)跟蹤方法及比較；運(yùn)動(dòng)目標(biāo)的特征中常用特征向量及復(fù)雜背景下特征向量；運(yùn)動(dòng)表征：外觀形狀特征、運(yùn)動(dòng)特征、形狀特征與運(yùn)動(dòng)特征的融合、時(shí)空特征/2講授//102.4詞袋模型詞袋模型的定義；詞袋模型的特點(diǎn)；詞袋模型的范例；垃圾郵件過(guò)濾/2講授1自學(xué)112.5主題模型主題模型的定義；主題模型的發(fā)展；主題模型相關(guān)理論；主題模型的應(yīng)用/2講授1自學(xué)122.6樹(shù)模型樹(shù)模型的定義；樹(shù)模型的簡(jiǎn)述；樹(shù)模型的優(yōu)缺點(diǎn)；評(píng)估方法/2講授//13第三章人體檢測(cè)本章重點(diǎn)難點(diǎn)：基于深度學(xué)習(xí)的人體檢測(cè)算法M2////143.1模板訓(xùn)練和模板匹配什么是模型訓(xùn)練和模型匹配；模板訓(xùn)練算法有哪些；各種匹配方法的原理和區(qū)別/2講授1自學(xué)153.2基于深度學(xué)習(xí)的人體檢測(cè)算法基于無(wú)監(jiān)督學(xué)習(xí)的行為識(shí)別原理及相關(guān)案例模型和網(wǎng)絡(luò)結(jié)構(gòu)講解；基于卷積神經(jīng)網(wǎng)絡(luò)的行為識(shí)別原理及相關(guān)案例模型和網(wǎng)絡(luò)結(jié)構(gòu)講解；基于循環(huán)神經(jīng)網(wǎng)絡(luò)與其擴(kuò)展模型的行為識(shí)別原理及相關(guān)案例模型和網(wǎng)絡(luò)結(jié)構(gòu)講解/2講授1自學(xué)16第四章行為識(shí)別的方法本章重點(diǎn)難點(diǎn)：基于模板匹配的方法;基于狀態(tài)空間的方法;基于語(yǔ)義描述的方法M3////174.1基于模板匹配的方法基于模板匹配的方法；基于模板匹配的方法之DTW介紹及優(yōu)缺點(diǎn)；講解MEI，MHI，二維網(wǎng)絡(luò)，DTW/2講授//184.2基于狀態(tài)空間的方法隱馬爾可夫基本結(jié)構(gòu)介紹及其改進(jìn)模型；動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)；人工神經(jīng)網(wǎng)絡(luò)；支持向量機(jī)原理及其優(yōu)缺點(diǎn)；置信網(wǎng)絡(luò)/2講授//194.3基于模板匹配的方法和基于狀態(tài)空間的方法兩種方法比較基于模板匹配的方法和基于狀態(tài)空間的方法兩種方法比較/2講授//204.4基于語(yǔ)義描述的方法基于語(yǔ)義描述方法原理及應(yīng)用范圍/2講授//214.5行為分層模型行為層、動(dòng)作層、字體層/2講授//224.6行為識(shí)別難點(diǎn)運(yùn)動(dòng)分割的定義及方法；人體運(yùn)動(dòng)分割的意義、方法、人體建模的概念和應(yīng)用范圍、行為識(shí)別Two-Stream和C3D兩大流派的思想及代表算法/2講授//四、考核方式序號(hào)考核環(huán)節(jié)操作細(xì)節(jié)總評(píng)占比1課后作業(yè)主要考察學(xué)生對(duì)課后作業(yè)的完成情況，包括在限定時(shí)間之前完成并能夠完成作業(yè)要求的所有項(xiàng)目20%2平時(shí)表現(xiàn)主要考察出勤率，在課堂上回答問(wèn)題等交互情況等10%3期末考試主要考核學(xué)生對(duì)本門(mén)課程重點(diǎn)介紹的知識(shí)點(diǎn)的掌握情況70%五、評(píng)分細(xì)則序號(hào)課程目標(biāo)考核環(huán)節(jié)大致占比評(píng)分等級(jí)1M1期末考試60%A-按時(shí)提交作業(yè)，基本知識(shí)點(diǎn)理解無(wú)誤。B-按時(shí)提交作業(yè)，基本知識(shí)點(diǎn)理解存在少量錯(cuò)誤。C-按時(shí)提交作業(yè)，基本知識(shí)點(diǎn)存在有限的錯(cuò)誤。D-不能按時(shí)提交作業(yè)，基本知識(shí)點(diǎn)存在一些錯(cuò)誤。E-不能按時(shí)提交作業(yè)，存在大量錯(cuò)誤。2M1平時(shí)表現(xiàn)40%（見(jiàn)試卷評(píng)分標(biāo)準(zhǔn)）3M2課后作業(yè)60%A-按時(shí)提交作業(yè)，基本知識(shí)點(diǎn)理解無(wú)誤。B-按時(shí)提交作業(yè)，基本知識(shí)點(diǎn)理解存在少量錯(cuò)誤。C-按時(shí)提交作業(yè)，基本知識(shí)點(diǎn)存在有限的錯(cuò)誤。D-不能按時(shí)提交作業(yè)，基本知識(shí)點(diǎn)存在一些錯(cuò)誤。E-不能按時(shí)提交作業(yè)，存在大量錯(cuò)誤。4M2平時(shí)表現(xiàn)40%（見(jiàn)試卷評(píng)分標(biāo)準(zhǔn)）5M3期末考試100%（見(jiàn)試卷評(píng)分標(biāo)準(zhǔn)）評(píng)分等級(jí)說(shuō)明：[A,B,C,D,E]=[90-100,80-89,70-79,60-69,0-59];[A,B,C,D]=[90-100,75-89,60-74,0-59];[A,B,C]=[90-100,75-89,60-74,0-59];[A,B]=[80-100,0-79]六、教材與參考資料序號(hào)教學(xué)參考資料明細(xì)1期刊論文|AReviewofHumanActivityRecognitionMethods,MichalisVrigkas,ChristophorosNikouandIoannisA.Kakadiaris,Front.Robot.AI,2015.2期刊論文|3Dskeleton-basedhu