打造基于產(chǎn)教融合的就業(yè)育人綜合服務(wù)平臺(tái)打造基于產(chǎn)教融合的就業(yè)育人綜合服務(wù)平臺(tái)泰迪泰迪智能科技官網(wǎng)：/聯(lián)系方式：4006840020項(xiàng)目4多維度分析電影網(wǎng)站用戶影評(píng)教案課程名稱：Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論28學(xué)時(shí)，實(shí)驗(yàn)36學(xué)時(shí)）總學(xué)分：4.0學(xué)分本項(xiàng)目學(xué)時(shí)：15學(xué)時(shí)材料清單《Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第3版）（微課版）》教材。項(xiàng)目4配套PPT、數(shù)據(jù)和代碼文件。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)本項(xiàng)目將繼續(xù)對(duì)電影網(wǎng)站用戶影評(píng)數(shù)據(jù)進(jìn)行多維度的深入統(tǒng)計(jì)分析，先詳細(xì)講解MapReduce編程的進(jìn)階知識(shí)，依次介紹MapReduce的輸入輸出格式、HadoopJavaAPI、自定義鍵值類型、Combiner、Partitioner、自定義計(jì)數(shù)器以及在IntelliJIDEA中直接提交并運(yùn)行MapReduce程序等。最后基于MapReduce編程的進(jìn)階知識(shí)，實(shí)現(xiàn)從評(píng)分次數(shù)、性別、年齡段、電影類型這4個(gè)方面，多維度分析用戶的觀影偏好。基本要求掌握MapReduce輸入和輸出格式的設(shè)置方法。掌握HadoopJavaAPI的使用方法。掌握自定義鍵值類型的方法。了解Combiner的工作原理。掌握Combiner、Partitioner和自定義計(jì)數(shù)器的使用方法。熟悉MapReduce參數(shù)傳遞流程。掌握使用IntelliJIDEA自動(dòng)打包并提交MapReduce程序的方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。Hadoop中的文件格式和數(shù)據(jù)類型都有哪些？MapReduce程序中數(shù)據(jù)的輸入格式和輸出格式是什么？MapReduce程序的優(yōu)化應(yīng)從哪些角度考慮？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。自定義鍵類型與自定義值類型需要注意什么？MapReduce程序中Combiner階段與Reducer階段有什么區(qū)別？MapReduce程序中的Partitioner具體是如何進(jìn)行分區(qū)的？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。使用MapReduce程序處理機(jī)器學(xué)習(xí)的問題有何缺點(diǎn)？當(dāng)直接在IDEA中運(yùn)行編寫的MapReduce程序時(shí)，若想指定程序運(yùn)行的資源應(yīng)如何設(shè)置？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)設(shè)置MapReduce輸入輸出格式。使用HadoopJavaAPI實(shí)現(xiàn)文件操作。優(yōu)化MapReduce統(tǒng)計(jì)程序。在IntelliJIDEA中打包并提交MapReduce程序。統(tǒng)計(jì)用戶影評(píng)數(shù)據(jù)中評(píng)分次數(shù)最多的10部電影并分析。統(tǒng)計(jì)用戶影評(píng)數(shù)據(jù)中不同性別的用戶評(píng)分最高的10部電影并分析。計(jì)算用戶影評(píng)數(shù)據(jù)中指定電影的各年齡段用戶的平均評(píng)分并分析。統(tǒng)計(jì)用戶影評(píng)數(shù)據(jù)中各種電影類型中評(píng)分最高的5部電影并分析。重點(diǎn)使用HadoopJavaAPI實(shí)現(xiàn)文件操作。自定義MapReduce程序的輸入和輸出鍵值對(duì)類型。MapReduce程序中Combiner、Partitioner、計(jì)數(shù)器的使用。使用Hadoop輔助類ToolRunner自動(dòng)打包并提交MapReduce程序。多維度分析電影網(wǎng)站用戶影評(píng)數(shù)據(jù)。難點(diǎn)使用HadoopJavaAPI實(shí)現(xiàn)文件操作。自定義MapReduce程序的輸入和輸出鍵值對(duì)類型。MapReduce程序中Combiner、Partitioner、計(jì)數(shù)器的使用。使用Hadoop輔助類ToolRunner自動(dòng)打包并提交MapReduce程序。多維度分析電影網(wǎng)站用戶影評(píng)數(shù)據(jù)。教學(xué)過程設(shè)計(jì)理論教學(xué)過程設(shè)置MapReduce輸入格式。設(shè)置MapReduce輸出格式。篩選日志文件并生成序列化文件。使用FileSystemAPI管理文件夾。使用FileSystemAPI操作文件。使用FileSystemAPI讀/寫數(shù)據(jù)。使用HadoopJavaAPI讀取序列化文件。自定義鍵值類型。初步探索Combiner。淺析Partitioner。自定義計(jì)數(shù)器。傳遞參數(shù)。使用Hadoop輔助類ToolRunner。自動(dòng)打包并提交MapReduce程序。統(tǒng)計(jì)評(píng)分次數(shù)最多的10部電影并分析。統(tǒng)計(jì)不同性別的用戶評(píng)分最高的10部電影并分析。計(jì)算指定電影的各年齡段用戶的平均評(píng)分并分析。統(tǒng)計(jì)影評(píng)庫(kù)中各種電影類型中評(píng)分最高的5部電影并分析。實(shí)驗(yàn)教學(xué)過程篩選日志文件并生成序列化文件。使用FileSystemAPI管理文件夾。使用FileSystemAPI操作文件。使用FileSystemAPI讀/寫數(shù)據(jù)。使用HadoopJavaAPI讀取序列化文件。自定義鍵值類型。初步探索Combiner。淺析Partitioner。自定義計(jì)數(shù)器。傳遞參數(shù)。使用Hadoop輔助類ToolRunner。自動(dòng)打包并提交MapReduce程序。統(tǒng)計(jì)評(píng)分次數(shù)最多的10部電影并分析。統(tǒng)計(jì)不同性別的用戶評(píng)分最高的10部電影并分析。計(jì)算指定電影的各年齡段用戶的平均評(píng)分并分析。統(tǒng)計(jì)影評(píng)庫(kù)中各種電影類型中評(píng)分最高的5部電影并分析。教材與參考資料教材張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第3版）（微課版）[M]．