打造基于產(chǎn)教融合的就業(yè)育人綜合服務(wù)平臺打造基于產(chǎn)教融合的就業(yè)育人綜合服務(wù)平臺《Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第3版）（微課版）》教學(xué)大綱課程名稱：Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時：64學(xué)時（其中理論28學(xué)時，實驗36學(xué)時）總學(xué)分：4.0學(xué)分課程的性質(zhì)隨著時代的發(fā)展，大數(shù)據(jù)已經(jīng)成為一個耳熟能詳?shù)脑~匯。與此同時，針對大數(shù)據(jù)處理的新技術(shù)也在不斷的開發(fā)和運用中，逐漸成為數(shù)據(jù)處理挖掘行業(yè)廣泛使用的主流技術(shù)之一。Hadoop分布式集群系統(tǒng)架構(gòu)，具有高可用性、高容錯性和高擴展性等優(yōu)點，由于它提供了一個開放式的平臺，用戶可以在不了解底層實現(xiàn)細節(jié)的情形下，開發(fā)適合自身應(yīng)用的分布式程序。經(jīng)過多年的發(fā)展，目前Hadoop生態(tài)系統(tǒng)已經(jīng)成長為一個全棧式的大數(shù)據(jù)技術(shù)生態(tài)圈，包括了Hive、HBase、Spark等一系列組件，成為應(yīng)用最廣泛、最具有代表性的大數(shù)據(jù)技術(shù)之一。因此，學(xué)習(xí)Hadoop相關(guān)技術(shù)是從事大數(shù)據(jù)行業(yè)工作所必不可少的一步。為了滿足企業(yè)的大數(shù)據(jù)人才需求，幫助學(xué)者掌握相關(guān)技術(shù)知識解決實際的業(yè)務(wù)需求，特開設(shè)Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)課程。課程的任務(wù)通過本課程的學(xué)習(xí)，使學(xué)生掌握Hadoop、Hive和HBase集群的安裝配置，能夠根據(jù)具體需求編寫MapReduce程序解決實際業(yè)務(wù)問題，使用Hive、HBase進行數(shù)據(jù)存儲、查詢與分析，同時在各項目章節(jié)的學(xué)習(xí)過程中詳細拆解并學(xué)習(xí)電影網(wǎng)站用戶影評分析案例，將理論與實踐相結(jié)合，為將來從事數(shù)據(jù)分析挖掘研究、工作奠定基礎(chǔ)。課程學(xué)時分配序號教學(xué)內(nèi)容理論學(xué)時實驗學(xué)時其它1項目1分析電影網(wǎng)站用戶影評需求及環(huán)境搭建462項目2存儲電影網(wǎng)站用戶影評分析數(shù)據(jù)333項目3統(tǒng)計電影網(wǎng)站用戶影評數(shù)據(jù)554項目4多維度分析電影網(wǎng)站用戶影評695項目5基于Hive實現(xiàn)電影網(wǎng)站用戶影評分析566項目6基于HBase實現(xiàn)存儲電影網(wǎng)站用戶影評分析結(jié)果57總計2836教學(xué)內(nèi)容及學(xué)時安排理論教學(xué)序號章節(jié)名稱主要內(nèi)容教學(xué)目標學(xué)時1分析電影網(wǎng)站用戶影評需求及環(huán)境搭建什么是Hadoop了解Hadoop的特點了解Hadoop核心組件了解Hadoop生態(tài)系統(tǒng)了解Hadoop應(yīng)用場景創(chuàng)建Linux虛擬機設(shè)置固定IP地址遠程連接虛擬機配置本地YUM源及安裝常用軟件在Linux下安裝Java修改配置文件克隆虛擬機配置SSH免密碼登錄配置時間同步服務(wù)啟動和關(guān)閉Hadoop集群監(jiān)控Hadoop集群了解電影網(wǎng)站用戶影評數(shù)據(jù)字段分析影評統(tǒng)計需求了解Hadoop框架及其特點了解Hadoop核心組件了解Hadoop生態(tài)系統(tǒng)了解Hadoop應(yīng)用場景掌握虛擬機的安裝及配置方法掌握Linux中JDK的安裝方法掌握Hadoop完全分布式集群環(huán)境的搭建過程掌握Hadoop集群的監(jiān)控方法42存儲電影網(wǎng)站用戶影評分析數(shù)據(jù)了解Hadoop安全模式查看、解除和開啟Hadoop安全模式查詢集群的存儲系統(tǒng)信息查詢集群的計算資源信息了解HDFSHDFS的基本操作了解Hadoop官方的示例程序包提交MapReduce任務(wù)給集群運行查詢MapReduce任務(wù)中斷MapReduce任務(wù)上傳用戶影評數(shù)據(jù)至HDFS了解Hadoop安全模式掌握查看、解除與開啟Hadoop安全模式的操作方法掌握查看Hadoop集群的存儲系統(tǒng)信息和計算資源信息的方法了解HDFS掌握HDFS的基本操作掌握提交MapReduce任務(wù)的基本操作掌握多個MapReduce任務(wù)的管理方法33統(tǒng)計電影網(wǎng)站用戶影評數(shù)據(jù)在Windows下安裝Java下載、安裝并啟動IntelliJIDEA創(chuàng)建MapReduce工程配置MapReduce環(huán)境了解MapReduce實現(xiàn)詞頻統(tǒng)計的執(zhí)行流程讀懂官方提供的WordCount源碼分析思路與處理邏輯編寫核心模塊代碼打包程序并提交MapReduce任務(wù)給集群運行創(chuàng)建并配置工程項目統(tǒng)計所有電影的評分次數(shù)統(tǒng)計不同性別的用戶對電影的評分掌握在Windows下安裝Java和IntelliJIDEA的方法掌握在IntelliJIDEA中創(chuàng)建MapReduce工程和配置MapReduce環(huán)境的方法熟悉MapReduce的工作原理及執(zhí)行流程了解Hadoop官方示例中的WordCount源碼了解MapReduce編程的基本思路熟悉map()方法與reduce()方法的處理邏輯掌握編寫基礎(chǔ)的MapReduce程序處理簡單任務(wù)的方法54多維度分析電影網(wǎng)站用戶影評設(shè)置MapReduce輸入格式設(shè)置MapReduce輸出格式篩選日志文件并生成序列化文件使用FileSystemAPI管理文件夾使用FileSystemAPI操作文件使用FileSystemAPI讀/寫數(shù)據(jù)使用HadoopJavaAPI讀取序列化文件自定義鍵值類型初步探索Combiner淺析Partitioner自定義計數(shù)器傳遞參數(shù)使用Hadoop輔助類ToolRunner自動打包并提交MapReduce程序統(tǒng)計評分次數(shù)最多的10部電影并分析統(tǒng)計不同性別的用戶評分最高的10部電影并分析計算指定電影的各年齡段用戶的平均評分并分析統(tǒng)計影評庫中各種電影類型中評分最高的5部電影并分析掌握MapReduce輸入和輸出格式的設(shè)置方法掌握HadoopJavaAPI的使用方法掌握自定義鍵值類型的方法了解Combiner的工作原理掌握Combiner、Partitioner和自定義計數(shù)器的使用方法熟悉MapReduce參數(shù)傳遞流程掌握使用IntelliJIDEA自動打包并提交MapReduce程序的方法65基于Hive實現(xiàn)電影網(wǎng)站用戶影評分析什么是Hive了解Hive與傳統(tǒng)數(shù)據(jù)庫的對比了解Hive系統(tǒng)架構(gòu)了解Hive數(shù)據(jù)模型了解Hive執(zhí)行流程設(shè)置內(nèi)嵌模式設(shè)置直連數(shù)據(jù)庫模式設(shè)置遠程模式了解Hive數(shù)據(jù)定義語言的基本語法創(chuàng)建表的基本操作修改表的基本操作了解Hive數(shù)據(jù)操作語言的基本語法向數(shù)據(jù)表中裝載文件查詢數(shù)據(jù)插入數(shù)據(jù)刪除數(shù)據(jù)創(chuàng)建電影用戶影評數(shù)據(jù)表分析電影用戶影評數(shù)據(jù)表了解Hive的概念及Hive與傳統(tǒng)數(shù)據(jù)庫的對比了解Hive系統(tǒng)架構(gòu)、數(shù)據(jù)模型和執(zhí)行流程熟悉3種Hive的安裝模式及相關(guān)配置過程掌握Hive中數(shù)據(jù)庫與表的創(chuàng)建、修改方法掌握Hive表中數(shù)據(jù)增刪查改的操作方法56基于HBase實現(xiàn)存儲電影網(wǎng)站用戶影評分析結(jié)果什么是HBase了解HBase系統(tǒng)架構(gòu)了解HBase數(shù)據(jù)模型了解HBase讀/寫流程了解并安裝ZooKeeper安裝及配置HBase集群修改與刪除表查詢表數(shù)據(jù)創(chuàng)建Java項目實現(xiàn)表的創(chuàng)建向表中插入數(shù)據(jù)存儲評分次數(shù)最多的10部電影的數(shù)據(jù)存儲電影ID為2858的電影各年齡段用戶的平均評分的數(shù)據(jù)存儲影評庫中各種類型電影中評分最高的5部電影的數(shù)據(jù)了解分布式數(shù)據(jù)庫HBase熟悉HBase的系統(tǒng)架構(gòu)、數(shù)據(jù)模型和讀/寫流程了解ZooKeeper的概念、集群角色及選舉機制掌握ZooKeeper的安裝和部署方法掌握HBase的安裝和部署方法掌握HBase常用的Shell命令掌握HBaseJavaAPI的使用方法5學(xué)時合計28實驗教學(xué)序號實驗項目名稱實驗要求學(xué)時1安裝及配置虛擬機創(chuàng)建Linux虛擬機設(shè)置固定IP地址遠程連接虛擬機配置本地YUM源及安裝常用軟件32搭建Hadoop完全分布式集群在Linux下安裝Java修改配置文件克隆虛擬機配置SSH免密碼登錄配置時間同步服務(wù)啟動和關(guān)閉Hadoop集群監(jiān)控Hadoop集群33Hadoop基礎(chǔ)操作查看、解除和開啟Hadoop安全模式查詢集群的存儲系統(tǒng)信息查詢集群的計算資源信息HDFS的基本操作提交MapReduce任務(wù)給集群運行查詢MapReduce任務(wù)中斷MapReduce任務(wù)上傳用戶影評數(shù)據(jù)至HDFS34MapReduce入門編程在Windows下安裝Java下載、安裝并啟動IntelliJIDEA創(chuàng)建MapReduce工程配置MapReduce環(huán)境編寫核心模塊代碼打包程序并提交MapReduce任務(wù)給集群運行35統(tǒng)計電影網(wǎng)站用戶影評數(shù)據(jù)創(chuàng)建并配置工程項目統(tǒng)計所有電影的評分次數(shù)統(tǒng)計不同性別的用戶對電影的評分26MapReduce進階編程篩選日志文件并生成序列化文件使用FileSystemAPI管理文件夾使用FileSystemAPI操作文件使用FileSystemAPI讀/寫數(shù)據(jù)使用HadoopJavaAPI讀取序列化文件自定義鍵值類型初步探索Combiner淺析Partitioner自定義計數(shù)器傳遞參數(shù)使用Hadoop輔助類ToolRunner自動打包并提交MapReduce程序67多維度分析電影網(wǎng)站用戶影評統(tǒng)計評分次數(shù)最多的10部電影并分析統(tǒng)計不同性別的用戶評分最高的10部電影并分析計算指定電影的各年齡段用戶的平均評分并分析統(tǒng)計影評庫中各種電影類型中評分最高的5部電影并分析38安裝與配置Hive設(shè)置內(nèi)嵌模式設(shè)置直連數(shù)據(jù)庫模式設(shè)置遠程模式29Hive的基礎(chǔ)操作創(chuàng)建表的基本操作修改表的基本操作向數(shù)據(jù)表中裝載文件查詢數(shù)據(jù)插入數(shù)據(jù)刪除數(shù)據(jù)210基于Hive實現(xiàn)電影網(wǎng)站用戶影評分析創(chuàng)建電影用戶影評數(shù)據(jù)表分析電影用戶影評數(shù)據(jù)表211安裝與配置HBase了解并安裝ZooKeeper安裝及配置HBase集群212HBase的基礎(chǔ)操作修改與刪除表查詢表數(shù)據(jù)創(chuàng)建Java項目實現(xiàn)表的創(chuàng)建向表中插入數(shù)據(jù)213基于HBase實現(xiàn)存儲電影網(wǎng)站用戶影評分析結(jié)果存儲評分次數(shù)最多的10部電影的數(shù)據(jù)存儲不同性別的用戶評分最高的10部電影及評分信息的數(shù)據(jù)存儲電影ID為2858的電影各年齡段用戶的平均評分的數(shù)據(jù)存儲影評庫中各種類型電影中評分最高的5部電影的數(shù)據(jù)3學(xué)時合計36考核方式突出學(xué)生解決實際問題的能力，加強過程性考核。課程考核的成績構(gòu)成=平時作業(yè)（10%）+課堂參與（20%）+期末考核（70%），期末考試建議采用開卷形式，試題應(yīng)包括基本概念、組件安裝流程、開發(fā)環(huán)境搭建流程、MapReduce編程、Hive