《Spark大數(shù)據(jù)開發(fā)技術(shù)》教學(xué)大綱適用范圍：202X版本科人才培養(yǎng)方案課程代碼：08150491課程性質(zhì)：專業(yè)選修課學(xué)分：4學(xué)分學(xué)時(shí)：64學(xué)時(shí)（理論48學(xué)時(shí)，實(shí)驗(yàn)16學(xué)時(shí)）先修課程：Linux操作系統(tǒng)、Java程序設(shè)計(jì)、Python程序設(shè)計(jì)后續(xù)課程：無適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)開課單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院一、課程說明《Spark大數(shù)據(jù)開發(fā)技術(shù)》課程是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)專業(yè)的一門專業(yè)選修課。通過對(duì)本課程的學(xué)習(xí)，讓學(xué)生在對(duì)大數(shù)據(jù)技術(shù)有一定了解的基礎(chǔ)上，進(jìn)一步學(xué)習(xí)大數(shù)據(jù)技術(shù)、Spark的設(shè)計(jì)與運(yùn)行原理、環(huán)境搭建及使用等內(nèi)容，通過入門級(jí)編程實(shí)踐操作來提升學(xué)生學(xué)習(xí)和掌握大數(shù)據(jù)處理的實(shí)踐能力。二、課程目標(biāo)課程目標(biāo)1：掌握和理解Spark基本設(shè)計(jì)與運(yùn)行原理、環(huán)境搭建及使用等基本知識(shí)，理解Spark編程思想，能夠使用Spark解決相關(guān)工程問題。課程目標(biāo)2：掌握Spark編程實(shí)踐進(jìn)行項(xiàng)目開發(fā)的方法和技術(shù)，能夠根據(jù)大數(shù)據(jù)技術(shù)領(lǐng)域的實(shí)際問題進(jìn)行方案設(shè)計(jì)和程序?qū)崿F(xiàn)。課程目標(biāo)3：能進(jìn)行融會(huì)貫通，能正確評(píng)價(jià)大數(shù)據(jù)處理架構(gòu)對(duì)環(huán)境、社會(huì)可持續(xù)發(fā)展的影響，樹立正確的審美觀念和勞動(dòng)觀念。三、課程目標(biāo)與畢業(yè)要求《Spark大數(shù)據(jù)開發(fā)技術(shù)》課程教學(xué)目標(biāo)對(duì)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)畢業(yè)要求的支撐見表1。表1課程教學(xué)目標(biāo)與畢業(yè)要求關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)支撐強(qiáng)度3．設(shè)計(jì)/開發(fā)解決方案3.3在解決方案設(shè)計(jì)中，具有綜合考慮社會(huì)、健康、安全、法律、文化及環(huán)境等因素的意識(shí)和創(chuàng)新意識(shí)。課程目標(biāo)2：掌握Spark編程實(shí)踐進(jìn)行項(xiàng)目開發(fā)的方法和技術(shù)，能夠根據(jù)大數(shù)據(jù)技術(shù)領(lǐng)域的實(shí)際問題進(jìn)行方案設(shè)計(jì)和程序?qū)崿F(xiàn)。課程目標(biāo)3：能進(jìn)行融會(huì)貫通，能正確評(píng)價(jià)大數(shù)據(jù)處理架構(gòu)對(duì)環(huán)境、社會(huì)可持續(xù)發(fā)展的影響，樹立正確的審美觀念和勞動(dòng)觀念。H4．研究4.3能夠根據(jù)實(shí)驗(yàn)方案選用或搭建實(shí)驗(yàn)環(huán)境開展實(shí)驗(yàn)，能夠?qū)σ勋@得的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行整理、分析，并能通過信息綜合得出有效結(jié)論。課程目標(biāo)1：掌握和理解Spark基本設(shè)計(jì)與運(yùn)行原理、環(huán)境搭建及使用等基本知識(shí)，理解Spark編程思想，能夠使用Spark解決相關(guān)工程問題。課程目標(biāo)2：掌握Spark編程實(shí)踐進(jìn)行項(xiàng)目開發(fā)的方法和技術(shù)，能夠根據(jù)大數(shù)據(jù)技術(shù)領(lǐng)域的實(shí)際問題進(jìn)行方案設(shè)計(jì)和程序?qū)崿F(xiàn)。H5．使用現(xiàn)代工具5.3能夠針對(duì)大數(shù)據(jù)應(yīng)用開發(fā)需要選擇和使用合適的平臺(tái)和開發(fā)工具，并能夠理解其局限性課程目標(biāo)1：掌握和理解Spark基本設(shè)計(jì)與運(yùn)行原理、環(huán)境搭建及使用等基本知識(shí)，理解Spark編程思想，能夠使用Spark解決相關(guān)工程問題。課程目標(biāo)2：掌握Spark編程實(shí)踐進(jìn)行項(xiàng)目開發(fā)的方法和技術(shù)，能夠根據(jù)大數(shù)據(jù)技術(shù)領(lǐng)域的實(shí)際問題進(jìn)行方案設(shè)計(jì)和程序?qū)崿F(xiàn)。課程目標(biāo)3：能進(jìn)行融會(huì)貫通，能正確評(píng)價(jià)大數(shù)據(jù)處理架構(gòu)對(duì)環(huán)境、社會(huì)可持續(xù)發(fā)展的影響，樹立正確的審美觀念和勞動(dòng)觀念。H注：表中“H（高）、M（中）”表示課程與相關(guān)畢業(yè)要求的關(guān)聯(lián)度。四、教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配1.理論部分理論部分的教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配見表2。表2教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配教學(xué)內(nèi)容教學(xué)要求，教學(xué)重點(diǎn)難點(diǎn)理論學(xué)時(shí)實(shí)驗(yàn)學(xué)時(shí)對(duì)應(yīng)的課程目標(biāo)1.大數(shù)據(jù)技術(shù)概論1.1大數(shù)據(jù)概念與關(guān)鍵技術(shù)1.2代表性大數(shù)據(jù)技術(shù)1.3編程語言的選擇1.4在線資源教學(xué)要求：了解基礎(chǔ)的大數(shù)據(jù)關(guān)鍵技術(shù)以及具有代表性的大數(shù)據(jù)計(jì)算框架。重點(diǎn)：有代表性的大數(shù)據(jù)技術(shù)，包括Hadoop、Spark、Flink、Beam等。難點(diǎn)：掌握在線資源的學(xué)習(xí)方式。221、2、32.Spark的設(shè)計(jì)與運(yùn)行原理2.1概述2.2Spark生態(tài)系統(tǒng)2.3Spark運(yùn)行架構(gòu)2.4Spark部署方式教學(xué)要求：了解Spark生態(tài)系統(tǒng)；掌握Spark運(yùn)行架構(gòu)和部署方式。重點(diǎn):Spark運(yùn)行架構(gòu)。難點(diǎn):Spark部署方式。61、2、33.Spark環(huán)境搭建和使用3.1安裝Spark3.2在pyspark中運(yùn)行代碼3.3開發(fā)Spark獨(dú)立應(yīng)用程序3.4Spark集群環(huán)境搭建3.5在集群上運(yùn)行Spark應(yīng)用程序教學(xué)要求：掌握Spark的安裝；掌握如何在pyspark中運(yùn)行代碼及應(yīng)用程序開發(fā)。重點(diǎn):在pyspark中運(yùn)行代碼。難點(diǎn):Spark應(yīng)用程序開發(fā)和集群搭建。841、2、34.RDD編程4.1RDD編程基礎(chǔ)4.2鍵值對(duì)RDD4.3數(shù)據(jù)讀寫教學(xué)要求：了解RDD；理解并掌握RDD編程。重點(diǎn):RDD編程基礎(chǔ)。難點(diǎn):數(shù)據(jù)讀寫841、2、35.SparkSQL5.1SparkSQL簡介5.2DataFrame的概述、創(chuàng)建保存及操作5.3從RDD轉(zhuǎn)換到DataFrame5.4使用SparkSQL讀寫數(shù)據(jù)庫教學(xué)要求：了解SparkSQL架構(gòu)；理解并掌握DataFrame的創(chuàng)建保存及操作；理解并掌握使用SparkSQL讀寫數(shù)據(jù)。重點(diǎn):DataFrame的創(chuàng)建保存及操作。難點(diǎn):使用SparkSQL讀寫數(shù)據(jù)。821、2、36.SparkStreaming6.1流計(jì)算概述6.2SparkStreaming6.3SparkStreaming工作機(jī)制6.4基本輸入源及高級(jí)輸入源6.5轉(zhuǎn)換操作和輸出操作教學(xué)要求：了解流計(jì)算；掌握SparkStreaming程序編寫。重點(diǎn):SparkStreaming基本知識(shí)。難點(diǎn):SparkStreaming程序編寫。821、2、37.StructuredStreaming7.1概述7.2編寫StructuredStreaming程序的基本步驟7.3輸入源7.4輸出操作7.5容錯(cuò)處理7.6遲到數(shù)據(jù)處理7.7查詢的管理和監(jiān)控教學(xué)要求：理解概述并掌握StructuredStreaming程序編寫。重點(diǎn):編寫StructuredStreaming程序的基本步驟。難點(diǎn):編寫StructuredStreaming程序的基本步驟。421、2、38.SparkMLIib8.1基于大數(shù)據(jù)的機(jī)器學(xué)習(xí)8.2機(jī)器學(xué)習(xí)庫MLIib概述8.3基本數(shù)據(jù)類型8.4機(jī)器學(xué)習(xí)流水線8.5特征提取、轉(zhuǎn)換和選擇8.6分類算法8.7聚類算法8.8協(xié)同過濾算法8.9模型選擇和超參數(shù)調(diào)整教學(xué)要求：了解機(jī)器學(xué)習(xí)的概念；理解并掌握MLIib的基本原理和算法。重點(diǎn):理解并掌握MLIib的基本原理和算法。難點(diǎn):理解并掌握MLIib的基本原理和算法。41、2、3合計(jì)48162.實(shí)驗(yàn)部分實(shí)驗(yàn)部分的教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配見表3。表3實(shí)驗(yàn)項(xiàng)目、實(shí)驗(yàn)內(nèi)容與學(xué)時(shí)實(shí)驗(yàn)項(xiàng)目實(shí)驗(yàn)內(nèi)容和要求實(shí)驗(yàn)學(xué)時(shí)對(duì)應(yīng)的課程目標(biāo)1.Linux實(shí)驗(yàn)實(shí)驗(yàn)內(nèi)容：掌握Linux虛擬機(jī)的安裝方法并熟悉其使用方法。實(shí)驗(yàn)要求：安裝Linux虛擬機(jī)并使用Linux常用命令。21、2、32.Spark環(huán)境搭建與使用實(shí)驗(yàn)內(nèi)容：掌握Spark環(huán)境搭建和使用方法。實(shí)驗(yàn)要求：正確安裝Hadoop和Spark；使用Hadoop進(jìn)行常用操作；Spark讀取文件系統(tǒng)操作。41、2、33.RDD編程實(shí)驗(yàn)內(nèi)容：熟悉RDD基本操作及鍵值對(duì)操作并解決實(shí)際問題。實(shí)驗(yàn)要求：pyspark交互式編程；獨(dú)立編寫應(yīng)用程序?qū)崿F(xiàn)數(shù)據(jù)去重和求平均值。41、2、34.SparkSQL和Streaming與StructuredStreaming實(shí)驗(yàn)實(shí)驗(yàn)內(nèi)容：掌握Ubuntu16.04中SparkSQL、Streaming與StructuredStreamingHive的安裝及使用。實(shí)驗(yàn)要求：能在Ubuntu16.04中正確安裝SparkSQL、Streaming與StructuredStreaming并能掌握其基本編程方法。61、2、3合計(jì)16五、教學(xué)方法及手段本課程以課堂講授并結(jié)合實(shí)驗(yàn)進(jìn)行學(xué)習(xí)，結(jié)合課程討論、案例、視頻資源共享、實(shí)驗(yàn)等教學(xué)手段完成課程教學(xué)任務(wù)和相關(guān)能力的培養(yǎng)。讓學(xué)生在對(duì)大數(shù)據(jù)技術(shù)有一定了解的基礎(chǔ)上，進(jìn)一步學(xué)習(xí)大數(shù)據(jù)技術(shù)、Spark的設(shè)計(jì)與運(yùn)行原理、環(huán)境搭建及使用等內(nèi)容，通過入門級(jí)編程實(shí)踐操作來提升學(xué)生學(xué)習(xí)和掌握大數(shù)據(jù)處理的實(shí)踐能力。在實(shí)驗(yàn)教學(xué)環(huán)節(jié)中，通過啟發(fā)式教學(xué)培養(yǎng)學(xué)生在了解和掌握大數(shù)據(jù)相關(guān)基本知識(shí)和基本技能基礎(chǔ)上進(jìn)行編程實(shí)踐。培養(yǎng)學(xué)生自主學(xué)習(xí)能力、實(shí)際動(dòng)手能力，激發(fā)學(xué)生的創(chuàng)新思維。六、課程資源1.推薦教材（1）林子雨.Spark編程基礎(chǔ)（Python版）[M].北京:人民郵電出版社,2020.2.參考書（1）鳥哥.鳥哥的Linux私房菜基礎(chǔ)學(xué)習(xí)篇（第三版）[M].北京:人民郵電出版社,2016.（2）張偉洋.Hadoop3.x大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)(視頻教學(xué)版)[M].北京:清華大學(xué)出版社,2022.（3）遲殿委,陳鵬程.Hadoop大數(shù)據(jù)分析技術(shù)[M].北京:清華大學(xué)出版社,2022.（4）唐世偉,田嵐.大數(shù)據(jù)采集與預(yù)處理技術(shù)[M].北京:清華大學(xué)出版社,2022.3.期刊（1）QuinlanJR.Inductionofdecisiontrees[J].Machinelearning,2021,(10):81-106.（2）魏亮,林子雨,賴永炫.DFTS:面向大數(shù)據(jù)集的Top-kSkyline查詢算法[J].計(jì)算機(jī)科學(xué),2019,46(05):150-156.（3）WangN,YangY,FengL,etal.SVM-BasedIncrementalLearningAlgorithmforLarge-ScaleDataStreaminCloudComputing[J].KSIITransactionsonInternetandInformationSystems,2014,8(10):3378-3393.（4）鄭冬花,葉麗珠,隋棟等.云計(jì)算環(huán)境中面向大數(shù)據(jù)的改進(jìn)密度峰值聚類算法[J].濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版),2022,36(05):592-596+602.（5）夏立斌等.Spark任務(wù)間消息傳遞方法研究[I].計(jì)算機(jī)工程與應(yīng)用,2022,58(21):91-97.4.網(wǎng)絡(luò)資源（1）林子雨.廈門大學(xué)大數(shù)據(jù)實(shí)驗(yàn)室.(2020.01.08)./post/spark/.（2）林子雨.Spark編程基礎(chǔ).中國大學(xué)MOOC.2022./course/XMU-1205811805.七、課程考核對(duì)課程目標(biāo)的支撐課程成績由過程性考核成績和期末大作業(yè)成績兩部分構(gòu)成，具體考核/評(píng)價(jià)細(xì)則及對(duì)課程目標(biāo)的支撐關(guān)系見表4。表4課程考核對(duì)課程目標(biāo)的支撐考核環(huán)節(jié)占比考核/評(píng)價(jià)細(xì)則課程目標(biāo)123過程性考核課堂表現(xiàn)10（1）根據(jù)課堂出勤情況和課堂回答問題情況進(jìn)行考核，滿分100分。（2）以平時(shí)考核成績乘以其在總評(píng)成績中所占的比例計(jì)入課程總評(píng)成績?！獭獭?42作業(yè)10（1）主要考核學(xué)生對(duì)各章節(jié)知識(shí)點(diǎn)的復(fù)習(xí)、理解和掌握程度，滿分100分。（2）每次作業(yè)單獨(dú)評(píng)分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以作業(yè)成績乘以其在總評(píng)成績中所占的比例計(jì)入課程總評(píng)成績。√√√442階段測(cè)試10（1）主要考核學(xué)生對(duì)階段知識(shí)點(diǎn)的復(fù)習(xí)、理解和掌握程度，滿分100分。（2）每次測(cè)試單獨(dú)評(píng)分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以測(cè)試成績乘以其在總評(píng)成績中所占的比例計(jì)入課程總評(píng)成績?！獭獭?42實(shí)驗(yàn)10（1）根據(jù)每個(gè)實(shí)驗(yàn)的實(shí)驗(yàn)操作完成情況和實(shí)驗(yàn)報(bào)告質(zhì)量單獨(dú)評(píng)分，滿分100分。（2）每次實(shí)驗(yàn)單獨(dú)評(píng)分，取各次實(shí)驗(yàn)成績的平均值作為此環(huán)節(jié)的最終成績。（3）以實(shí)驗(yàn)成績乘以其在總評(píng)成績中所占的比例計(jì)入課程總評(píng)成績?！獭獭?42期末大作業(yè)60（1）期末大作業(yè)滿分100分，以期末成績乘以其在總評(píng)成績中所占的比例計(jì)入課程總評(píng)成績。（2）主要考核：期末大作業(yè)。√√√252510合計(jì)：100分414118八、考核與成績?cè)u(píng)定1.考核方式及成績?cè)u(píng)定考核方式：本課程主要以課堂表現(xiàn)、作業(yè)、階段測(cè)試、實(shí)驗(yàn)、期末大作業(yè)等方式對(duì)學(xué)生進(jìn)行考核評(píng)價(jià)?？己嘶疽螅嚎己丝偝煽冇善谀┐笞鳂I(yè)成績和過程性考核成績組成。其中：期末大作業(yè)成績?yōu)?00分（權(quán)重60%），主要針對(duì)程序關(guān)鍵點(diǎn)進(jìn)行個(gè)性化開發(fā)測(cè)試；課堂表現(xiàn)、作業(yè)、階段測(cè)試、實(shí)驗(yàn)等過程性考核成績?yōu)?00分（權(quán)重40%）；過程性考核和期末大作業(yè)分值分配分別與教學(xué)大綱各章節(jié)的學(xué)時(shí)基本成比例。2.過程性考核成績的標(biāo)準(zhǔn)過程性考核方式重點(diǎn)考核內(nèi)容、評(píng)價(jià)標(biāo)準(zhǔn)、所占比重見表5。表5過程性考核方式評(píng)價(jià)標(biāo)準(zhǔn)考核方式所占比重(%)100>x≥9090>x≥8080>x≥7070>x≥60x<60課堂表現(xiàn)25筆記完整，積極參與教學(xué)活動(dòng)，踴躍回答問題，準(zhǔn)確率大于90%。筆記完整，認(rèn)真參與教學(xué)活動(dòng)，回答問題準(zhǔn)確率大于80%。筆記不完整，偶爾參與教學(xué)活動(dòng)，回答問題準(zhǔn)確率大于70%。上課不認(rèn)真，上課不記筆記，偶爾參與教學(xué)活動(dòng)。上課不認(rèn)真，上課不記筆記，不參與教學(xué)活動(dòng)。作業(yè)25作業(yè)完整，思路清晰，準(zhǔn)確率大于90%。作業(yè)完整，準(zhǔn)確率大于80%。不交作業(yè)2次以內(nèi)，準(zhǔn)確率大于70%。不交作業(yè)3次以內(nèi)，準(zhǔn)確率大于60%。不交作業(yè)4次以上，準(zhǔn)確率小于60%。階段測(cè)試25教學(xué)內(nèi)容掌握較好，測(cè)試成績準(zhǔn)確率大于90%。教學(xué)內(nèi)容掌握較好，測(cè)試成績準(zhǔn)確率大于80%。教學(xué)內(nèi)容掌握一般，測(cè)試成績準(zhǔn)確率大于70