Spark大數(shù)據(jù)技術(shù)與應(yīng)用 教案(人郵) 第1-3章 Spark概述教案、基礎(chǔ)教案、編程教案_第1頁
Spark大數(shù)據(jù)技術(shù)與應(yīng)用 教案(人郵) 第1-3章 Spark概述教案、基礎(chǔ)教案、編程教案_第2頁
Spark大數(shù)據(jù)技術(shù)與應(yīng)用 教案(人郵) 第1-3章 Spark概述教案、基礎(chǔ)教案、編程教案_第3頁
Spark大數(shù)據(jù)技術(shù)與應(yīng)用 教案(人郵) 第1-3章 Spark概述教案、基礎(chǔ)教案、編程教案_第4頁
Spark大數(shù)據(jù)技術(shù)與應(yīng)用 教案(人郵) 第1-3章 Spark概述教案、基礎(chǔ)教案、編程教案_第5頁
已閱讀5頁,還剩6頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)

文檔簡介

第1章Spark概述

教案

課程名稱:Spark大數(shù)據(jù)技術(shù)與應(yīng)用

課程類別:必修

適用專業(yè):大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)

總學(xué)時:64學(xué)時(其中理論40學(xué)時,實驗24學(xué)時)

總學(xué)分:4.0學(xué)分

本章學(xué)時:4學(xué)時

一、材料清單

(1)《Spark大數(shù)據(jù)技術(shù)與應(yīng)用》教材。

(2)配套PPT。

(3)引導(dǎo)性提問。

(4)探究性問題。

(5)拓展性問題。

二、教學(xué)目標(biāo)與基本要求

1.教學(xué)目標(biāo)

主要介紹Spark的發(fā)展歷史,Spark的特點、Spark的生態(tài)圈和Spark的應(yīng)用場景以及介

紹Spark的環(huán)境配置,包括搭建單機版環(huán)境、單機偽分布式環(huán)境和完全分布式環(huán)境。最后重

點介紹Spark的架構(gòu),Spark作業(yè)的運行流程和Spark的核心數(shù)據(jù)集RDD。

2.基本要求

(1)了解Spark的發(fā)展歷史及特點

(2)學(xué)會搭建Spark環(huán)境。

(1)了解Spark的運行架構(gòu)與原理。

三、問題

1.引導(dǎo)性提問

引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實際水平,提出問題,啟發(fā)引導(dǎo)學(xué)生去解決問

題,提問,從而達到理解、掌握知識,發(fā)展各種能力和提高思想覺悟的目的。

(1)你了解Spark的發(fā)展歷史及特點嗎?

(2)你了解Spark的應(yīng)用場景嗎?

(3)你自己搭建過Spark環(huán)境嗎?

(4)你使用過Spark嗎?

2、探究性問題

探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計,提問的角度或者在引導(dǎo)性提問的

基礎(chǔ)上,從重點、難點問題切入,進行插入式提問。或者是對引導(dǎo)式提問中尚未涉及但在課

文中又是重要的問題加以設(shè)問。

(I)為什么需要Spark?

(2)Spark有哪些特點?

(3)Spark生態(tài)圈包含哪些環(huán)境?

(4)Spark有哪些部署模式,有什么區(qū)別?

(5)“RDD”是怎樣的數(shù)據(jù)集?

(6)Spark的運行流程是怎么樣的?

2.拓展性問題

拓展性問題需要教師深刻理解教材的意義,學(xué)生的學(xué)習(xí)動態(tài)后,根據(jù)學(xué)生學(xué)習(xí)層次,提

出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討,完成拓展性問

題。

根據(jù)Spark的安裝配置過程,如果想要為Spark集群多加一個子節(jié)點,需要進行哪些操

作?

四、主要知識點、重點與難點

1.主要知識點

(1)Spark基本概念。

(2)Spark發(fā)展和應(yīng)用。

(3)Spark環(huán)境配置方法。

(4)Spark架構(gòu)及原理。

2.重點

(1)如何搭建Spark環(huán)境。

(2)Spark完全分右式集群特點。

(3)了解Spark運行架構(gòu)與原理。

3.難點

(1)搭建Spark完全分布式集群。

(2)Spark的原理。

五、教學(xué)過程設(shè)計

1.理論教學(xué)過程

(1)Spark簡介。

(2)搭建Spark環(huán)境。

(3)了解Spark運行架構(gòu)與原理。

一、材料清單

(1)《Spark大數(shù)據(jù)技術(shù)與應(yīng)用》教材。

(2)配套PPT。

(3)引導(dǎo)性提問。

(4)探究性問題。

(5)拓展性問題。

二、教學(xué)目標(biāo)與基本要求

3.教學(xué)目標(biāo)

Scala語言是Spark平臺常用的一種語言,為了學(xué)習(xí)Spark,需要先學(xué)習(xí)Scala。首先介

紹了Scala的特性及安裝,接著介紹的是Scala的函數(shù)、表達式、循環(huán)、數(shù)據(jù)結(jié)構(gòu)和類。通

過本章的學(xué)習(xí),可以體會到Scala函數(shù)式編程的便捷、簡單。

4.基本要求

(1)「解Scala基本特性并學(xué)會安裝Scala。

(2)掌握定義Scala的常量、變量及函數(shù)的方法。

(3)掌握Scala的if判斷和for循環(huán)。

(4)掌握Scala的Collections(集合)操作。

(5)掌握Scala的樣例類與模式匹配。

(6)了解Scala類及讀取文件。

三、問題

5.引導(dǎo)性提問

引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實際水平,提出問題,啟發(fā)引導(dǎo)學(xué)生去解決問

題,提問,從而達到理解、掌握知識,發(fā)展各種能力和提高思想覺悟的目的。

(5)Scala是一門函數(shù)式編程語言,你了解什么是函數(shù)式編程嗎?

(6)結(jié)合Spark的特點,你覺得Scala可能具備哪些特性?

(7)你了解Scala編程的常量,變量及函數(shù)嗎?

(8)你了解Scala的循環(huán)與判斷嗎?

6.探究性問題

探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計,提問的角度或者在引導(dǎo)性提問的

基礎(chǔ)上,從重點、難點問題切入,進行插入式提問。或者是對引導(dǎo)式提問中尚未涉及但在課

文中又是重要的問題加以設(shè)問。

(7)為什么使用Scala編寫了Spark?

(8)Scala具有哪些特性?

(9)Scala原始類型有哪些?

(10)Scala的循環(huán)可以有哪些表現(xiàn)形式?

(11)Scala各種數(shù)據(jù)類型的應(yīng)用?

(12)你能通過不同的方式讀取文件嗎?

(13)什么是函數(shù)式編程?

7.拓展性問題

拓展性問題需要教師深刻理解教材的意義,學(xué)生的學(xué)習(xí)動態(tài)后,根據(jù)學(xué)生學(xué)習(xí)層次,提

出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討,完成拓展性問

題。

(1)如果你學(xué)習(xí)過Java語言,你認(rèn)為Scala與Java相比有哪些比較大的不同之處?

(2)Scala變量能否使用自增或自減?

(3)Scala有沒有可變數(shù)組?如果有,可變數(shù)組與不可變數(shù)組的區(qū)別是什么?

(4)Scala的列表與數(shù)組有何區(qū)別?

四、主要知識點、重點與難點

8.主要知識點

(5)Scala簡介。

(6)Scala特性。

(7)Scala的環(huán)境設(shè)置及安裝方法。

(8)Scala類的定義和運行方法。

(9)Scala數(shù)據(jù)類型、函數(shù)、表達式的應(yīng)用。

(10)Scalaif判斷和for循環(huán)。

(II)Scala集合應(yīng)用。

9.重點

(4)了解Scala的基礎(chǔ)內(nèi)容及特性。

(5)掌握Scala的安裝。

(6)掌握Scala函數(shù)式編程。

10.難點

(3)Scala的集合操作。

(4)Scala的類定義。

(5)Scala的模式匹配。

五、教學(xué)過程設(shè)計

1L理論教學(xué)過程

(4)Scala簡介與安裝。

(5)函數(shù)式編程特點。

(6)Scala編程學(xué)習(xí)。

12.實驗教學(xué)過程

(1)安裝Scala編程環(huán)境。

(2)定義Scala函數(shù)識別號碼類型。

(3)統(tǒng)計廣州號碼段數(shù)量。

(4)根據(jù)歸屬地對手機號碼段分組。

(5)編寫手機號碼歸屬地查詢程序。

(6)編寫函數(shù)過濾文本中的回文單詞。

(7)使用Scala編程實現(xiàn)楊輝三角。

六、教材與參考資料

13.教材

肖芳,張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用(第2版)(微課版)[M].北京:人民郵電出

版社.2022.

14.參考資料

[1]肖芳,張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用[M].北京:人民郵電出版社.2018.

[2]王哲,張良均.Hadoop與大數(shù)據(jù)挖掘(第2版)[M].北京:機械工業(yè)出版社.2022.

[引張軍,張良均.Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)(第2版)(微課版)[M].北京:人民郵

電出版社.2021.

第3章Spark編程

教案

課程名稱:Spark大數(shù)據(jù)技術(shù)與應(yīng)用

課程類別:必修

適用專業(yè):大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)

總學(xué)時:64學(xué)時(其中理論40學(xué)時,實驗24學(xué)時)

總學(xué)分:4.0學(xué)分

本章學(xué)時:10學(xué)時

七、材料清單

(6)《Spark大數(shù)據(jù)技術(shù)與應(yīng)用》教材。

(7)配套PPT。

(8)引導(dǎo)性提問。

(9)探究性問題。

(10)拓展性問題e

八、教學(xué)目標(biāo)與基本要求

15.教學(xué)目標(biāo)

主要介紹Spark的基礎(chǔ)操作,包括Spark的基本的核心數(shù)據(jù)集,Spark的轉(zhuǎn)換操作和行

動操作。以學(xué)生成績統(tǒng)計為任務(wù),將任務(wù)分為各個子任務(wù),以完成任務(wù)為目標(biāo),分析各大方

法的運用,然后通過完成任務(wù)進一步熟悉操作。通過本章學(xué)習(xí),掌握Spark的操作方法以及

SparkShell命令行的使用,為后面的高級操作和組件學(xué)習(xí)奠定基礎(chǔ)。

16.基本要求

(7)掌握如何創(chuàng)建RDD。

(8)掌握Spark基本轉(zhuǎn)換操作。

(9)掌握Spark基本動作操作。

(10)了解如何讀取不同格式文件數(shù)據(jù)。

(11)了解如何存儲數(shù)據(jù)為不同格式文件。

九、問題

17.引導(dǎo)性提問

引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實際水平,提出問題,啟發(fā)引導(dǎo)學(xué)生去解決問

題,提問,從而達到理解、掌握知識,發(fā)展各種能力和提高思想覺悟的目的v

(9)一般期末考試的成績是如何保留的?

(10)Spark適用于什么類型的計算?

(IDSpark計算有什么特點?

(12)是否了解過Spark中的RDD是一個什么樣的類型?

18.探究性問題

探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計,提問的角度或者在引導(dǎo)性提問的

基礎(chǔ)上,從重點、難點問題切入,進行插入式提問?;蛘呤菍σ龑?dǎo)式提問中尚未涉及但在課

文中又是重要的問題加以設(shè)問。

(14)RDD是一個葉么樣的集合?

(15)有哪些創(chuàng)建RDD的方法?

(16)RDD的轉(zhuǎn)換操作和行動操作有什么區(qū)別?

(17)什么是鍵值對RDD,有哪些特點?

(18)針對普通RDD的常用操作有哪些,針對鍵值對RDD的操作有哪些?

(19)文本文件的存儲和讀取通過什么方法?

19.拓展性問題

拓展性問題需要教師深刻理解教材的意義,學(xué)生的學(xué)習(xí)動態(tài)后,根據(jù)學(xué)生學(xué)習(xí)層次,提

出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討,完成拓展性問

題。

(5)CSV文件通過讀取文本文件的方法讀取和通過CSV讀取器讀取有區(qū)別嗎?如果

有,有什么區(qū)別?

(6)你還知道哪些Spark讀取和存儲文件的方法?

十、主要知識點、重點與難點

20.主要知識點

(12)從內(nèi)存中已有數(shù)據(jù)創(chuàng)建RDD,

(13)從外部存儲創(chuàng)建RDD。

(14)RDD轉(zhuǎn)化操作和行動操作方法。

(15)RDD鍵值對操作。

(16)文件讀取與存儲。

21.重點

(7)RDD創(chuàng)建。

(8)RDD轉(zhuǎn)化操作和行動操作。

(9)鍵值對RDD的基本操作。

22.難點

(6)如何創(chuàng)建鍵值對類型的RDD。

(7)操作鍵值對類型RDD的方法。

十一、教學(xué)過程設(shè)計

23.理論教學(xué)過程

(7)從內(nèi)存中已有數(shù)據(jù)創(chuàng)建RDDo

(8)從外部存儲創(chuàng)建RDD。

(9)RDD轉(zhuǎn)化操作和行動操作。

(10)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論