《python大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》課程教學大綱課程代碼：學分：3學時：48（其中：講課學時：36實踐或?qū)嶒瀸W時：12）先修課程：數(shù)學分析、高等代數(shù)、概率統(tǒng)計、Python程序設(shè)計基礎(chǔ)適用專業(yè)：信息與計算科學建議教材：黃恒秋主編.Python大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)（微課版）[M].北京：人民郵電出版社.2020.開課系部：數(shù)學與計算機科學學院一、課程的性質(zhì)與任務課程性質(zhì)：選修（必修）。課程任務：大數(shù)據(jù)時代，數(shù)據(jù)成為決策最為重要的參考之一，數(shù)據(jù)分析行業(yè)邁入了一個全新的階段。通過學習本課程，使得學生能夠掌握Python科學計算、數(shù)據(jù)處理、數(shù)據(jù)可視化、挖掘建模等基本技能，能夠針對基本的數(shù)據(jù)挖掘問題與樣例數(shù)據(jù)，調(diào)用Python中的第三方擴展包Numpy、Pandas、Matplotlib、Scikit-learn及關(guān)聯(lián)規(guī)則算法代碼，進行處理、計算與分析，初步掌握深度學習框架TensorFlow2.0安裝及多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)基本原理及應用舉例程序?qū)崿F(xiàn)，學會基本的行業(yè)應用實例。二、課程的基本內(nèi)容及要求第一章Python基礎(chǔ)（復習）1.課程教學內(nèi)容：（1）Python及其發(fā)行版Anaconda的安裝與啟動、Spyder開發(fā)工具的使用和Python新庫的安裝方法；（2）Python基本語法和數(shù)據(jù)結(jié)構(gòu)。2.課程的重點、難點：（1）重點：Python基本語法和數(shù)據(jù)結(jié)構(gòu)的靈活運用；（2）難點：Python數(shù)據(jù)結(jié)構(gòu)的靈活運用。3.課程教學要求：（1）了解Python的安裝及界面基本使用技能；（2）理解Python基本數(shù)據(jù)結(jié)構(gòu)及方法的使用；

（3）掌握Python基本數(shù)據(jù)結(jié)構(gòu)的使用技能及循環(huán)、條件語句的應用。第二章科學計算包Numpy1.課程教學內(nèi)容：（1）導入并使用Numpy創(chuàng)建數(shù)組；（2）數(shù)組的運算、切片、連接及存取、排序與搜索；數(shù)組相關(guān)屬性與方法；2.課程的重點、難點：（1）重點：數(shù)組的切片、連接、改變形態(tài)。數(shù)組的相關(guān)方法；（2）難點：數(shù)組的切片及改變形態(tài)。3.課程教學要求：（1）了解Numpy及導入使用；（2）理解數(shù)組的創(chuàng)建、切片、連接、存取、排序及搜索相關(guān)技能；

（3）掌握數(shù)組靈活切片的方法及數(shù)組連接、排序、搜索相關(guān)知識。第三章數(shù)據(jù)處理包Pandas1.課程教學內(nèi)容：（1）導入并使用Pandas創(chuàng)建數(shù)據(jù)框和序列；（2）數(shù)據(jù)框和序列相關(guān)屬性、方法的介紹及使用；（3）數(shù)據(jù)框和序列的訪問、切片及運算；（4）外部數(shù)據(jù)文件的讀取及滾動計算函數(shù)的使用。2.課程的重點、難點：（1）重點：數(shù)據(jù)框、序列相關(guān)屬性、方法的應用，數(shù)據(jù)框和序列數(shù)據(jù)的訪問、切片及相互之間的轉(zhuǎn)換。常用外部數(shù)據(jù)文件的讀??；（2）難點：數(shù)據(jù)框、序列的訪問及切片。數(shù)據(jù)框、序列、數(shù)組、列表相關(guān)數(shù)據(jù)結(jié)構(gòu)之間的相互轉(zhuǎn)換。3.課程教學要求：（1）了解Pandas導入及創(chuàng)建數(shù)據(jù)框和序列；（2）理解數(shù)據(jù)框和序列的訪問、切片及方法；

（3）掌握數(shù)據(jù)框和序列相關(guān)方法的靈活應用，數(shù)據(jù)框、序列、數(shù)組、列表之間的相關(guān)轉(zhuǎn)換及運用。第四章數(shù)據(jù)可視化包Matplotlib1.課程教學內(nèi)容：（1）導入并使用Matplotlib中的pyplot模塊進行簡單繪圖；（2）Matplotlib中的pyplot模塊繪圖基本流程及原理；（3）利用Matplotlib中的yplot模塊繪制常見的圖形，包括散點圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖。2.課程的重點、難點：（1）重點：利用Matplotlib中的pyplot模塊進行散點圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖的繪制。懂得圖形中文字符的顯示及橫軸字符刻度，子圖的布局排列；（2）難點：Matplotlib繪圖的基本流程及原理。3.課程教學要求：（1）了解Matplotlib中的pyplot模塊導入及簡單使用方法；（2）理解利用Matplotlib中的pyplot模塊繪圖的基本流程及原理；

（3）掌握利用Matplotlib中的pyplot模塊繪制散點圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖的方法，以及中文字符的顯示、橫軸字符刻度和子圖的布局排列。第五章機器學習與實現(xiàn)1.課程教學內(nèi)容：（1）導入Scikit-learn包及相關(guān)模塊；（2）缺失值填充、數(shù)據(jù)規(guī)范化或標準化、主成分分析降維及綜合評價、線性回歸、邏輯回歸、神經(jīng)網(wǎng)絡(luò)、K-均值聚類、關(guān)聯(lián)規(guī)則相關(guān)的模型、算法與原理；（3）利用Scikit-learn包相關(guān)模塊，完成案例教學，包括均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經(jīng)網(wǎng)絡(luò)非線性回歸預測，邏輯回歸、神經(jīng)網(wǎng)絡(luò)，K-mean聚類；（4）布爾數(shù)據(jù)集的轉(zhuǎn)換、布爾關(guān)聯(lián)規(guī)則挖掘原理、一對一關(guān)聯(lián)規(guī)則與多對一關(guān)聯(lián)規(guī)則基本概念與程序?qū)崿F(xiàn)。2.課程的重點、難點：（1）重點：均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經(jīng)網(wǎng)絡(luò)非線性回歸預測，邏輯回歸、神經(jīng)網(wǎng)絡(luò)，K-mean聚類，布爾數(shù)據(jù)集轉(zhuǎn)換、一對一和多對一關(guān)聯(lián)規(guī)則挖掘相關(guān)原理的理解及程序?qū)崿F(xiàn)；（2）難點：主成分分析降維及綜合評價，線性回歸、神經(jīng)網(wǎng)絡(luò)非線性回歸預測，邏輯回歸、神經(jīng)網(wǎng)絡(luò)，K-mean聚類、布爾數(shù)據(jù)集轉(zhuǎn)換、關(guān)聯(lián)規(guī)則挖掘相關(guān)原理的理解。3.課程教學要求：（1）了解Scikit-learn包及相關(guān)模塊導入及簡單使用方法；（2）理解均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經(jīng)網(wǎng)絡(luò)非線性回歸預測，邏輯回歸、神經(jīng)網(wǎng)絡(luò)，K-mean聚類相關(guān)的基本原理與方法；

（3）掌握均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經(jīng)網(wǎng)絡(luò)非線性回歸預測，邏輯回歸、神經(jīng)網(wǎng)絡(luò)，K-mean聚類的程序?qū)崿F(xiàn)及案例應用。（4）了解關(guān)聯(lián)規(guī)則的基本概念；理解布爾數(shù)據(jù)集轉(zhuǎn)換及布爾關(guān)聯(lián)規(guī)則挖掘的基本概念與程序?qū)崿F(xiàn)方法；掌握一對一、多對一關(guān)聯(lián)規(guī)則挖掘的基本原理及程序?qū)崿F(xiàn)方法，并進行案例應用。第六章深度學習與實現(xiàn)1.課程教學內(nèi)容：（1）TensorFlow2.0的安裝及基本知識；（2）多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)基本原理及程序?qū)崿F(xiàn)；2.課程的重點、難點：（1）重點：TensorFlow2.0安裝及多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)應用舉例程序?qū)崿F(xiàn)；（2）難點：多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)原理；3.課程教學要求：（1）深度學習基本概念；（2）了解多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)基本原理；（3）掌握TensorFlow2.0安裝及多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)應用舉例程序?qū)崿F(xiàn)。第7章基于財務與交易數(shù)據(jù)的量化投資分析1.課程教學內(nèi)容：（1）上市公司綜合評價、優(yōu)質(zhì)股票選擇、量化投資等基本概念；（2）基于總體規(guī)模與效率指標的主成分分析綜合評價方法；（3）股票技術(shù)指標分析及程序計算（4）數(shù)據(jù)預處理及訓練、測試樣本劃分、邏輯回歸模型應用（5）量化投資策略設(shè)計實現(xiàn)及結(jié)果分析。2.課程的重點、難點：（1）重點：業(yè)務數(shù)據(jù)理解、指標數(shù)據(jù)的選擇、預處理、程序?qū)崿F(xiàn)；（2）難點：業(yè)務數(shù)據(jù)理解、模型的理解、場景應用。3.課程教學要求：（1）了解上市公司綜合評價的基本概念及模型、股票技術(shù)分析指標概念及計算方法；（2）理解業(yè)務數(shù)據(jù)、指標數(shù)據(jù)選取、預處理、量化投資設(shè)計的基本原理、原則及流程；

（3）掌握指標數(shù)據(jù)選取、預處理、程序?qū)崿F(xiàn)、量化投資策略設(shè)計實現(xiàn)的全部流程。第8章眾包任務定價優(yōu)化方案1.課程教學內(nèi)容：（1）經(jīng)緯度坐標數(shù)據(jù)可視化等基本概念及計算實現(xiàn)方法；（2）指標的設(shè)計原理和計算公式；（3）數(shù)據(jù)獲取及指標計算；（4）主成分分析、神經(jīng)網(wǎng)絡(luò)、支持向量機模型的具體應用場景及程序?qū)崿F(xiàn)；（5）方案評價指標設(shè)計及實現(xiàn)。2.課程的重點、難點：（1）重點：地理信息數(shù)據(jù)可視化，指標設(shè)計原理、公式和程序?qū)崿F(xiàn)，主成分分析、神經(jīng)網(wǎng)絡(luò)和支持向量機模型的具體應用場景；（2）難點：指標設(shè)計原理、公式和程序?qū)崿F(xiàn)。3.課程教學要求：（1）了解地理信息數(shù)據(jù)處理的基本概念、方法和可視化；（2）根據(jù)具體業(yè)務場景，設(shè)計指標及程序?qū)崿F(xiàn)；（3）掌握眾包任務定價特征指標的設(shè)計、計算、程序?qū)崿F(xiàn)及模型應用。第11章基于水色圖像的水質(zhì)評價1.課程教學內(nèi)容：（1）圖像的讀取、圖像數(shù)據(jù)處理，圖像顏色特征提取與計算方法；（2）基于支持向量機的圖像識別方法及程序?qū)崿F(xiàn)；（3）基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別方法和程序?qū)崿F(xiàn)；2.課程的重點、難點：（1）重點：圖像數(shù)據(jù)處理和顏色特征提取、計算和程序?qū)崿F(xiàn)，針對灰圖和彩圖的卷積神經(jīng)網(wǎng)絡(luò)圖像識別模型與程序?qū)崿F(xiàn)；（2）難點：卷積神經(jīng)網(wǎng)絡(luò)模型原理及程序?qū)崿F(xiàn)。3.課程教學要求：（1）了解圖像讀取、數(shù)據(jù)處理、顏色特征提取與計算的基本方法；（2）理解利用支持向量機模型與卷積神經(jīng)網(wǎng)絡(luò)模型進行圖像識別的基本思路、流程和方法；

（3）掌握圖像讀取、數(shù)據(jù)處理和顏色特征提取、支持向量機模型和卷積神經(jīng)網(wǎng)絡(luò)模型的程序?qū)崿F(xiàn)方法。三、實踐教學要求Python大數(shù)據(jù)分析與挖掘基礎(chǔ)是一門應用性極強的課程，涉及數(shù)據(jù)處理、數(shù)據(jù)分析與探索、數(shù)據(jù)挖掘模型與算法、Python編程技能等。本課程要求學生會利用Python第三方擴展包，進行外部數(shù)據(jù)讀取、數(shù)據(jù)處理、探索與分析、數(shù)據(jù)挖掘模型與算法應用等，并初步掌握深度學習框架及主要模型應用舉例程序?qū)崿F(xiàn)，同時拓展到一些主流行業(yè)應用中。本課程建議使用Python的集成開發(fā)平臺進行程序編寫及教學，比如Anaconda、pycharm等。四、課程學時分配序號教學內(nèi)容理論教學學時實驗學時實驗（實踐）內(nèi)容課外實驗1第1章Python基礎(chǔ)102第2章科學計算包Numpy30數(shù)組切片、運算、存取及連接頭歌平臺配套實驗3第3章數(shù)據(jù)處理包Pandas52數(shù)據(jù)框切片、轉(zhuǎn)換、運算及連接頭歌平臺配套實驗4第4章數(shù)據(jù)可視化包Matplotlib32子圖繪制及排列頭歌平臺配套實驗5第5章機器學習與實現(xiàn)83分類、聚類應用頭歌平臺配套實驗6第6章深度學習與實現(xiàn)40頭歌平臺配套實驗7第7章基于財務與交易數(shù)據(jù)的量化投資分析40頭歌平臺配套實驗8第8章眾包任務定價優(yōu)化方案42本章練習頭歌平臺配套實驗9第11章基于水色圖像的水質(zhì)評價43本章練習頭歌平臺配套實驗合計3612五、大綱說明1.教學手段：（1）理論與實踐相結(jié)合，多媒體機房上課，帶黑板（方便板書及推導）；（2）講授課程結(jié)束后即開展實驗，在機房進行。2.考核方式建議：（1