Python數(shù)據(jù)分析基礎(chǔ)與應(yīng)用模塊模塊1認(rèn)知數(shù)據(jù)分析與構(gòu)建程序運(yùn)行環(huán)境【學(xué)習(xí)與訓(xùn)練】1.1初識(shí)數(shù)據(jù)分析1.1.1數(shù)據(jù)分析定義什么是數(shù)據(jù)分析呢？數(shù)據(jù)分析是指用合適的統(tǒng)計(jì)方法及工具，對(duì)收集來(lái)的大量原始數(shù)據(jù)進(jìn)行處理分析，對(duì)處理過(guò)的數(shù)據(jù)進(jìn)行分類解析，為了提取有價(jià)值信息和形成有效結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過(guò)程。以求最大化發(fā)揮數(shù)據(jù)的作用，推動(dòng)業(yè)務(wù)的發(fā)展。1.1.2比較數(shù)據(jù)分析與數(shù)據(jù)挖掘1．?dāng)?shù)據(jù)分析（1）數(shù)據(jù)分析的基本定義數(shù)據(jù)分析是指根據(jù)分析目的，用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法及工具，對(duì)收集來(lái)的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息，形成結(jié)論，發(fā)揮數(shù)據(jù)的作用。數(shù)據(jù)分析可以幫助人們作出判斷，以便采取適當(dāng)行動(dòng)。數(shù)據(jù)分析是數(shù)學(xué)與計(jì)算機(jī)科學(xué)相結(jié)合的產(chǎn)物。（2）數(shù)據(jù)分析的主要作用數(shù)據(jù)分析主要實(shí)現(xiàn)三大作用：現(xiàn)狀分析、原因分析、預(yù)測(cè)分析（定量）。數(shù)據(jù)分析的目標(biāo)明確，先做假設(shè)，然后通過(guò)數(shù)據(jù)分析來(lái)驗(yàn)證假設(shè)是否正確，從而得到相應(yīng)的結(jié)論。（3）數(shù)據(jù)分析的主要方法主要采用對(duì)比分析、分組分析、交叉分析、回歸分析等常用分析方法。（4）數(shù)據(jù)分析的輸出結(jié)果數(shù)據(jù)分析通常會(huì)得到一個(gè)指標(biāo)統(tǒng)計(jì)量結(jié)果，例如總和、平均值等，這些指標(biāo)數(shù)據(jù)都需要與業(yè)務(wù)結(jié)合進(jìn)行解讀，才能發(fā)揮出數(shù)據(jù)的價(jià)值與作用。2．?dāng)?shù)據(jù)挖掘數(shù)據(jù)挖掘一般是指從大量數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息的過(guò)程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān)，并通過(guò)統(tǒng)計(jì)計(jì)算、分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)和模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)。3．比較狹義的數(shù)據(jù)分析和廣義的數(shù)據(jù)分析完整的數(shù)據(jù)分析包括基本的數(shù)據(jù)分析和深入的數(shù)據(jù)挖掘兩個(gè)部分，數(shù)據(jù)分析可以分為廣義的數(shù)據(jù)分析和狹義的數(shù)據(jù)分析。狹義的數(shù)據(jù)分析其主要目標(biāo)就是生成可視化圖表，并通過(guò)這些圖表來(lái)洞察業(yè)務(wù)中的問(wèn)題。廣義的數(shù)據(jù)分析包括狹義的數(shù)據(jù)分析和數(shù)據(jù)挖掘，即不僅要通過(guò)數(shù)據(jù)實(shí)現(xiàn)對(duì)業(yè)務(wù)的監(jiān)控和分析，還要利用機(jī)器學(xué)習(xí)算法，找出隱藏在數(shù)據(jù)背后的知識(shí)，并利用這些知識(shí)為將來(lái)的決策提供支撐。我們通常所說(shuō)的數(shù)據(jù)分析就是指狹義的數(shù)據(jù)分析。（1）基本的數(shù)據(jù)分析工作基本的數(shù)據(jù)分析工作一般包含以下幾個(gè)方面的內(nèi)容，當(dāng)然因?yàn)樾袠I(yè)和工作內(nèi)容的不同會(huì)略有差異。?確定目標(biāo)（輸入）?獲取數(shù)據(jù)?清洗數(shù)據(jù)?數(shù)據(jù)透視?數(shù)據(jù)報(bào)告（輸出）?分析洞察（后續(xù)）（2）深入的數(shù)據(jù)挖掘工作深入的數(shù)據(jù)挖掘工作應(yīng)該包含以下幾個(gè)方面的內(nèi)容，當(dāng)然因?yàn)樾袠I(yè)和工作內(nèi)容的不同會(huì)略有差異。?確定目標(biāo)（輸入）?數(shù)據(jù)準(zhǔn)備?數(shù)據(jù)加工?數(shù)據(jù)建模?模型評(píng)估?模型部署（輸出）4．?dāng)?shù)據(jù)分析與數(shù)據(jù)挖掘的主要區(qū)別數(shù)據(jù)分析是對(duì)數(shù)據(jù)的一種操作手段或者算法，其目標(biāo)是針對(duì)先驗(yàn)的約束，對(duì)數(shù)據(jù)進(jìn)行整理、篩選、加工，由此得到信息。數(shù)據(jù)挖掘是對(duì)數(shù)據(jù)分析手段后的信息，進(jìn)一步進(jìn)行價(jià)值化的分析。數(shù)據(jù)分析的結(jié)果是信息，這些信息作為數(shù)據(jù)，由數(shù)據(jù)去挖掘。而數(shù)據(jù)挖掘，又使用了數(shù)據(jù)分析的手段，周而復(fù)始。數(shù)據(jù)分析和數(shù)據(jù)挖掘的最大區(qū)別在于，數(shù)據(jù)分析是以輸入的數(shù)據(jù)為基礎(chǔ)，通過(guò)先驗(yàn)的約束，對(duì)數(shù)據(jù)進(jìn)行處理，其重點(diǎn)在于數(shù)據(jù)的有效性、真實(shí)性和先驗(yàn)約束的正確性。而數(shù)據(jù)挖掘則不同，數(shù)據(jù)挖掘是對(duì)信息的價(jià)值化的獲取。價(jià)值化自然不考慮數(shù)據(jù)本身，而是考慮數(shù)據(jù)是否有價(jià)值。1.1.3數(shù)據(jù)分析在企業(yè)經(jīng)營(yíng)決策的主要作用在企業(yè)的經(jīng)營(yíng)決策中，數(shù)據(jù)分析具有以下三大作用。1．現(xiàn)狀分析——透過(guò)表面現(xiàn)象挖掘背后本質(zhì)2．原因分析——異常情況下的影響因素探析3．預(yù)測(cè)分析——探求未來(lái)發(fā)展趨勢(shì)與走向1.1.4常用數(shù)據(jù)分析框架常用的數(shù)據(jù)分析框架有：PEST、5W2H、SWOT、4P理論、邏輯樹(shù)、客戶生命周期等。1.1.5常用數(shù)據(jù)分析方法常用的數(shù)據(jù)分析方法有：趨勢(shì)分析、多維分解、用戶分群、漏斗分析、留存分析、A/B測(cè)試、對(duì)比分析、交叉分析。1.1.6常用數(shù)據(jù)分析工具與類庫(kù)類庫(kù)是用來(lái)實(shí)現(xiàn)各種功能的類的集合，Python本身的數(shù)據(jù)分析功能不是很強(qiáng)，需要借助一些功能強(qiáng)大的第三方擴(kuò)展庫(kù)來(lái)增強(qiáng)其數(shù)據(jù)分析能力，常用的擴(kuò)展庫(kù)有NumPy、Pandas、Matplotlib、SciPy、Seaborn和Scikit-learn等，這些庫(kù)在數(shù)據(jù)分析中起著很重要的作用，有關(guān)這些庫(kù)的使用將在后面模塊中做詳細(xì)介紹。1．NumPyNumPy（NumericalPython）是Python科學(xué)計(jì)算的基礎(chǔ)包，是機(jī)器學(xué)習(xí)框架的基礎(chǔ)類庫(kù)。2．PandasPandas是Python數(shù)據(jù)分析的核心庫(kù)，它是基于NumPy構(gòu)建的含有復(fù)雜數(shù)據(jù)結(jié)構(gòu)和工具的數(shù)據(jù)分析包。Pandas納入大量庫(kù)和標(biāo)準(zhǔn)數(shù)據(jù)模型，提供了大量的可快速便捷處理數(shù)據(jù)的函數(shù)和高效操作大型數(shù)據(jù)集所需的工具。Pandas圍繞Series和DataFrame這兩個(gè)核心數(shù)據(jù)結(jié)構(gòu)展開(kāi)的，而Series和DataFrame分別對(duì)應(yīng)于一維序列和二維表結(jié)構(gòu)。Pandas提供了復(fù)雜精細(xì)的索引功能，以便快捷地完成切片、切塊、聚合、選取數(shù)據(jù)子集、重塑和處理缺失值等操作。3．MatplotlibMatplotlib是最流行的用于繪制數(shù)據(jù)圖表的Python庫(kù)，能夠根據(jù)我們提供的數(shù)據(jù)創(chuàng)建高質(zhì)量的圖形。Matplotlib中應(yīng)用較為廣泛的模塊是pyplot，該模塊提供了一套與MATLAB類似的繪圖API，可以方便用戶快速繪制2D圖表，例如折線圖、柱狀圖、條形圖、直方圖、散點(diǎn)圖、餅圖等。Matplotlib使用NumPy進(jìn)行數(shù)組運(yùn)算，并調(diào)用一系列其他的Python庫(kù)來(lái)實(shí)現(xiàn)交互功能。Matplotlib庫(kù)中還提供了名為pylab的模塊，其中包括了許多NumPy和pyplot中常用的4．SciPySciPy是一個(gè)專門(mén)用于科學(xué)計(jì)算的開(kāi)源Python庫(kù)，它建立在NumPy的基礎(chǔ)上，提供了一個(gè)用在Python中進(jìn)行科學(xué)計(jì)算的工具集。SciPy完善了NumPy的功能，封裝了大量科學(xué)計(jì)算的算法，包括線性代數(shù)、稀疏矩陣、信號(hào)和圖像處理、最優(yōu)化問(wèn)題、常微分方程數(shù)值求解、快速傅里葉變換等。5．SeabornSeaborn是一個(gè)基于Matplotlib的可視化工具，它提供了一種高度交互式界面，便于用戶能夠做出各種有吸引力的統(tǒng)計(jì)圖形。Seaborn在Matplotlib的基礎(chǔ)上進(jìn)行了更高級(jí)的封裝，提供了很多高級(jí)封裝的函數(shù)，幫助數(shù)據(jù)分析人員快速繪制美觀的圖形，從而使得圖形繪制更加方便快捷，在大多數(shù)情況下，Seaborn可以讓用戶以更簡(jiǎn)潔有效的方式繪制出很具有吸引力的圖形，Seaborn能高度兼容NumPy與Pandas數(shù)據(jù)結(jié)構(gòu)，Seaborn是Matplotlib的補(bǔ)充，有助于更高效地觀察分析數(shù)據(jù)。6．pyecharts庫(kù)pyecharts是一個(gè)強(qiáng)大的可視化庫(kù)，相比于matplotlib來(lái)說(shuō)，具有強(qiáng)大的可交互功能，除了可以生成靜態(tài)圖像，還可以生成html格式圖像。使用pyecharts可以生成獨(dú)立的網(wǎng)頁(yè)，也可以在flask、Django中集成使用。7．Scikit-learnScikit-learn最初是SciPy的一部分，它是Python數(shù)據(jù)科學(xué)運(yùn)算的核心，提供了大量機(jī)器學(xué)習(xí)可能用到的工具，包括：數(shù)據(jù)預(yù)處理、監(jiān)督學(xué)習(xí)（分類、回歸）、無(wú)監(jiān)督學(xué)習(xí)（聚類）、模式選擇、交叉檢驗(yàn)等。Scikit-learn是一個(gè)簡(jiǎn)單有效的數(shù)據(jù)挖掘和數(shù)據(jù)分析工具，是一個(gè)專門(mén)針對(duì)機(jī)器學(xué)習(xí)應(yīng)用而開(kāi)發(fā)的Python開(kāi)源庫(kù)，Scikit-learn是建立在NumPy、SciPy和Matplotlib的基礎(chǔ)上的，對(duì)一些常用的算法進(jìn)行了封裝，利用這幾大模塊的優(yōu)勢(shì)，可以大大提高機(jī)器學(xué)習(xí)的效率。Scikit-learn簡(jiǎn)稱為Sklearn，其基本功能主要包括：分類、回歸、聚類、數(shù)據(jù)降維、特征提取、模型選擇、數(shù)據(jù)預(yù)處理和模型評(píng)估。1.1.7數(shù)據(jù)分析過(guò)程中遇到的常見(jiàn)數(shù)據(jù)問(wèn)題數(shù)據(jù)分析過(guò)程中常見(jiàn)的數(shù)據(jù)問(wèn)是如下：（1）數(shù)據(jù)缺失（2）數(shù)據(jù)重復(fù)（3）數(shù)據(jù)異常（4）數(shù)據(jù)冗余（5）數(shù)據(jù)值沖突（6）數(shù)據(jù)噪聲1.2熟悉與準(zhǔn)備數(shù)據(jù)分析的編程環(huán)境1.2.1熟悉與使用Python的交互式編程環(huán)境1．下載與安裝Python掃描二維碼，瀏覽下載與安裝Python的過(guò)程與方法。2．進(jìn)入python的交互式界面打開(kāi)【命令提示符】窗口，在命令提示符后輸入命令“python”，按【Enter】鍵，出現(xiàn)如圖1-1所示的信息。同時(shí)進(jìn)入python的交互式界面，提示符為“>>>”，等待用戶輸入python命令。圖1-1【命令提示符】窗口在提示符>>>后面輸入命令：print("Goodluck")，然后按【Enter】鍵執(zhí)行該命令，輸出結(jié)果如下：Goodluck如圖1-2所示。圖1-2在【命令提示符】窗口執(zhí)行命令1.2.2熟悉與使用JupyterNotebook集成開(kāi)發(fā)環(huán)境1．JupyterNotebook概述JupyterNotebook是基于網(wǎng)頁(yè)的用于交互計(jì)算的開(kāi)源Web應(yīng)用程序，可以用于代碼編寫(xiě)、文檔撰寫(xiě)、代碼運(yùn)行和結(jié)果展示。簡(jiǎn)單的說(shuō)，可以在網(wǎng)頁(yè)中直接編寫(xiě)代碼和運(yùn)行代碼，代碼的運(yùn)行結(jié)果也會(huì)直接在代碼塊下方進(jìn)行展示。如在編寫(xiě)代碼的過(guò)程中需要編寫(xiě)說(shuō)明文檔，可在同一個(gè)頁(yè)面中使用Markdown格式進(jìn)行編寫(xiě)，而且可以直接看到渲染后的效果。2．下載與安裝Anaconda對(duì)于個(gè)人用戶來(lái)說(shuō)，可以從Anaconda的官方網(wǎng)站下載它的“個(gè)人版（IndividualEdition）”安裝程序，安裝完成后，計(jì)算機(jī)上不僅擁有了Python環(huán)境和Spyder（類似于PyCharm的集成開(kāi)發(fā)工具），還擁有了與數(shù)據(jù)科學(xué)工作相關(guān)的近200個(gè)工具包，包括我們Python數(shù)據(jù)分析的三大神器（NumPy、Pandas、Matplotlib）。除此之外，Anaconda還提供了一個(gè)名為conda的包管理工具，通過(guò)這個(gè)工具不僅可以管理Python的工具包，還可以用于創(chuàng)建運(yùn)行Python程序的虛擬環(huán)境。3．安裝數(shù)據(jù)分析的相關(guān)依賴項(xiàng)在啟動(dòng)JupyterNotebook之前，建議先安裝好數(shù)據(jù)分析相關(guān)依賴項(xiàng)，包括之前提到的三大神器以及相關(guān)依賴項(xiàng)，包括：NumPy、Pandas、Matplotlib、openpyxl、xlrd、xlwt等。如果使用Anaconda，則無(wú)需單獨(dú)安裝。如果已經(jīng)啟動(dòng)了JupyterNotebook但尚未安裝相關(guān)依賴庫(kù)，例如NumPy，可以在Jupyter的單元格中輸入命令：!pipinstallnumpy，并運(yùn)行該單元格來(lái)安裝NumPy，其他庫(kù)的安裝方法類似。安裝成功后選擇【Kernel】（服務(wù)）菜單的【Restart】（重啟）命令選項(xiàng)來(lái)重啟Notebook內(nèi)核來(lái)使新安裝的庫(kù)生效。4．安裝和運(yùn)行JupyterNotebook（1）使用Anaconda安裝JupyterNotebook對(duì)于Python初學(xué)者，建議使用Anaconda發(fā)行版安裝Python和Jupyter，其中包括Python、JupyterNotebook和其他常用的科學(xué)計(jì)算和數(shù)據(jù)科學(xué)軟件包。首先，下載Anaconda，建議下載Anaconda的最新Python3版本。其次，請(qǐng)按照前述安裝過(guò)程安裝Anaconda。（2）使用pip命令安裝JupyterNotebook對(duì)于安裝了Python環(huán)境但是沒(méi)有安裝Anaconda的用戶，可以使用Python的包管理工具pip來(lái)安裝JupyterNotebook。在Windows10系統(tǒng)中打開(kāi)命令行窗口，在該窗口通過(guò)命令pipinstalljupyter安裝JupyterNotebook即可。5．配置JupyterNotebook的默認(rèn)路徑JupyterNotebook安裝完成后，先不要急于啟動(dòng)JupyterNotebook，先應(yīng)配置默認(rèn)路徑，否則打開(kāi)和保存JupyterNotebook文件默認(rèn)在C盤(pán)。這里創(chuàng)建專門(mén)用來(lái)存放JupyterNotebook項(xiàng)目的文件夾“AnacondaProjects”，這對(duì)于不同的Python版本以及一些Python項(xiàng)目是非常必要的。打開(kāi)Windows的命令行窗口，在該窗口命令提示符后面輸入以下命令：jupyternotebook--generate-config生成默認(rèn)的配置文件jupyter_notebook_config.py其存儲(chǔ)位置為：C:\Users\Administrator\.jupyter\jupyter_notebook_config.py打開(kāi)jupyter_notebook_config.py配置文件，在該配置文件中查找#c.NotebookApp.notebook_dir，先把#號(hào)去掉，將值修改你要存放JupyterNotebook文件的文件夾路徑，作者計(jì)算機(jī)中為“D:\AnacondaProjects”。完整的配置語(yǔ)句為：c.NotebookApp.notebook_dir='D:\AnacondaProjects'以后Jupyternotebook創(chuàng)建的文件都會(huì)默認(rèn)保存到這個(gè)文件夾路徑中。6．啟動(dòng)JupyterNotebook（1）使用桌面快捷方式【JupyterNotebook(anaconda3)】啟動(dòng)JupyterNotebook右鍵單擊桌面JupyterNotebook的快捷方式，在彈出的快捷菜單中選擇【屬性】命令，打開(kāi)【JupyterNotebook(anaconda3)屬性】對(duì)話框，自動(dòng)切換到【快捷方式】選項(xiàng)卡。在該對(duì)話框的【快捷方式】選項(xiàng)卡中，將“目標(biāo)”文本框中的內(nèi)容"%USERPROFILE%/"修改為"D:\AnacondaProjects"，然后單擊【確定】按鈕關(guān)閉【JupyterNotebook(anaconda3)屬性】對(duì)話框。雙擊桌面的快捷方式【JupyterNotebook(anaconda3)】，再次打開(kāi)JupyterNotebook，可以發(fā)現(xiàn)工作文件夾已經(jīng)修改為剛才所設(shè)置的文件夾“D:\AnacondaProjects”了。（2）使用jupyternotebook命令方式啟動(dòng)JupyterNotebook成功安裝JupyterNotebook后，啟動(dòng)JupyterNotebook很簡(jiǎn)單，只需要在Terminal（Mac/Linux）或CommandPrompt（Windows）中運(yùn)行以下命令，就會(huì)在當(dāng)前操作的文件夾下啟動(dòng)JupyterNotebook。jupyternotebook（3）Windows用戶使用【開(kāi)始】菜單【JupyterNotebook】選項(xiàng)啟動(dòng)JupyterNotebook7．認(rèn)知JupyterNotebook【Home】頁(yè)面（1）JupyterNotebook界面的左邊選項(xiàng)JupyterNotebook界面的左邊選項(xiàng)有以下3項(xiàng)：①Files選項(xiàng)卡對(duì)應(yīng)文件列表。②Running選項(xiàng)卡是一個(gè)可以看到命令行窗口和notebooks文件運(yùn)行的管理窗口，好像計(jì)算機(jī)的任務(wù)管理器，如圖1-9所示。圖1-9JupyterNotebook界面的Running選項(xiàng)卡③Clusters選項(xiàng)卡為跳轉(zhuǎn)頁(yè)面，可以看到有關(guān)安裝詳細(xì)信息：“ClusterstabisnowprovidedbyIPythonparallel.See'IPythonparallel'forinstallationdetails.”。（2）Jupyternotebook界面的右邊選項(xiàng)Jupyternotebook界面的右側(cè)上方的【Quit】和【Logout】分別為【退出】和【注銷】按鈕。右側(cè)中部的【Upload】按鈕用于上傳文件，【New】按鈕用于新建文件。（3）JupyterNotebook界面下邊的文件列表Jupyternotebook界面的下邊顯示文件夾和文件列表。8．JupyterNotebook【Home】頁(yè)面操作文件與文件夾在JupyterNotebook界面左下方單擊【選擇】按鈕（小三角按鈕），彈出用于分類選擇文件夾或者文件的命令選項(xiàng)列表，如圖1-12所示。圖1-12用于分類選擇文件夾或者文件的命令選項(xiàng)用于分類選擇文件夾或者文件的命令選項(xiàng)的作用如下：?Folders：選擇所有文件夾。?AllNotebooks：選擇所有Notebooks文件（.ipynb）。?Running：選擇所有在運(yùn)行的文件?Files：選擇所有文件在【選擇】按鈕的下拉菜單中選擇【Files】命令，就會(huì)出現(xiàn)一排的命令選項(xiàng)，如圖1-13所示。圖1-13用于文件操作的命令選項(xiàng)文件操作的命令選項(xiàng)的功能說(shuō)明如下：?Duplicate：復(fù)制。?Rename：重命名。?Move：移動(dòng)（剪切）。?Download：下載。?View：視圖。?Edit：修改。?垃圾桶標(biāo)志的按鈕用于刪除列表中的選擇項(xiàng)。如果在【選擇】按鈕的下拉菜單中選擇【AllNotebooks】或選擇【Running】，還會(huì)出現(xiàn)如下所示的命令選項(xiàng)：?Shutdown：關(guān)閉對(duì)于文件夾，則只有重命名