第11章監(jiān)督學(xué)習(xí)的小結(jié)學(xué)習(xí)目標(biāo)本章的學(xué)習(xí)目標(biāo)如下：熟悉不同模型的優(yōu)缺點(diǎn)比較了解如何使用特征重要性了解如何使用SHAP值增加模型可解釋性熟悉使用程序?qū)崿F(xiàn)模型的可解釋性方法簡(jiǎn)介首先，我們先回顧一下監(jiān)督學(xué)習(xí)的應(yīng)用場(chǎng)景。然后，我們將對(duì)介紹過的主要模型進(jìn)行一些簡(jiǎn)單的比較。然后，我們介紹如何為復(fù)雜模型增加可解釋性。監(jiān)督學(xué)習(xí)方法的總結(jié)監(jiān)督學(xué)習(xí)在金融中的應(yīng)用監(jiān)督學(xué)習(xí)這一類方法在金融業(yè)中有著廣泛的應(yīng)用場(chǎng)景。監(jiān)督學(xué)習(xí)既可以用于對(duì)回歸問題（即對(duì)連續(xù)變量的預(yù)測(cè)）也可以對(duì)分類問題進(jìn)行預(yù)測(cè)。監(jiān)督學(xué)習(xí)的特點(diǎn)是我們需要給一些例子用來訓(xùn)練模型中的參數(shù)。而作為例子的訓(xùn)練數(shù)據(jù)中必須有特征變量（即??變量）以及目標(biāo)變量（即??變量）的數(shù)值。一旦模型訓(xùn)練完成，我們就可以用來預(yù)測(cè)新的數(shù)據(jù)。監(jiān)督學(xué)習(xí)在金融中的應(yīng)用我們已經(jīng)討論過幾種應(yīng)用，包括預(yù)測(cè)貸款違約及對(duì)公司基本面的預(yù)測(cè)。除了這些應(yīng)用之外，我們還可以將其用于其他預(yù)測(cè)問題。例如，我們可以預(yù)測(cè)公司股價(jià)變化，房?jī)r(jià)的漲跌幅度，以及經(jīng)濟(jì)指數(shù)的變化。根據(jù)具體的問題以及數(shù)據(jù)量，我們可以選擇適合的監(jiān)督學(xué)習(xí)的方法。監(jiān)督學(xué)習(xí)模型比較監(jiān)督學(xué)習(xí)模型比較該圖可見，簡(jiǎn)單的模型的優(yōu)勢(shì)是有著很好的可解釋性，也有著較低的計(jì)算成本。復(fù)雜的模型則往往會(huì)犧牲可解釋性以及較少的計(jì)算量。但是復(fù)雜的模型可以更好的對(duì)數(shù)據(jù)進(jìn)行擬合。在減少過擬合問題的同時(shí)，復(fù)雜模型也有更高的過擬合的風(fēng)險(xiǎn)。為了減少過擬合的風(fēng)險(xiǎn)，我們需要對(duì)模型進(jìn)行驗(yàn)證。我們也可以通過正則化方法來減少模型的方差，減少過擬合問題。復(fù)雜模型的可解釋性如前一部分討論的那樣，隨著模型復(fù)雜性的增加，我們模型的可解釋性往往會(huì)極大下降。本章中，我們將簡(jiǎn)單介紹兩種方法來給復(fù)雜的模型增加一定的可解釋性。特征重要性分析

特征重要性分析

特征重要性SHAP值

SHAP值SHAP值SHAP值

程序?qū)霂焓褂胮andas存儲(chǔ)數(shù)據(jù)導(dǎo)入sklearn庫model_selection模塊的train_test_split函數(shù)，用于劃分訓(xùn)練集和測(cè)試集導(dǎo)入sklearn庫ensemble模塊的RandomForestRegressor類，用于創(chuàng)建隨機(jī)森林回歸模型導(dǎo)入shap庫，用于解釋機(jī)器學(xué)習(xí)模型的預(yù)測(cè)結(jié)果導(dǎo)入庫數(shù)據(jù)讀取及處理

使用隨機(jī)森林模型創(chuàng)建一個(gè)隨機(jī)森林回歸模型對(duì)象rf_model，設(shè)置隨機(jī)種子為42，樹的數(shù)量設(shè)置為100，最小樣本分裂為10使用fit方法對(duì)X_train和y_train進(jìn)行隨機(jī)森林回歸分析特征重要性獲取隨機(jī)森林回歸模型的特征重要性，并將其保存在變量feature_importances中打印特征重要性根據(jù)特征重要性對(duì)特征進(jìn)行排序，indices為排序后的索引將特征名稱根據(jù)排序后的索引重新排列，names中存儲(chǔ)的即為排序后的特征名稱列表特征重要性繪制一個(gè)條形圖，x軸為特征的索引，y軸為特征的重要性，特征的重要性由feature_importances提供，特征的索引由indices提供特征重要性使用Shap增加模型可解釋性創(chuàng)建一個(gè)shap解釋器對(duì)象explainer，explainer可以用來解釋rf_model對(duì)任意輸入數(shù)據(jù)的預(yù)測(cè)結(jié)果使用Explainer對(duì)象對(duì)測(cè)試集數(shù)據(jù)進(jìn)行解釋，得到每個(gè)特征對(duì)預(yù)測(cè)結(jié)果的影響值，存儲(chǔ)在shap_values變量中使用shap庫的plots.waterfall函數(shù)繪制一個(gè)瀑布圖，來可視化shap_values中第一個(gè)元素的影響使用Shap增加模型可解釋性習(xí)題知識(shí)理解

程序操作請(qǐng)使用隨機(jī)森林來擬合貸款違約數(shù)據(jù)。請(qǐng)使用特征重要性來闡述哪些變量對(duì)模型的結(jié)果有著較大的影響。請(qǐng)使用