第5章

數(shù)據(jù)預(yù)處理與特征工程方差閾值選擇法、Pearson相關(guān)系數(shù)法曼惠特尼U檢驗(yàn)法卡方檢驗(yàn)法、特征重要度法和遞歸特征消除法方差閾值選擇法第5章

特征選擇是從原來(lái)的特征變量中篩選部分影響顯著的特征變量，其結(jié)果是原來(lái)特征變量的子集。方差閾值選擇法，考察特征變量的信息（方差），通過(guò)給定閾值，刪除方差小于閾值的特征變量，可以通過(guò)機(jī)器學(xué)習(xí)包中的特征選擇模塊VarianceThreshold來(lái)實(shí)現(xiàn)。fromsklearn.feature_selectionimportVarianceThresholdimportpandasaspdimportnumpyasnp#加載波士頓房?jī)r(jià)數(shù)據(jù)集X=np.load('boston_data.npy')X_var=pd.DataFrame(X).var()#計(jì)算各自變量方差

#構(gòu)建特征選擇對(duì)象，方差閾值設(shè)置為3select1=VarianceThreshold(threshold=3)X_select1=select1.fit_transform(X)#對(duì)于X訓(xùn)練并轉(zhuǎn)換X_shape=X.shape#原始數(shù)據(jù)集規(guī)模尺寸#特征選擇后的數(shù)據(jù)集規(guī)模尺寸X_select1_shape=X_select1.shape

Pearson相關(guān)系數(shù)法第5章

Pearson相關(guān)系數(shù)法，考察特征變量與目標(biāo)變量之間的線性相關(guān)性是否顯著，通過(guò)相關(guān)系數(shù)和p值來(lái)選擇顯著特征變量，可以通過(guò)scipy包中的stats.pearsonr方法來(lái)實(shí)現(xiàn)。fromscipyimportstatsres2=[]#存放計(jì)算結(jié)果（相關(guān)系數(shù)，p值）y=np.load('boston_target.npy')#提取目標(biāo)變量foriinrange(X.shape[1]):

#Pearson相關(guān)系數(shù)方法X_pear=stats.pearsonr(X[:,i],y)

#p值保留4位小數(shù)

res2.append((X_pear[0],round(X_pear[1],4)))顯示了13個(gè)特征變量與目標(biāo)變量之間的相關(guān)系數(shù)與檢驗(yàn)p值，如果按p<0.05來(lái)選擇，則每個(gè)特征都應(yīng)該保留。曼惠特尼U檢驗(yàn)法第5章

對(duì)于數(shù)據(jù)不滿足正態(tài)分布或方差不齊等情況時(shí)，可以使用曼惠特尼U檢驗(yàn)法進(jìn)行特征選擇，通過(guò)scipy.stats包的mannwhitneyu方法可以實(shí)現(xiàn)，該方法返回值分別為統(tǒng)計(jì)量和對(duì)應(yīng)的p值.fromscipy.statsimportmannwhitneyures3=[]#存放計(jì)算結(jié)果（統(tǒng)計(jì)量，p值）foriinrange(X.shape[1]):stat,p=mannwhitneyu(X[:,i],y)res3.append((stat,round(p,4)))顯示了13個(gè)特征變量與目標(biāo)變量之間的曼惠特尼U檢驗(yàn)統(tǒng)計(jì)量與檢驗(yàn)p值，如果按p<0.05來(lái)選擇，則每個(gè)特征都應(yīng)該保留卡方檢驗(yàn)法第5章

fromsklearn.datasetsimportload_iris#加載鶯尾花數(shù)據(jù)集fromsklearn.feature_selectionimportchi2#卡方檢驗(yàn)importnumpyasnpdata2=load_iris()#鶯尾花數(shù)據(jù)集信息X=data2.data#鶯尾花數(shù)據(jù)集特征變量y=data2.target#鶯尾花數(shù)據(jù)集目標(biāo)分類變量chi2_value,p_value=chi2(X,y)#獲得統(tǒng)計(jì)量值和檢驗(yàn)p值p_value=np.round(p_value,4)如果按p<0.05進(jìn)行選擇，則第2個(gè)特征變量將被剔除.也可以根據(jù)統(tǒng)計(jì)量值（得分）排序來(lái)選擇特征，得分最高的是第3個(gè)特征變量，其次分別為第4、1、2個(gè).Pearson相關(guān)系數(shù)法和曼惠特尼U檢驗(yàn)法，主要是針對(duì)數(shù)值型目標(biāo)變量，卡方檢驗(yàn)法則是針對(duì)離散型（分類型）目標(biāo)變量?？梢酝ㄟ^(guò)sklearn.feature_selection中的chi2方法來(lái)實(shí)現(xiàn)，該方法返回值分別為統(tǒng)計(jì)量值和檢驗(yàn)p值.卡方檢驗(yàn)法第5章

可以結(jié)合特征選擇包sklearn.feature_selection中的SelectKBest模塊來(lái)訓(xùn)練及轉(zhuǎn)換獲得特征選擇后的數(shù)據(jù)集fromsklearn.feature_selectionimportSelectKBestx_select4=SelectKBest(chi2,k=3).fit_transform(X,y)#chi2為前面導(dǎo)入的卡方檢驗(yàn)SelectKBest模塊對(duì)象中，取k=3，就是選擇統(tǒng)計(jì)量值（得分）最高的3個(gè)特征，分別為第3、4、1個(gè)特征變量

特征重要度法第5章

特征變量選擇與模型訓(xùn)練同時(shí)進(jìn)行，可能會(huì)選擇到更加適合模型的特征變量。事實(shí)上，部分機(jī)器學(xué)習(xí)模型，自身帶有特征選擇機(jī)制，可以通過(guò)模型的變量系數(shù)或特征變量分裂的純度來(lái)選擇對(duì)模型影響顯著的特征變量，前者一般是線性模型，后者一般是樹(shù)決策類模型。fromsklearn.linear_modelimportLinearRegressionasLRfromsklearn.ensembleimportGradientBoostingRegressorasgbr#波士頓房?jī)r(jià)數(shù)據(jù)集X=np.load('boston_data.npy')y=np.load('boston_target.npy')model_1=LR()#線性回歸模型對(duì)象model_1.fit(X,y)r1=model_1.score(X,y) coef_x=model_1.coef_#線性回歸模型變量系數(shù)model_2=gbr()#梯度增強(qiáng)回歸模型對(duì)象model_2.fit(X,y)r2=model_2.score(X,y) importances_x=model_2.feature_importances_#特征重要度特征重要度法第5章

有些模型自身并沒(méi)有變量系數(shù)或特征重要度相關(guān)信息，比如支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、貝葉斯等。這里介紹一種應(yīng)用廣泛的排列重要性特征選擇方法。

排列重要性的關(guān)鍵是建立兩個(gè)模型：①原始數(shù)據(jù)集的預(yù)測(cè)模型，②隨機(jī)打亂某個(gè)特征變量的數(shù)據(jù)集的預(yù)測(cè)預(yù)測(cè)模型。特征變量的特征重要度就可以定義為兩模型下?lián)p失函數(shù)的變化程度。通過(guò)使用用sklearn.inspection包中的permutation_importance模型來(lái)實(shí)現(xiàn)。fromsklearn.inspectionimportpermutation_importanceresult_1=permutation_importance(model_1,X,y,n_repeats=10,random_state=0)result_2=permutation_importance(model_2,X,y,n_repeats=10,random_state=0)importances1_x=result_1.importances_meanimportances2_x=result_2.importances_mean顯示了之前兩個(gè)模型model_1（線性回歸）和model_2（梯度增強(qiáng)回歸）的排列重要性特征選擇方法結(jié)果遞歸特征消除法（RFE）第5章

fromsklearn.feature_selectionimportRFE#導(dǎo)入遞歸特征消除法模塊rfe=RFE(estimator=gbr(),n_features_to_select=6,step=1)#指定最優(yōu)特征個(gè)數(shù)K=6rfe.fit(X,y)x_select6=rfe.transform(X)x_support=rfe.support_遞歸特征消除法，通過(guò)遞歸減少考察的特征集規(guī)模來(lái)選擇最重要的特征，指定返回最優(yōu)的K個(gè)特征。需要注意的是，如果評(píng)估模型自身沒(méi)有特征變量系數(shù)或特征重要度信息，則不能使用遞歸特征消除法，比如支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等回歸或分類模型。因此使用遞歸特征消除法的評(píng)估模型，一般是線性模型或樹(shù)決策類模型。示例代碼如下：“True”為對(duì)應(yīng)的特征被選中遞歸特征消除法（RFE）第5章

fromsklearn.model_selectionimportcross_val_score#交叉檢驗(yàn)?zāi)Kimportmatplotlib.pyplotaspltre=[]foriinrange(1,14):rfe=RFE(estimator=gbr(),n_features_to_select=i,ste