Python中进行特征重要性分析的9个常用方法
如果有一个包含数十个甚至数百个特征的数据集，每个特征都可能对你的机器学习模型的性能有所贡献。但是并不是所有的特征都是一样的。有些可能是冗余的或不相关的，这会增加建模的复杂性并可能导致过拟合。特征重要性分析可以识别并关注最具信息量的特征，从而带来以下几个优势:
改进的模型性能减少过度拟合更快的训练和推理增强的可解释性下面我们深入了解在python中的一些特性重要性分析的方法。
特征重要性分析方法1、排列重要性 permutationimportance该方法会随机排列每个特征的值，然后监控模型性能下降的程度。如果获得了更大的下降意味着特征更重要。
from sklearn.datasets import load_breast_cancerfrom sklearn.ensemble import randomforestclassifierfrom sklearn.inspection import permutation_importancefrom sklearn.model_selection import train_test_splitimport matplotlib.pyplot as plt cancer = load_breast_cancer() x_train, x_test, y_train, y_test = train_test_split(cancer.data, cancer.target, random_state=1) rf = randomforestclassifier(n_estimators=100, random_state=1)rf.fit(x_train, y_train) baseline = rf.score(x_test, y_test)result = permutation_importance(rf, x_test, y_test, n_repeats=10, random_state=1, scoring='accuracy') importances = result.importances_mean # visualize permutation importancesplt.bar(range(len(importances)), importances)plt.xlabel('feature index')plt.ylabel('permutation importance')plt.show()
2、内置特征重要性(coef_或feature_importances_)一些模型，如线性回归和随机森林，可以直接输出特征重要性分数。这些显示了每个特征对最终预测的贡献。
from sklearn.datasets import load_breast_cancerfrom sklearn.ensemble import randomforestclassifier x, y = load_breast_cancer(return_x_y=true) rf = randomforestclassifier(n_estimators=100, random_state=1)rf.fit(x, y) importances = rf.feature_importances_ # plot importancesplt.bar(range(x.shape[1]), importances)plt.xlabel('feature index')plt.ylabel('feature importance')plt.show()3、leave-one-out迭代地每次删除一个特征并评估准确性。
from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.ensemble import randomforestclassifier from sklearn.metrics import accuracy_score import matplotlib.pyplot as plt import numpy as np # load sample data x, y = load_breast_cancer(return_x_y=true) # split data into train and test sets x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=1) # train a random forest model rf = randomforestclassifier(n_estimators=100, random_state=1) rf.fit(x_train, y_train) # get baseline accuracy on test data base_acc = accuracy_score(y_test, rf.predict(x_test)) # initialize empty list to store importances importances = [] # iterate over all columns and remove one at a time for i in range(x_train.shape[1]): x_temp = np.delete(x_train, i, axis=1) rf.fit(x_temp, y_train) acc = accuracy_score(y_test, rf.predict(np.delete(x_test, i, axis=1))) importances.append(base_acc - acc) # plot importance scores plt.bar(range(len(importances)), importances) plt.show()
4、相关性分析计算各特征与目标变量之间的相关性。相关性越高的特征越重要。
import pandas as pdfrom sklearn.datasets import load_breast_cancer x, y = load_breast_cancer(return_x_y=true)df = pd.dataframe(x, columns=range(30))df['y'] = y correlations = df.corrwith(df.y).abs()correlations.sort_values(ascending=false, inplace=true) correlations.plot.bar()
5、递归特征消除 recursive feature elimination递归地删除特征并查看它如何影响模型性能。删除时会导致更大下降的特征更重要。
from sklearn.ensemble import randomforestclassifier from sklearn.feature_selection import rfe import pandas as pd from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt x, y = load_breast_cancer(return_x_y=true) df = pd.dataframe(x, columns=range(30)) df['y'] = y rf = randomforestclassifier() rfe = rfe(rf, n_features_to_select=10) rfe.fit(x, y) print(rfe.ranking_)输出为[6 4 11 12 7 11 18 21 8 16 10 3 15 14 19 17 20 13 11 11 12 9 11 5 11]6、xgboost特性重要性计算一个特性用于跨所有树拆分数据的次数。更多的分裂意味着更重要。
import xgboost as xgb import pandas as pd from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt x, y = load_breast_cancer(return_x_y=true) df = pd.dataframe(x, columns=range(30)) df['y'] = y model = xgb.xgbclassifier() model.fit(x, y) importances = model.feature_importances_ importances = pd.series(importances, index=range(x.shape[1])) importances.plot.bar()
7、主成分分析 pca对特征进行主成分分析，并查看每个主成分的解释方差比。在前几个组件上具有较高负载的特性更为重要。
from sklearn.decomposition import pca import pandas as pd from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt x, y = load_breast_cancer(return_x_y=true) df = pd.dataframe(x, columns=range(30)) df['y'] = y pca = pca() pca.fit(x) plt.bar(range(pca.n_components_), pca.explained_variance_ratio_) plt.xlabel('pca components') plt.ylabel('explained variance')
8、方差分析 anova使用f_classif()获得每个特征的方差分析f值。f值越高，表明特征与目标的相关性越强。
from sklearn.feature_selection import f_classif import pandas as pd from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt x, y = load_breast_cancer(return_x_y=true) df = pd.dataframe(x, columns=range(30)) df['y'] = y fval = f_classif(x, y) fval = pd.series(fval[0], index=range(x.shape[1])) fval.plot.bar()9、卡方检验使用chi2()获得每个特征的卡方统计信息。得分越高的特征越有可能独立于目标。
from sklearn.feature_selection import chi2 import pandas as pd from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt x, y = load_breast_cancer(return_x_y=true) df = pd.dataframe(x, columns=range(30)) df['y'] = y chi_scores = chi2(x, y) chi_scores = pd.series(chi_scores[0], index=range(x.shape[1])) chi_scores.plot.bar()
为什么不同的方法会检测到不同的特征?不同的特征重要性方法有时可以识别出不同的特征是最重要的，这是因为：
1、他们用不同的方式衡量重要性:
有的使用不同特特征进行预测，监控精度下降
像xgboost或者回国模型使用内置重要性来进行特征的重要性排列
而pca着眼于方差解释
2、不同模型有不同模型的方法：
线性模型倾向于线性关系、树模型倾向于接近根的特征
3、交互作用:
有的方法可以获取特征之间的相互左右，而有一些则不行，这就会导致结果的差异
4、不稳定:
使用不同的数据子集，重要性值可能在同一方法的不同运行中有所不同，这是因为数据差异决定的
5、hyperparameters:
通过调整超参数，如pca组件或树深度，也会影响结果
所以不同的假设、偏差、数据处理和方法的可变性意味着它们并不总是在最重要的特征上保持一致。
轻量应用服务器怎么样？云耀云服务器 L 实例值得入手吗？
风压传感器如何使用
短距离无线通讯经物联网推动 前途无量
夏天除了空调当然首选戴森风扇
TinySwitch?II系列第二代微型单片开关电源的原理
Python中进行特征重要性分析的9个常用方法
鲁大师4月流畅度排行榜公布 华为P30Pro位列第一
拆了一辆Model 3 获“3个观点”和“6个发现”
荣耀猎人路由器将于明天开售，采用了八棱切割式外观设计
长电+星科金朋+中芯国际共同打造的一体化封装航母正式起航
特斯拉完全自动驾驶软件推出新功能，价格将在下月上调一千美元
GN1650共阴数码管显示驱动芯片替换TM1650/AIP1650
华为自研的新系统不叫“鸿蒙”有可能叫做“方舟 ”
区块链可以解决企业中的哪些问题
GS校准片-SLOT使用教程
今日新闻：索尼A7S III将于明年发布 华为2018年手机出货量达2亿台
美国金融稳定委员会表示脸书的加密货币Libra需要一个新的监管框架
“炽爱”和“锦鲤”背后的直线电机模组喷涂工艺
嵌入式系统的主要特点是什么_嵌入式操作系统有什么优势
亚马逊刚刚推出了带有可充电电池的便携式Echo
改进的模型性能减少过度拟合更快的训练和推理增强的可解释性下面我们深入了解在python中的一些特性重要性分析的方法。
特征重要性分析方法1、排列重要性 permutationimportance该方法会随机排列每个特征的值，然后监控模型性能下降的程度。如果获得了更大的下降意味着特征更重要。
from sklearn.datasets import load_breast_cancerfrom sklearn.ensemble import randomforestclassifierfrom sklearn.inspection import permutation_importancefrom sklearn.model_selection import train_test_splitimport matplotlib.pyplot as plt cancer = load_breast_cancer() x_train, x_test, y_train, y_test = train_test_split(cancer.data, cancer.target, random_state=1) rf = randomforestclassifier(n_estimators=100, random_state=1)rf.fit(x_train, y_train) baseline = rf.score(x_test, y_test)result = permutation_importance(rf, x_test, y_test, n_repeats=10, random_state=1, scoring='accuracy') importances = result.importances_mean # visualize permutation importancesplt.bar(range(len(importances)), importances)plt.xlabel('feature index')plt.ylabel('permutation importance')plt.show()
2、内置特征重要性(coef_或feature_importances_)一些模型，如线性回归和随机森林，可以直接输出特征重要性分数。这些显示了每个特征对最终预测的贡献。
from sklearn.datasets import load_breast_cancerfrom sklearn.ensemble import randomforestclassifier x, y = load_breast_cancer(return_x_y=true) rf = randomforestclassifier(n_estimators=100, random_state=1)rf.fit(x, y) importances = rf.feature_importances_ # plot importancesplt.bar(range(x.shape[1]), importances)plt.xlabel('feature index')plt.ylabel('feature importance')plt.show()3、leave-one-out迭代地每次删除一个特征并评估准确性。
from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.ensemble import randomforestclassifier from sklearn.metrics import accuracy_score import matplotlib.pyplot as plt import numpy as np # load sample data x, y = load_breast_cancer(return_x_y=true) # split data into train and test sets x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=1) # train a random forest model rf = randomforestclassifier(n_estimators=100, random_state=1) rf.fit(x_train, y_train) # get baseline accuracy on test data base_acc = accuracy_score(y_test, rf.predict(x_test)) # initialize empty list to store importances importances = [] # iterate over all columns and remove one at a time for i in range(x_train.shape[1]): x_temp = np.delete(x_train, i, axis=1) rf.fit(x_temp, y_train) acc = accuracy_score(y_test, rf.predict(np.delete(x_test, i, axis=1))) importances.append(base_acc - acc) # plot importance scores plt.bar(range(len(importances)), importances) plt.show()
4、相关性分析计算各特征与目标变量之间的相关性。相关性越高的特征越重要。
import pandas as pdfrom sklearn.datasets import load_breast_cancer x, y = load_breast_cancer(return_x_y=true)df = pd.dataframe(x, columns=range(30))df['y'] = y correlations = df.corrwith(df.y).abs()correlations.sort_values(ascending=false, inplace=true) correlations.plot.bar()
5、递归特征消除 recursive feature elimination递归地删除特征并查看它如何影响模型性能。删除时会导致更大下降的特征更重要。
from sklearn.ensemble import randomforestclassifier from sklearn.feature_selection import rfe import pandas as pd from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt x, y = load_breast_cancer(return_x_y=true) df = pd.dataframe(x, columns=range(30)) df['y'] = y rf = randomforestclassifier() rfe = rfe(rf, n_features_to_select=10) rfe.fit(x, y) print(rfe.ranking_)输出为[6 4 11 12 7 11 18 21 8 16 10 3 15 14 19 17 20 13 11 11 12 9 11 5 11]6、xgboost特性重要性计算一个特性用于跨所有树拆分数据的次数。更多的分裂意味着更重要。
import xgboost as xgb import pandas as pd from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt x, y = load_breast_cancer(return_x_y=true) df = pd.dataframe(x, columns=range(30)) df['y'] = y model = xgb.xgbclassifier() model.fit(x, y) importances = model.feature_importances_ importances = pd.series(importances, index=range(x.shape[1])) importances.plot.bar()
7、主成分分析 pca对特征进行主成分分析，并查看每个主成分的解释方差比。在前几个组件上具有较高负载的特性更为重要。
from sklearn.decomposition import pca import pandas as pd from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt x, y = load_breast_cancer(return_x_y=true) df = pd.dataframe(x, columns=range(30)) df['y'] = y pca = pca() pca.fit(x) plt.bar(range(pca.n_components_), pca.explained_variance_ratio_) plt.xlabel('pca components') plt.ylabel('explained variance')
8、方差分析 anova使用f_classif()获得每个特征的方差分析f值。f值越高，表明特征与目标的相关性越强。
from sklearn.feature_selection import f_classif import pandas as pd from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt x, y = load_breast_cancer(return_x_y=true) df = pd.dataframe(x, columns=range(30)) df['y'] = y fval = f_classif(x, y) fval = pd.series(fval[0], index=range(x.shape[1])) fval.plot.bar()9、卡方检验使用chi2()获得每个特征的卡方统计信息。得分越高的特征越有可能独立于目标。
from sklearn.feature_selection import chi2 import pandas as pd from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt x, y = load_breast_cancer(return_x_y=true) df = pd.dataframe(x, columns=range(30)) df['y'] = y chi_scores = chi2(x, y) chi_scores = pd.series(chi_scores[0], index=range(x.shape[1])) chi_scores.plot.bar()
为什么不同的方法会检测到不同的特征?不同的特征重要性方法有时可以识别出不同的特征是最重要的，这是因为：
1、他们用不同的方式衡量重要性:
有的使用不同特特征进行预测，监控精度下降
像xgboost或者回国模型使用内置重要性来进行特征的重要性排列
而pca着眼于方差解释
2、不同模型有不同模型的方法：
线性模型倾向于线性关系、树模型倾向于接近根的特征
3、交互作用:
有的方法可以获取特征之间的相互左右，而有一些则不行，这就会导致结果的差异
4、不稳定:
使用不同的数据子集，重要性值可能在同一方法的不同运行中有所不同，这是因为数据差异决定的
5、hyperparameters:
通过调整超参数，如pca组件或树深度，也会影响结果
所以不同的假设、偏差、数据处理和方法的可变性意味着它们并不总是在最重要的特征上保持一致。
轻量应用服务器怎么样？云耀云服务器 L 实例值得入手吗？
风压传感器如何使用
短距离无线通讯经物联网推动 前途无量
夏天除了空调当然首选戴森风扇
TinySwitch?II系列第二代微型单片开关电源的原理
Python中进行特征重要性分析的9个常用方法
鲁大师4月流畅度排行榜公布 华为P30Pro位列第一
拆了一辆Model 3 获“3个观点”和“6个发现”
荣耀猎人路由器将于明天开售，采用了八棱切割式外观设计
长电+星科金朋+中芯国际共同打造的一体化封装航母正式起航
特斯拉完全自动驾驶软件推出新功能，价格将在下月上调一千美元
GN1650共阴数码管显示驱动芯片替换TM1650/AIP1650
华为自研的新系统不叫“鸿蒙”有可能叫做“方舟 ”
区块链可以解决企业中的哪些问题
GS校准片-SLOT使用教程
今日新闻：索尼A7S III将于明年发布 华为2018年手机出货量达2亿台
美国金融稳定委员会表示脸书的加密货币Libra需要一个新的监管框架
“炽爱”和“锦鲤”背后的直线电机模组喷涂工艺
嵌入式系统的主要特点是什么_嵌入式操作系统有什么优势
亚马逊刚刚推出了带有可充电电池的便携式Echo