1. 基于tree base的特征选择
以决策树为基础的模型有很多，包括最常用的randomforest，deep-forest和GBDT之类，这些集成模型相较于基础模型，拥有较好的分类效果。同样由于在模型中有feature importance的特征系数，通常也可以用于进行特征筛选。基于tree base的特征筛选算法-Boruta，python中包的名字叫做BorutaPy，安装方法如下：
##pip 安装
pip install Boruta
## conda 安装
conda install -c conda-forge boruta_py ##建议使用conda，可以解决依赖库版本的问题
boruta原理在CSDN等技术博客已有较为详细的介绍，此处不在赘述，具体用法如下：
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from boruta import BorutaPy
## load matrix ....
#borutapy参数只能接受numpy array格式，pd.DataFrame会报错，
#而sklearn的各种分类算法可以接受dataframe，所以需要在输入的数据取values确保为numpy数组。
X = matrix.iloc[:,:-4].values #前面为待筛选的特征
y = matrix.iloc[:,-1].values #最后一列为样本的标签
rf = RandomForestClassifier(n_jobs=-1, class_weight='balanced', max_depth=5)
selector = BorutaPy(rf, n_estimators='auto', verbose=2, random_state=1)
selector.fit(X, y)
X_filtered = selector.transform(X)
X_filtered_dataframe = pd.DataFrame(X_filtered,columns=
matrix.iloc[:,:-4].columns[selector.support_].tolist(),
index=matrix.index)
经过多次测试，boruta算法，在不改变特征筛选方法参数的情况下，每次运行结果特征筛选结果可以保证相同（与大部分随机性算法不同)。
2. 模型选择
模型筛选使用的为sklearn中的cross_val_score函数，cross_val_score可以对模型算法进行交叉验证，对训练集中进行模型训练，并且可以定制判定标准，常用的为roc auc，mse等等，可以使用多次重复抽样进行多轮验证筛查，验证模型的结果。
从上图可见随机森林结果要好于其他模型。（此处存在疑问，因为boruta使用的元estimator为随机森林，因此理论上所有的特征都比较适合RF算法去建立分类模型），而后续测试其他feature selection算法时，RF算法结果与其他算法筛选结果有较大的差异。
3. 模型可解释性
经过算法筛选后的特征对于模型的重要程度如何，可以通过model.feature_importance去确定，不过该结果随机性较强，饱受诟病，因此有学者结合博弈论的方法计算feature对于模型的shapley值，计算特征的重要性程度。
Shapley值（Shapley Value）是合作博弈论中的一个概念，用于衡量合作博弈中各个参与者对合作所创造的价值的贡献程度。它由经济学家劳埃德·S·沙普利（Lloyd S. Shapley）于1953年提出。
Shapley值的核心思想是，一个参与者的贡献应该由他在所有可能的联盟中的边际贡献来衡量。边际贡献是指当一个参与者加入或离开一个联盟时，对整个联盟的价值变化。Shapley值考虑了每个参与者与其他参与者的协作情况，并计算出他们对合作所创造的价值的边际贡献。
有关对shap值的理解，可以参考以下文章shap值介绍。
