注：本文只是基础理解和应用，没有详细的公式，如有需求加强理解可以自行搜索
过滤式选择：先对数据集进行特征选择，再训练学习器，特征选择与后续学习器无关
基础知识
基于相关系数的特征过滤：Pearson相关系数、Speaman相关系数、Kendall相关系数
Pearson相关系数
用于分析定量数据，当数据满足正态性时可用Pearson相关系数
Speaman相关系数
定量数据，不服从正态性，使用Spearman相关系数
Kendall相关系数
类别数据，常用于评分，排名一致性评估
代码
基于DataFrame.corr()进行Python代码实现上述三种方法
DataFrame.corr(method='pearson', min_periods=1)
参数说明：
method：可选值为{‘pearson’, ‘kendall’, ‘spearman’}
pearson：Pearson相关系数来衡量两个数据集合是否在一条线上面，即针对线性数据的相关系数计算，针对非线性数据便会有误差。
kendall：用于反映分类变量相关性的指标，即针对无序序列的相关系数，非正太分布的数据
spearman：非线性的，非正太分布的数据的相关系数
min_periods：样本最少的数据量
返回值：各类型之间的相关系数DataFrame表格
#特征与目标值的相关系数
df.corr().loc['traget']
#特征与目标值的相关系数分布图
df.corr().loc['target'] .plot(kind='barh', figsize=(10,8))
根据相关系数结果分析，将较低的特征进行删除，可以手动选择或者编写条件删除(这里阈值写0.02)：
df_corr = abs(df.corr().loc['target'])
data = df_corr[df_corr<0.02]
cols_to_drop = data.index.to_list()
df = df.drop(cols_to_drop, axis=1)
结果：筛选出相关系数相对较强的特征
附加：判断正态分布
若随机变量x服从有个数学期望为μ,方差为σ2 的正态分布，记为N(μ,σ)
其中期望值决定密度函数的位置，标准差决定分布的幅度，当υ=0，σ=0 时的正态分布是标准正态分布
判断方法有画图/k-s检验
画图
#导入模块
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
#构造一组随机数据
s = pd.DataFrame(np.random.randn(1000)+10,columns = ['value'])
#画散点图和直方图
fig = plt.figure(figsize = (10,6))
ax1 = fig.add_subplot(2,1,1) # 创建子图1
ax1.scatter(s.index, s.values)
plt.grid()
ax2 = fig.add_subplot(2,1,2) # 创建子图2
s.hist(bins=30,alpha = 0.5,ax = ax2)
#在统计学中，kernel density estimation(KDE) 是一种估计随机变量概率密度函数 (PDF) 的非参数方法。此函数使用高斯核并包括自动带宽确定
s.plot(kind = 'kde', secondary_y=True,ax = ax2)
plt.grid()
KS检验
kstest方法：KS检验，参数分别是：待检验的数据，检验方法（这里设置成norm正态分布），均值与标准差
结果返回两个值：statistic → D值，pvalue → P值
p值大于0.05，为正态分布
H0:样本符合
H1:样本不符合
如果p>0.05接受H0 ,反之 >
#导入scipy模块
from scipy import stats
s = pd.DataFrame(np.random.randn(1000)+10,columns = ['value'])
u = s['value'].mean() # 计算均值
std = s['value'].std() # 计算标准差
stats.kstest(s['value'], 'norm', (u, std))
结果：KstestResult(statistic=0.022172177736765164, pvalue=0.7093268705807698)
p值大于0.05为正太分布
