数据挖掘实战
特征工程
数据处理
Data vs Feature
- 列：特征
从原始数据中提取特征供算法和模型使用
- 特征越好，灵活性越强
- 特征越好，模型越简单
- 特征越好，性能越出色
特征工程：
- 数据处理
- 统一量纲:标准化，归一化
- 虚拟变量
- 缺失值填充
- 特征选择
- 维度压缩
0-1标准化
线性变化，$\frac{x-min}{max-min}$
Z标准化
均值和标准差进行数据的标准化，$\frac{x-\overline{x}}{\Sigma_i(x_i-\overline{x})^2}$
Normalizer归一化
单位范数，$\frac{x}{\Sigma_i(x_i)^2}$
虚拟变量
哑变量转换，get_dummies
缺失值
原因
- 无法获取
- 遗漏
- 处理错误
解决办法
- 数据补齐
- 删除缺失行
- 不处理
特征选择
- 是否发散
即看变量是否有区分度，通过方差选择。[选择方差大于阈值]
- 是否相关
考察特征值与目标值的相关系数
- 递归特征消除法
进行多轮训练，保留指定的特征数
- 模型选择法 (有待深入了解原理)
建好的模型对象传入选择器，根据建好的模型，自动选择最好的特征值
维度压缩
- 主成分分析 Principal Components Analysis
PCA API
from sklearn.decomposition import PCA
聚类
- 聚类分析：无监督学习，无分类目标变量
按照个体特征进行分类，同一类别的个体之间具有较高的相似度
指标
- Q型聚类，样本、聚类
距离：欧氏距离，欧式平方距离，马氏距离etc
- R型聚类，指标、变量
相似系数：皮尔逊相关系数、夹角余弦、指数相似系数etc
常用方法
- K-Means
- DBSCAN密度
- 层次聚类
K-Means
利用均值把数据分成K类
- K类
- Means均值
目标：把N个样本点划分到K类中，是的每个点都属于它最近的质心对应的类
sklearn.cluster.Kmeans(n_clusters=8)
fit(data)
preict(data)#课程中未介绍，后续加深了解
DBSCAN密度
Density-Based Spatial Clustering of Application with Noise
- 密度
- 领域（指相邻的点？）
- 核心点
- 边界点
- 噪声点
model=sklearn.cluster.DBSCAN(eps, min_samples)
model.fit_predict(data)
层次聚类
Hierarchical Clustering
树聚类，层次架构反复聚合
linkage = scipy.cluster.hierarchy.linkage(data,method='single')
# single/complete/centroid
scipy.cluster.hierarchy.dendrogram(linkage)
scipy.cluster.hierarchy.fcluster(linkage,n,criterion='maxclust')
