如今火热的机器学习大致分为两类：监督学习和非监督学习。监督学习主要是分类,通过训练已知样本数据得出最优模型，然后据此对待测试数据进行预测或分类，典型算法有KNN、SVM。而非监督学习没有原始数据，把相似的聚集起来，不关心这一类具体是什么，如K-Means。
对于监督学习，当我们获取客观数据之后，第一步就是对数据进行清洗。因为原始数据有可能很粗糙，数据缺失、属性冗余等问题会直接影响后续模型的性能。因此大家说，数据处理和特征工程决定了机器学习的上限，而模型的调优则是在尽力接近这个上限。
本文主要讨论对缺失数据的处理。
注 由于scikit-learn只支持对数值类型的处理，所以只处理数值型缺失值。非数值型数据需要转换成数值型数据，这部分内容后文会提到。还有，TensorFlow支持非数值型数据。
方法1：直接丢弃
frame.dropna(axis=1)
# or
cols_with_missing = [col for col in frame.columns if frame[col].isnull().any()]
frame.drop(cols_with_missing, axis=1)
方法2：填充
- 简单粗暴型：
frame.fillna(value=5)直接填充指定值 - 柔和型：
from sklearn.preprocessing import Imputer
my_imputer = Imputer()
# fill the missing with mean value of corresponding column
my_imputer.fit_transform(data)
----------------------------------------------------
## 改进版，告诉模型哪些列的数据是缺失，填充而来的
for col in cols_with_missing:
frame[col+'_was_missing'] = frame[col].isnull()
Imputation...
- 体贴型
from sklearn.tree import RandomForestRefressor
from sklearn.model_selection import train_test_split
cols_with_missing = [col for col in frame.columns if frame[col].isnull().any()]
# 选择随机森林回归预测缺失值
rfr = RandomForestRegressor(random_state=1)
for col in cols_with_missing:
unkown = frame[frame.col.isnull()]
known = frame[frame.col.notnull()]
train_y = known[col]
train_X = konwn.drop(col, axis=1)
test_X = unkown.drop(col, axis=1)
rfr.fit(train_X, train_y)
predictions = rfr.predict(test_X)
frame.loc[(frame.col.isnull()), col] = predictions
注意： 有的模型本身提供缺失值处理流程，<font color='red'>但我们 不应该过分依赖模型，缺失值应该由我们处理。</font>因为模型提供的缺失值处理通用性强，而不同问题的特征数据应该根据内在逻辑进行具体分析和修正。下面介绍两种填充缺失值的常见模型。
-
决策树
以随机森林为例- 用对应列的中位数填充，非数值型用众数填充
- 先进行相似性度量，然后赋予权重。
XGBoost
把缺失值视为稀疏矩阵，构建树时先不考虑数据缺失，把缺失的数据放到左右子树，分别计算损失(loss function)，择优处理。如果训练集没有缺失数据，预测时出现缺失数据，则将其默认分到右子树。数据缺失时，选择模型小结：
a. 数据量小：优先使用朴素贝叶斯
b. 数据量适中： 树模型，偏用XGBoost
c. 数据量较大：神经网络
d. 使用距离来度量相似性： KNN, SVM
