集成算法：Bagging 模型
集成算法 Ensemble Learning 的思想通俗解释就是训练一个模型不可靠，那可以训练出一批独立的模型，多个模型一起说了算。通过这样的方式让机器学习的效果更好，这也是为什么我们在竞赛中看到集成算法被普遍使用的原因。
集成算法的集成思想多种多样，今天小鱼和大家学习其中的一种集成思想 - Bagging 模型。Bagging 全称为 Bootstrap ggregation，简单来说就是并行训练多个模型取平均：
Bagging 最典型的代表就是随机森林，所谓森林，就是很多棵决策树组成的决策树森林。随机森林的重点在随机：
- 数据随机采样
- 特征选择随机
比如，我们可以指定构建没棵决策树时，有放回的随机选择其中的 60% 的样本，这样构建出来的决策树就是随机的，树与树之间相互独立，各不相同。同理，我们也可以指定有放回地选择 80% 的特征来构建决策树。
注：数据随机采样与特征随机采样相关的参数为 bootstrap、max_samples、max_features、random_state，API 文档 https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestRegressor.html#sklearn.ensemble.RandomForestRegressor
Bagging 模型代表 - 随机森林
下面是随机森林分类的示意图：
同一个样本，经过不同的决策树分类之后，得到 n 个预测结果，而最终的结果取决于众数。例如：80%的决策数判断属于 A 类别，20%的决策数判断属于 B 类别，则最终属于 A 类别。
注：解决回归问题时，则可以取所有预测结果的平均值。
由于在构造决策树时，样本的选择以及特征的选取均具有随机性，因此，没棵树基本上都会不一样，最终结果也会不一样。
这样，我们在训练随机森林的模型时，就可以在服务器并行地去训练决策树了，从而缩短训练的时间。
此外，进行随机最大的好处还在于保证模型的泛化能力：
上述第一张示意图为单棵决策树的分类效果：单个树模型切了几刀就完成了数据的划分，其中树的深度越大，切分的刀数就越多。
第二张示意图为随机森林的分类效果：把单个树的切分组合到一起，整个切分变得更碎了，泛化能力也就越强。对于随机森林，如果树都一样，那就没意义了。
说到泛化能力，KNN 模型就不太适合 Bagging：
这是因为 KNN 很难去随机，从而让泛化能力变强！
最后，我们再来看一下树模型的个数，是不是越多越好呢？
理论上讲，树越多效果越好，但实际上基本超过一定数量之后，最终结果将会在一定范围内上下浮动。一般会使用100~200棵树，可以使用交叉验证确定树的个数。
随机森林优势总结
1、随机森林可以处理很高维度的数据集（即特征非常多），并不需要我们自己去做特征选择。
这一点很好理解，因为在随机构造决策树的时候，我们可以指定 max_features 参数来随机选择指定数量的特征，并且最终模型还会为我们返回特征以及特征的重要性。
关于特征的重要性，这里做个简单的解释：
比如使用特征 A、B、C、D 训练好了模型 M1，预测得分为 S1；接下来将特征 A 进行人为破坏，将 A 列全部使用随机的垃圾值赋值，这时候再进行模型的训练，得到 M2，M2的预测得分为 S2。
如果最后我们发现，S1 和 S2 两个得分非常相近，甚至接近相等，那就说明特征 A 的存在感很弱，自然就是不重要的特征啦~
2、在训练完模型后，随机森林可以给出我们哪些特征比较重要
在连载的上一篇文章，我们得到了加利福尼亚房屋价值预测的特征重要性排名：
>> s = pd.Series(rfr.feature_importances_, index=housing.feature_names).sort_values(ascending=False)
>> s
MedInc 0.539850
AveOccup 0.135402
Latitude 0.083998
Longitude 0.082741
HouseAge 0.054384
AveRooms 0.045247
Population 0.030297
AveBedrms 0.028082
dtype: float64
这样可能不够直观，可以进行一下可视化展示：
import seaborn as sns
sns.barplot(x=s.values, y=s.index)
绘制结果：
我们发现，在加利福尼亚房屋价值预测任务中，收入是非常重要的特征，其次是家庭成员的人数，接下来是经纬度，共同觉得房屋的位置。
这一点也是随机森林非常友好的地方，可以让我们对特征的重要性一目了然。对于神经网络这类的算法来讲，我们只能由输入得出一个输出，中间过程则是一个黑盒。
3、容易做成并行方法，速度比较快
森林中的决策树具有随机性（特征随机、样本随机），互不影响，因此可以并行训练，提高效率。
4、可以进行可视化展示，便于分析
借助 Graphviz 工具，我们可以将决策树绘制出来，方便对决策树的判断过程分析。
