1. stacking 功能：模型融合
bagging 和 boosting基于同一个算法。stacking不受方法限制，可以把不同的方法封装成1个投票器，一起工作。
2.实现
2.1 导包
from sklearn.ensemble import StackingClassifier, StackingRegressor
其中算法对象的格式是：list of (str, estimator)
即：[(str, model),(str, model), (str, model)...]
其中str: 对参与训练的模型的用户的自定义描述
**estimator:算法对象（实例化），可以是任意的算法对象（包括集成学习）。实例化：将算法对象创建就行（实例化），不用训练。
2.2 构造数据
from sklearn.datasets import make_gaussian_quantiles #
注：以前的make_ blob生成数据为线性可分的分类数据，make_gaussian_quantiles可以创建线性不可分数据。
cov:协方差，两组数据的相关度，可以用协方差衡量，正数为正相关，负数为负相关。（xi-x.mean）(yi-y.mean).sum() / n.
cov描述两组数据的相关性，可以调大调小，默认值为1，值的大小会影响两组数据的离散程度。协方差不能算3组，所以n_features=2
方差：累和(x-x.mean)(x-x.mean)/n
X, y = make_gaussian_quantiles(cov=1.0, n_samples=500, n_features=2, n_classes=2)
image.png
数据绘图展示：
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
sns.set()
plt.scatter(X[:,0], X[:,1], c=y, cmap=plt.cm.Accent)
此组数据线性不可分，逻辑斯蒂划分效果不太好。
2.3 用stacking 融合
from sklearn.neighbors import KNeighborsClassifier # KNN模型
from sklearn.linear_model import LogisticRegression # 逻辑斯蒂模型
from sklearn.naive_bayes import GaussianNB # 高斯分布朴素贝叶斯
from sklearn.tree import DecisionTreeClassifier # 决策树
estimators = [
("KNN",KNeighborsClassifier()),
("LR",LogisticRegression()),
("GNB",GaussianNB()),
("DT",DecisionTreeClassifier())
]sc = StackingClassifier(estimators=estimators) # 参数cv为样本集拆分策略
结果为每一个学习器的投票结果。
image.png
**通过10个预测结果看各个分类器的判断结果。
sc.predict(X[:10]) # 前10个预测结果
image.png
for model in sc.estimators_:
print(model.class.name, model.predict(X[:10]))
image.png
比如：第2个预测为1，因为所有4个的结果都为1.
另：图明显是线性不可分的，逻辑斯蒂不能划分的很好，最不准的一个，DT可以，但过拟合。stacking可以把模型进行融合，融合本质解决泛化能力，解决过拟合问题。
很难通过逻辑斯蒂降低拟合度，效果不太好。 扩展：逻辑斯蒂也可以分线性不可分，可以做多次拟合。如果有足够的算力和耐心，任何复杂图形可以用线性分类器解决，即神经网络。（拿更多的线性分类器进行组合，方式反倒比概率模型更有效，但1.更吃算力，传统计算机吃不住算力。现在很多渗透学习框架多数基于神经网络构建，比较考验运算能力，运算效率比较低，但模型一旦训练好了，往往表达，泛化能力很强，神经网络有几次冰河期因为硬件压制导致没有办法突破，现在神经网络在很多大型AI项目里应用的很多）
2.4 查看决策边界
xmin, xmax = X[:,0].min(), X[:,0].max() # 根据X生成测试集
ymin, ymax = X[:,1].min(), X[:,1].max() # 根据y生成y值
a = np.linspace(xmin, xmax, 200)
b = np.linspace(ymin, ymax, 200)
xx, yy = np.meshgrid(a, b) # 做网格切割，得到两组数据
X_test = np.c_[xx.ravel(), yy.ravel()] # 测试集
model.fit(X, y) #模型进行训练
y_ = model.predict(X_test) # 对测试集进行测试
plt.scatter(X_test[:,0], X_test[:,1], c=y_, cmap=plt.cm.Blues_r) # 进行展示，测试点
plt.scatter(X[:,0], X[:,1], c=y, cmap=plt.cm.Accent, alpha=0.7)#进行展示，原始点，alpha透明度设置为0.7， cmap做颜色映射
plt.show()
看分类器效果
show_edge(sc, X,y)
image.png
拟合能力。
3. 更改数据集，增加难度
X1, y1 = make_gaussian_quantiles(cov=1.0, n_samples=500, n_features=2, n_classes=2)
X2, y2 = make_gaussian_quantiles(cov=2.0, n_samples=500, n_features=2, n_classes=2, mean=[3,3])
y2结果为0,1，做一个反转，0变1,1变0
X = np.concatenate((X1, X2))
y = np.concatenate((y1, -y2+1))
重新训练
效果可以，接下来使用随机森林。
4.使用随机森林
from sklearn.ensemble import RandomForestClassifier
rfc = RandomForestClassifier() # 默认基学习器100个
show_edge(rfc, X, y)
随机森林bagging思想，GBDT boosting思想
5.使用GBDT
from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(n_estimators=300)
show_edge(gbc, X, y)
image.png
可以将迭代次数变为300看，第一个
stacking不行，过拟合比较重
随机森林 平滑点
GBDT 有线条，存在，会有过拟合问题
融合里，stacking里逻辑斯蒂只占1/4, 基本上由其他3个强分类器给出的结果。这种分类结果过拟合比较严重。即使用stacking做分类或回归，建议使用集成学习的办法，GBDT 等，stacking里 boosting + bagging融合再去解决问题。
所有集成学习的办法不是为了帮助提升准确率，是帮助解决泛化能力的优化方式。
5. Bagging 和 Boosting区别
1）对于GBDT来说，预测正确的不看了。
4）并行计算，计算机里有几个内核，这些内核是否可以同时应用起来，并不会带来效率的显著提升，一般为默认值，默认全部开启。
Bagging可以，Boosting有序的，后一个模型的训练是依赖于前一个的计算的，往往做不了并行。
Stacking 纯粹是对他们之间做一个二次封装。
