个体学习器: 决策树, 神经网络
Boosting思想:
给定初始训练数据,由此训练出第一个基学习器。
根据基学习器的表现对样本进行调整,对于学习器做错的样本投入更多关注。
用调整后的样本,训练下一个基学习器。
重复上述过程T次,将T个学习器加权结合。
Boosting的代表是Adaboost,相比其他学习算法,不会很容易出现过拟合现象。
AdaBoosting例子:
“+”, “-”表示两种类别
一共十个样本,所以每个样本权重0.1
1.
第一次划分3个点划分错误,根据误差表达式 e1=(0.1+0.1+0.1)/1.0=0.3
分类器权重
对于正确分类的7个点,权重不变,对于错分的3个点,权重为
D1=D0*(1-e1)/e1=0.1*(1-0.3)/0.3=0.2333
第二次分类,有三个“-”分类错误
权重值和为 0.1 * 7 + 0.2333*3 = 1.3990
分类误差为 0.1*3 / 1.3990 = 0.2114
分类器权重为 0.6493
错分的三个点权重值为 D2=0.1*(1-0.2144)/0.2144=0.3664
第三次:
源自 https://www.jianshu.com/p/389d28f853c0