1、XGBoost 通过构造加法模型逐步累加预测结果,以达到在给定特征向量x的情况下,得出最佳的预测值y
问题:在每一步如何得到f(x)?
思路:最小化目标函数
2、构造并推导目标函数,其中,
L:损失函数,用来衡量模型拟合训练数据的好坏程度
Omega:正则项,用来衡量学习到的模型的复杂度
3、最小化目标函数
4、具体步骤
5、以单样本为例,模拟训练与预测过程
推导到最后,发现 XGBoost 是集合 boosting 和 bagging 的大杀器,既能降低 bias ,又能降低 variance。