模型的基本原理不在赘述，仅结合scikit-learn中gbdt的实现，理清思路。
1 流程图
gbdt实现流程图.png
1.1 总体迭代过程
_fit_stage.png
2 损失函数
2.1 GradientBoostingRegressor的损失函数
sklearn中实现了四种目标函数：LeastSquaresError，LeastAbsoluteError，HuberLossFunction，QuantileLossFunction。本人只使用过LeastSquaresError，LeastAbsoluteError这两种，因此仅对这两种目标函数展开理解。
-
LeastSquaresError
最小均方误差函数，形式为：
均方误差损失函数.png
其对应的负梯度为：
均方误差损失函数-负梯度.png
代码中的体现为：
image.png
-
LeastAbsoluteError
最小绝对值误差函数：形式为：
最小绝对值误差损失函数.png
image.png
2.2 GradientBoostingClassifier的损失函数
sklearn中实现了两种目标函数：Deviance（二分类问题BinomialDeviance和多分类问题MultinomialDeviance），ExponentialLoss。
- BinomialDeviance损失函数为：
image.png
负梯度
image.png
代码中的体现
binomialDeviance.png
- ExponentialLoss 损失函数为：
ExponentialLoss 损失函数.png
负梯度
image.png
代码中的体现
image.png
实际上以上两种损失函数都是偏差最小化损失函数，其一般化公式为：
image.png
值得注意的是，在Friedman的论文Greedy Function Approximation A Gradient Boosting Machine 中，描述的目标函数为
negative binomial log-likelihood-Friedman损失函数.png
该目标函数对应的标签为y = {-1,1} ，而sklearn中对应的标签为y = {0,1}, 两者是等价的：
image.png
2.3 单棵回归树
在总体迭代过程一节我们已经看到，每次迭代都会建立一个回归树去拟合负梯度向量，与建树相关的点有：
- 损失函数
均方差损失函数 -
节点分裂原则：
节点分裂原则.png
通常使用的是friedman_mse原则，公式为Greedy Function Approximation: A Gradient Boosting Machine论文中的(35)式:
friedman_mse.png - 叶子节点的值
叶子节点的值为分到该叶子节点的所有样本对应的输出yi的平均值。
Refs
- Generalized Boosted Models: A guide to the gbm package
- Greedy Function Approximation: A Gradient Boosting Machine
- Additive Logistic Regression a Statistical View of Boosting.pdf
