1、Xgboost
使用集成的方式来处理分类和回归问题，利用上图的方式确定是否愿意玩游戏为例子。使用上述的例子求得决策树叶子节点的权重和。
2、xgboost原理
使得目标函数权重最小，
不断往里面添加决策树，取得叶子节点的数
惩罚项的定义：总共三个叶子节点与r的成绩、w的正则化和
惩罚项
现在还剩下的一个问题，我们如何选择每一轮加入什么F呢？选取一个f来使得我们的目标函数尽量最大降低。
每一个样本的真实值和预测值之间的差异+惩罚项的和；
目标函数与
残差决策树：每课决策树预测值与真实值之间的差异，
xgboost的求解过程：前面的模型已经预测
将样本上的遍历转移到叶子节点上的遍历，加上叶子节点的权重。
对目标函数求偏导，什么样的G值对目标函数最小
G表示一阶导数
