这一篇写给自己，想把这个博客好好写下去。 之前机器学习系列会继续写下去， 后面打算写一些推荐系统相关的内容，接下来是EM算法，以及EM的应用例子...

这一篇开始介绍XGBoost。 和GBDT不同， XGBoost不仅仅使用了一阶梯度， 还使用了二阶梯度。同时增加了正则化。 第m步的损失函数：...

这一篇开始讲GBDT(梯度提升决策树)， 根据上一篇可知，该模型每次学习的是损失函数的负梯度。所以基模型是回归树（因为每次都在拟合一个确定的值，...

这一篇， 我们希望提升模型的性能， 除了更多的数据，更好的EDA等，集成学习可以从模型的角度提升模型的学习性能，即将基模型组合成一个大模型。 在...

这一篇继续boosting，介绍一下提升树算法， 提升树以决策树为基模型， 依然是加法模型，优化算法是前向分步算法。 针对分类问题， 决策树是二...

这一篇开始介绍Boosting，我们先介绍Boosting中的第一个模型， AdaBoost, 二分类学习模型 AdaBoost的基本原理，是每...

这一讲要开始讲SVM(Support Vector Machine)了，在深度学习流行以前，SVM占据着很重要的位置，它的理论推导是非常优美的。...

前面若干篇幅， 主要讲了线性分类器， 这一节开始， 我们会着重介绍决策树模型， 从https://www.jianshu.com/p/14165...