240 发简信
IP属地:上海
  • 120
    (四) 梯度提升

    1. 如何学习 目标函数: 此时,我们不能使用诸如SGD(随机梯度下降)的方法,去得到f。因为它们是多颗树,而非数值向量。 解决方法:加法训练 Additive Traini...

  • 120
    (三) 回归树与集成

    1. 回归树(CART) 回归树,也称分类与回归树(classification and regression tree),是二叉树,即左分支取值为“是”,右分支取值为“否”...

  • (一) 前言

    XGBoost系列,将以陈天奇的PPT和论文为基础,结合官方文档,对XGBoost相关知识点进行较为全面的梳理。

  • (二) 监督学习

    1. 什么是监督学习 监督学习(supervised learning),通俗来说,就是学习一个模型,使模型对任意给定的输入值,给出一个贴近相应真实输出的预测值。 主要由以下...

  • 120
    基于梯度下降的优化算法

    在上一篇文章 “梯度下降法、随机梯度下降法与小批量梯度下降法” 中,笔者较为详细地介绍了优化算法中的基础 —— 梯度下降。本文将站在更为宏观的角度,先简单介绍下什么是优化,再...

  • 120
    梯度下降法、随机梯度下降法 与 小批量梯度下降法

    在机器学习中,大多涉及某种形式的优化。其中,优化通常指目标函数 J(𝛉) 的最小化(最大化可通过 -J(𝛉) 的最小化来实现)。 梯度下降法,作为一种优化的常用方法,包含三种...