一、“线性回归—从模型函数到目标函数”学习笔记
1、线性函数: y = a+ bx,就是这章要学的模型函数。要做的是综合利用所有的训练数据求出 y = a + bx 中常数 a 和 b 的值。
2、线性回归的目标函数
a、b变成自变量。
3、线性不是直线。
线性回归模型是:利用线性函数对一个或多个自变量 (x 或(x1,x2,...xkx1,x2,...xk))和因变量(y) 之间的关系进行拟合的模型。
线性函数的定义是:一阶(或更低阶)多项式,或零多项式
二、“线性回归—梯度下降法求解目标函数”学习笔记
1、线性回归的目标函数
2、对于 J(a,b) 而言,有两个参数 a 和b,函数 J 分别对自变量 a 和 b ,就是求上述的最小值
3、这里不理解的地方是,下图红圈的字母物理含义是什么?
4、通用线性回归模型的目标函数求解
线性回归的超参数:对于线性回归而言,只要用到梯度下降,就会有步长参数 alpha 这个超参数,如果训练结果偏差较大,可以尝试调小步长;如果模型质量不错但是训练效率太低,可以适当放大步长;也可以尝试使用动态步长,开始步长较大,随着梯度的缩小,步长同样缩小。
提问:老师,以上概念比较模糊,能否形象的对梯度下降法进行画图实例,先不用公式推导。