回归的概念
- 给定一个点集， 利用一条曲线去拟合之。
- 如果是直线， 就是线性回归。
- 如果是一条二次曲线， 就被称为二次回归。
- 变种， locally weight回归， logistic回归
房屋的例子
假设房价仅和面积相关， 我们可以根据给定的点集拟合出一个函数：
h(x) = a0 + a1 * x1 + a2 * x2
也可以用向量的方法表示。
我们需要一个机制去评价参数a是否合适， 一般称之为loss function。如下是一个损失函数：
J(a) = 0.5 * sum((h_a(x^i) - yi)2
就是最小化估计值和真实值的差的平方和。
参数的选取
最小二乘法
梯度下降法
- 对参数a赋值， 这个值可以是随机的， 也可以是一个全0的向量。
- 改变a的值， 使得J(a)按照梯度下降的方向进行减少。
- 直到下降到无法再下降为止。
当然， 可能实际上是陷入了一个局部最小点而不是全局最小点。
