计算机视觉漫谈(4)
学号:14020199025
姓名:徐铭晟
【嵌牛导读】:上次我们粗略地谈了谈线性回归算法,今天这篇文章算上次文章的衍生。
【嵌牛鼻子】:监督学习 线性回归 图像分类
【嵌牛正文】:
前篇文章,围绕的线性回归主要是关于一次方程的,这词详细讲讲多维的。
在机器学习中,这块统称为linear regression,这里截取PRML中的一幅图详细说明一下。
假设我们的样本点是sin函数+高斯噪声产生的,我们希望能通过这几个样本点,拟合这个函数,从而得到较为准确的预测,我们可以利用之前谈到的函数拟合方法
这是我们上次讲的一阶函数拟合。当然我们可以仿照之前的方法,开展二阶,三阶甚至n阶函数拟合。
利用三阶的结果图如下:
可以看到三阶函数拟合叫好地拟合了我们的目标曲线。下面我们看一下高阶函数拟合情况:
可以看到虽然高阶使得样本点完美地嵌入我们的曲线中,但是这条曲线并不是我们需要的。解决措施就是在后面加上正则项,有兴趣的可以参考http://blog.csdn.net/liyuan123zhouhui/article/details/51882926。在这里略微提一句,不同地正则项带来的效果不同,比如一阶会带来sparse效果。
之前的n阶拟合,这个n阶方程也常常被称为basia function。利用基函数拟合任意函数这块哦的学科得涉及到泛函。在实际中,这个基函数也有别的选择,详见下表: