这样我们可以得到一个带正则项的损失函数:
可以看到,这个误差函数中后面一部分与SVM中的目标函数类似,我们再将二次误差函数替换为⼀个ϵ -不敏感误差函数,于是SVR问题可形式为:
ϵ -不敏感误差函数如下:
通过引入松弛变量的方式,我们可以重新表达最优化问题。对于每个数据点xn,我们现在需要两个松弛变量,如下图所示:
目标点位于上图管道中的条件为:
引入松弛变量之后,在上图中管道上下两侧的点满足的条件为:
这样,支持向量回归机的优化问题可以写为:
同样,使用拉格朗日乘子法将约束条件带入目标函数中:
同样使用SVM中求解对偶问题的思路,可以得到:
使用这些结果消去拉格朗日函数中对应的变量,得到SVR的对偶问题:
这样,得到的SVR回归模型为: