1、SVM模型目标函数与优化
上一节中我们得到超平面之间的最大距离公式如下：
m = 2/||w||
接下来入得得到模型的目标函数，如下图所示：
image.png
image.png
image.png
从上面可以看出，通过对w,b极小化以后，我们的优化函数ψ(α)仅仅只有α向量做参数。只要我们能够极大化ψ(α)，就可以求出此时对应的α，进而求出w,b.
对ψ(α)求极大化的数学表达式如下:
image.png
可以去掉负号，即为等价的极小化问题如下：
image.png
只要我们可以求出上式极小化时对应的α向量就可以求出w和b了
可以求出对应的w的值
image.png
求b则稍微麻烦一点。注意到，对于任意支持向量(xx,ys)，都有
image.png
2、线性可分SVM的算法过程
输入是线性可分的m个样本(x1,y1),(x2,y2),...,(xm,ym),,其中x为n维特征向量。y为二元输出，值为1，或者-1.
输出是分离超平面的参数w∗和b∗和分类决策函数。
算法过程如下：
1）、构造约束优化问题
image.png
2）、用SMO算法求出上式最小时对应的α向量的值α∗向量.
3）、计算w*
4）、找出所有的S个支持向量,即满足α>0对应的样本(xs,ys)，通过
image.png
计算出每个支持向量(xx,ys)对应的b∗s,计算出这些
image.png
取平均值：
image.png
