上一篇文章推导了针对不等式约束优化问题的KKT条件。
接下来具体到svm 问题上推导: 只有支持向量才决定最优解。
svm 要解决的问题是： 找到使得 几何间隔最大的 分类超平面。
数学表达为：
min
subject to:
转化为拉格朗日表达式：
L:
+
kkt 条件：
1.
<= 0 # g(x*) <=0
2. 同右注释 # L的梯度（在W,b上） = 0，
。
3.
#
g(x*) = 0
对于第三个条件， 结合不等式约束的两类子情况（上一篇文章SVM-part1: KKT条件）
当 系数严格大于0: 必有 g(x*) = 0；
即
, 即样本
为支持向量，在‘那’两条分类边界上（你懂的）。
当 系数等于0: 必有g(x*) 严格小于0（#即最优解在可行域内，而非边界.）
即
。
利用第二个条件，我们求出 ：
2.1: W* =
# L对w 求偏导数，令其为0
2.2:
# # L对b求偏导数，令其为0
2.3
= W*
+ b*, 故 b* =
