更多文章，欢迎大家关注的我的个人博客网站：fangd123

原文链接：SVM - Understanding the math - Part 2

在SVM教程的第一部分中，我们了解了SVM的目标。它的目标是是寻找最大化间隔的超平面。

但是我们如何计算这个边距？

SVM = Support VECTOR Machine

在支持向量机中，有一个概念，叫做向量（vector）。

这也就是说理解向量和如何使用它们是很重要的。

Here a short sum-up of what we will see today:
这是今天我们将要了解的内容的摘要：

• 什么是向量？
  • 它的范数
  • 它的方向
• 向量加减法
• 什么是点乘
• 如何将一个向量投影到另一个向量上

什么是向量？

如果我们定义点 A(3,4)，我们能够把它像这样绘制出来。

[图片上传失败...(image-8539da-1531014273702)]

图 1：一个点

定义：点 x=(x1,x2),x≠0 in R^2 确定平面的一个向量，即向量的起点为原点，终点为点x。

这个定义的意思是在原点和点A存在一个向量。

[图片上传失败...(image-ff292c-1531014273702)]

图 2 - 一个向量

如果我们说原点坐标为 O（0,0），那么上边的这条向量是 OA，我们也能够给它一个抽象的名字例如u。

注意：你可能注意到我们书写的向量，要么是在字母顶端标箭头，要么加粗。在文章的接下来的部分我将会使用箭头，在存在两个字母像OA，在其他情况下加粗标识。

好，目前我们向量的存在，但是我们仍然不知道什么是向量。

定义：向量是一个同时拥有大小和方向的东西。

我们将会从两个方面来理解这个概念。

1）向量的大小

向量X的大小或者长度被写作 \| x \|，被称范数。

对于我们的向量OA，||OA||就是线段OA的长度

[图片上传失败...(image-780c9f-1531014273702)]

图3

使用勾股定理能够很容易地计算出图3中OA的距离：

OA^2=OB^2+AB^2

OA^2=3^2+4^2

OA^2=25

OA=\sqrt{25}

||OA||=OA=5

2）向量的方向

方向是向量的第二个组成部分。

定义：向量 u(u_1,u_2) 的方向是向量：
w(\frac{u1}{∥u∥},\frac{u2}{∥u∥})

w 的坐标是怎么来的？

理解定义

为了找到向量的方向，我们需要使用它的角度。

[图片上传失败...(image-285028-1531014273703)]

图4 - 向量的方向

图4表示向量 u(u_1,u_2) 中 u_1=3，u_2=4

我们可以得出：

朴素的定义1：向量 u 的方向是由横轴夹角 \theta 和纵轴夹角 \alpha 决定的。

这个有点荒谬，实际上我们用角度的余弦值确定向量的方向。

在右边的三角形中，角 \beta 的余弦值定义为：

cos(\beta) = \frac{邻边}{斜边}

在图4中我们能够找到两个三角形，它们的邻边是坐标轴之一，这也就是说余弦值的定义隐含着和角度相关的坐标轴。我们可以将我们的朴素定义换一种方式表达：

朴素定义 2：向量 u 的方向是由角 \theta 的余弦值和角 \alpha 的余弦值决定的。

现在我们看看它们的值：

cos(\theta) = \frac{u_1}{||u||}
cos(\alpha) = \frac{u_2}{||u||}

这就是向量 w 最初的定义，这是为什么它的坐标也被称为方向余弦。

计算向量的方向

我们现在将开始计算图4中向量 u 的方向：

cos(\theta) = \frac{u_1}{||u||} = \frac{3}{5} = 0.6
和
cos(\theta) = \frac{u_2}{||u||} = \frac{4}{5} = 0.6

u(3,4)的方向是向量 w(0.6,0.8)

如果我们绘制出这个向量我们就得到了图5：

[图片上传失败...(image-238556-1531014273703)]

Figure 5: the direction of u
图 5：u 的方向

我们能够看到 w 除了更小一些外，其他的实际上和 u 是一样的。有趣的是类似 w 这样的方向向量的范数为1。这就是为什么我们常常称它们为单位向量。

向量的加减法

两个向量的和

[图片上传失败...(image-79ef1e-1531014273703)]

图 6：向量u和v

已知向量 u(u_1,u_2) 和 v(v_1,v_2)：
u+v = (u_1+v_1,u_2+v_2)

也就是说，两个向量相加得到的新向量的坐标是两个向量的坐标的和。

你可以通过下边的这个例子确信这一点：

[图片上传失败...(image-7b5357-1531014273703)]

图 7：两个向量的和

两个向量的差

差的运算同理：
u+v = (u_1-v_1,u_2-v_2)

[图片上传失败...(image-3546c5-1531014273703)]

图 8：两个向量的差

因为减法是没有交换律的，我们也可以考虑另外一种情况：

[图片上传失败...(image-af749b-1531014273703)]

图 9：u-v的差

最后两张图描述了u和v的差向量

然而，因为向量有大小和方向，我们常常考虑向量平移变换（拥有相同大小和方向但是起点不一样的向量）得到的向量是一样的，仅仅是在空间上不同地方绘制而已。

因此如果你遇到如下的情况不要感到惊讶：

[图片上传失败...(image-9e93f3-1531014273703)]

图 10：v-u的另一种展现方式

和

[图片上传失败...(image-9df54-1531014273703)]

图 11：u-v的另一种展现方式

如果你进行数学计算，它看起来是错的，因为向量 u-v 的终点并不在正确的位置，但是你讲会在以后经常遇到这种便捷地表示向量的方式。

点乘

点乘是理解SVM的一个非常重要的概念。

"定义：从几何的角度看，点乘的结果是两个向量的欧氏距离和他们之间的夹角。"

也就是说，如果我们有两个向量x和y，以及它们之间的夹角 \theta ，它们的点乘是：

x\cdot y = ||x||||y||cos(\theta)

为什么？

为了理解这个，让我们从几何的角度看看这个问题。

[图片上传失败...(image-1873f7-1531014273703)]

我们来看看定义中 cos(\theta) 是什么。

根据定义我们知道在直角角形中：

cos(\theta) = \frac{邻边}{斜边}

在我们的例子中，我们并没有直角三角形。

然而如果我们换一个角度看图 12，我们能够找到两个直角三角形，每个都是由向量和横轴的组成的。

[图片上传失败...(image-7463d1-1531014273703)]

图 13

和

[图片上传失败...(image-1e5e88-1531014273703)]
图 14

因此现在我们能够像这样的方式观察之前的图：

[图片上传失败...(image-c6eade-1531014273703)]
图 15

我们能够得到
\theta = \beta - \alpha
因此计算 cos(\theta) 等价于计算 cos(\beta - \alpha)

有一个公式被称之为 difference identity ：
cos(\beta - \alpha) = cos(\beta)cos(\alpha) + sin(\beta)sin(\alpha)
（如果你想了解更多，请看这个例子）

让我们使用这个公式！

cos(\beta) = \frac{邻边}{斜边} = \frac{x_1}{||x||}
sin(\beta) = \frac{对边}{斜边} = \frac{x_2}{||x||}
cos(\alpha) = \frac{邻边}{斜边} = \frac{y_1}{||y||}
cos(\alpha) = \frac{对边}{斜边} = \frac{y_2}{||y||}

因此如果我们替换每个参数

cos(\beta - \alpha) = cos(\beta)cos(\alpha) + sin(\beta)sin(\alpha)
cos(\theta) = \frac{x_1}{||x||}\frac{y_1}{||y||}+\frac{x_2}{||x||}\frac{y_2}{||y||}
cos(\theta) = \frac{x_1y_1+x_2y_2}{\|x\|\|y\|}

如果我们两边同时乘以\|x\| \|y\|得到：

\|x\|\|y\|cos(\theta) = x_1y_1 + x_2y_2

等价于：
\|x\|\|y\|cos(θ)=xy

我们能够发现点乘的几何定义！

实际上我们能够从最后两个公式中看到：

xy = x_1y_1 + x_2y_2 = \sum{2}{i=1}(x_iy_i)

这是点乘的代数定义！

关于记号的一些说明

点乘之说以被这样称呼是因为我们在两个向量中间写了一个点。
讨论点乘x\cdoty和讨论一下的说法是一样的

• 的内积
• 数量积，因为我们将两个向量相乘得到了一个实数

向量的正交投影

给定两个向量x和y，我们想找到x在y上的正交投影。

[图片上传失败...(image-b661ea-1531014273703)]
图 16

为了能够这样做，我们将向量\mathbf{x}投影在\mathbf{y}上

[图片上传失败...(image-bcc68d-1531014273703)]

图 17

我们得到向量\mathbf{z}

[图片上传失败...(image-1a5023-1531014273703)]

根据定义：

cos(\theta) = \frac{\|z\|}{\|x\|}
\|z\| = \|x\|cos(\theta)

我们已经知道了点乘公式

cos(\theta) = \frac{\mathbf{x}\cdot\mathbf{y}}{\|x\|\|y\|}

因此我们替换公式中的cos(\theta)：

\|z\| = \|x\|\frac{\mathbf{x}\cdot\mathbf{y}}{\|x\|\|y\|}

如果我们定义\mathbf{u}为\mathbf{y}的方向，然后：

\mathbf{u} = \frac{\mathbf{y}}{\|y\|}

和

\|z\| = \mathbf{u}\cdot\mathbf{x}

我们现在有了计算向量\mathbf{z}的范数的简单的方法。
因为向量\mathbf{z}和\mathbf{y}的方向一致，也是向量\mathbf{u}的方向

\mathbf{u}=\frac{\mathbf{z}}{\|z\|}
\mathbf{z} = \|z\|\mathbf{u}

因此我们能够说：

向量\mathbf{z} = (\mathbf{u}\cdot\mathbf{x})\mathbf{u}是\mathbf{x}到\mathbf{y}的正交投影。

为什么我们对于正交投影如此感兴趣呢？在我们的例子中，它让我们能够计算\mathbf{x}和经过\mathbf{y}的直线之间的距离。

[图片上传失败...(image-da76e6-1531014273703)]
图 19

我们能够看到这个距离就是\|x-z\|

\|x-z\| = \sqrt{(3-4)^2+(5-1)^2} = \sqrt{17}

SVM 超平面

理解超平面公式

你也许了解到直线方程是这样的：y = ax+b。然而，当你读到超平面的时候，你将会发现超平面方程是这样定义的：

\mathbf{w}^T\mathbf{x} = 0

两者之间有什么联系呢？
在超平面方程中，你能够发现变量名是粗体的。这也就是说它们都是向量！更重要的是，\mathbf{w}^T\mathbf{x}是我们计算两个向量内积的方法，如果你会想前边所讲过的，内积就是点乘的另一种说法！

注意

y = ax +b
和

y-ax-b = 0

是一样的

给定两个向量\mathbf{w}(-b,-a,1)和\mathbf{x}(1,x,y)

\mathbf{w}^T\mathbf{x} = -b \times (1) + (-a)\times x + 1 \times y
\mathbf{w}^T\mathbf{x} = y - ax -b

两个方程仅仅是用不同的方式表达同样的意思。

有趣的是，w_0的值为-b，也就是说这个值决定这直线和纵轴的交点。

为什么我们使用超平面方程\mathbf{w}^T\mathbf{x}而不是y=ax+b？

两个原因：

• 这种表达方式在高于二维的尺度上更加有效
• 向量\mathbf{w}是超平面的法线

并且最后一条性质在计算点到超平面的距离上十分有用。

计算点到超平面的距离

在 图20 我们有一个超平面，将数据分为了两组。

[图片上传失败...(image-1eb4ee-1531014273703)]
图 20
为了简化这个例子，我们设w_0=0。

正如你在图20上看到的，超平面方程为：
x_2 = -2x_1

等价于

\mathbf{w}^T\mathbf{x} = 0

其中\mathbf{w}(2,1)、\mathbf{x}(x_1,x_2)

注意向量\mathbf{w}在图20中。（\mathbf{w}不是一个数据点）
我们想计算点A(3,4)到超平面的距离。
这个是A和它在超平面上的投影的距离

[图片上传失败...(image-545fcc-1531014273703)]
图 21

我们可以将点 A 视为一个从原点到 A 的向量。
如果我们将它投影到法向量 \mathbf{w}

[图片上传失败...(image-1babc1-1531014273703)]
图 22：\mathbf{a} 投影到 \mathbf{w}

我们得到向量 \mathbf{p}

[图片上传失败...(image-b7bf2a-1531014273703)]
图 23：p 是 a 投影到 w 的向量

我们的目标是找到 A(3,4) 和超平面之间的距离。
通过图 23 我们能够看到这个距离等于 \|p\|。
让我们来计算这个值。

我们从这两个向量开始，\mathbf{w}=(2,1) 是超平面是法向量，\mathbf{a}=(3,4) 是从原点到点 A 之间的向量。

\|w\| = \sqrt{2^2+1^2} = \sqrt{5}

设向量 \mathbf{u} 是 \mathbf{w} 的方向向量

\mathbf{u} = (\frac{2}{\sqrt{5}},\frac{1}{\sqrt{5}})

\mathbf{p} 是 \mathbf{a} 在 \mathbf{w} 上的正交投影，因此：

\mathbf{p}=(\mathbf{u}\cdot\mathbf{a})\mathbf{u}
\mathbf{p}=(3\times\frac{2}{\sqrt{5}}+4\times\frac{1}{\sqrt{5}})\mathbf{u}
\mathbf{p}=(\frac{6}{\sqrt{5}}+\frac{4}{\sqrt{5}})\mathbf{u}
\mathbf{p}=\frac{10}{\sqrt{5}}\mathbf{u}
\mathbf{p}=(\frac{10}{\sqrt{5}}\times\frac{2}{\sqrt{5}},\frac{10}{\sqrt{5}}\times\frac{1}{\sqrt{5}})
\mathbf{p}=(\frac{20}{5},\frac{10}{5})
\mathbf{p}=(4,2)
\|p\| = \sqrt{4^2+2^2} = 2\sqrt{5}

计算超平面的间隔

现在我们已经有了 A 和超平面之间的距离了，间隔的定义是：

margin = 2\|p\| = 4\sqrt{5}

我们做到了！我们计算出了超平面的间隔！

结论

这是本系列的第二篇。
数学的内容比较多，但是我希望你已经能够很好的理解这个问题了。

接下来是什么？

现在我们已经知道如何计算间隔，我们也许想知道如何选择最佳的超平面，这将在本教程的第三部分讨论：如何找到最优超平面？