样本相似性度量(欧几里得距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧氏距离)
简书的 Makedown 语法支持比较差,有些语法支持不好,可以看 CSDN 的 样本相似性度量(欧几里得距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧氏距离)
在分类过程中,常常需要估算不同样本直接的 Similarity Measurement (相似性度量)。
此时常用的方法就是计算两个样本直接的 Distance(距离)。
常用方法有:
<h2 id="1">
- 欧几里得距离(Euclidean Distance)
</h2>
欧几里得距离(Euclidean Distance),简称欧氏距离,又称欧几里得度量(euclidean metric)。
指 m 维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。
在欧几里得空间中,点 和 之间的欧几里得距离为:
当 点为原点时,即为向量 的自然长度(该点到原点的距离)。
向量 的自然长度:
由 维空间的欧几里得距离公式可以推出:
二维平面上两点 与 间的欧几里得距离:
三维空间两点 与 间的欧几里得距离:
<h2 id="2">
- 曼哈顿距离(Manhattan Distance)
</h2>
计程车几何 (Taxicab geometry) 或曼哈顿距离 (Manhattan distance or Manhattan length) 或方格线距离是由十九世纪的赫尔曼 · 闵可夫斯基所创辞汇,为欧几里得几何度量空间的几何学之用语,用以标明两个点上在标准坐标系上的绝对轴距之总和。
[图片上传失败...(image-eff26f-1548930789717)]
如上图,从右上角的黑点到左下角的黑点的最小距离是?
是红色线的欧几里得距离?
显然是错误的。在这样的空间里,欧几里得距离计算最小距离是不合适的。
需要采用新的距离计算方式 —— 曼哈顿距离
在 N 维空间中,点 和 之间的曼哈顿距离为:
二维平面两点 与 间的曼哈顿距离:
<h2 id="3">
- 切比雪夫距离(Chebyshev Distance)
</h2>
在 维空间中,点 和 之间的切比雪夫距离为:
二维平面两点 与 间的切比雪夫距离:
<h2 id="4">
- 闵可夫斯基距离(Minkowski Distance)
</h2>
闵可夫斯基距离(Minkowski Distance),简称闵氏距离。
它是一组距离的定义。
设定两点:
直接的闵可夫斯基距离为:
那么 的常用取值为 或 。
即为曼哈顿距离:
即为欧几里得距离:
取无穷时极限情况下可以得到切比雪夫距离:
<h2 id="5">
- 标准化欧氏距离(Standardized Euclidean distance)
</h2>
标准欧氏距离的定义:
标准化欧氏距离是针对简单欧氏距离的缺点而作的一种改进方案。
标准欧氏距离的思路:既然数据各维分量的分布不一样,好吧!那我先将各个分量都 “标准化” 到均值、方差相等吧。
均值和方差标准化到多少呢?
假设样本集 的均值 (mean) 为 ,标准差(standard deviation)为 ,那么 的 “标准化变量” 表示为:
而且标准化变量的数学期望为 ,方差为 。因此样本集的标准化过程 (standardization) 用公式描述就是:
标准化后的值 = (标准化前的值 - 分量的均值) / 分量的标准差
经过简单的推导就可以得到两个 n 维向量 与 间的标准化欧氏距离的公式:
如果将方差的倒数看成是一个权重,这个公式可以看成是一种加权欧氏距离 (Weighted Euclidean distance)。
如果使用长宽比为 的二维矩形作为单元大小,那么使用标准欧式距离公式为: