一、定义
kmeans即k均值算法。k均值聚类是最著名的划分聚类算法,由于简洁和效率使得他成为所有聚类算法中最广泛使用的。给定一个数据点集合和需要的聚类数目k,k由用户指定,k均值算法根据某个距离函数反复把数据分入k个聚类中。
二、算法过程
简易动画过程在这,传送门
第一步,输入k的值,即我们希望将数据集经过聚类得到k类,分为k组
第二步,从数据集中随机选择k个数据点作为初识的聚类中心(质心,Centroid)
第三步,对集合中每一个数据点,计算与每一个聚类中心的距离,离哪个中心距离近,就标记为哪个中心。待分配完全时,就有第一次分类。
第四步,每一个分类根据现有的数据重新计算,并重新选取每个分类的中心(质心)
第五至N步,重复第三至四步,直至符合条件结束迭代步骤。条件是如果新中心和旧中心之间的距离小于某一个设置的阈值(表示重新计算的质心的位置变化不大,趋于稳定,或者说收敛),可以认为我们进行的聚类已经达到期望的结果,终止迭代过程。
该算法的核心就是选择合适的k值,不同的k值出来有不同的结果。
三、如何选择合适的K值?
1、手肘法
手肘法的核心指标是SSE(sum of the squared errors,误差平方和),
其中,Ci是第i个簇,p是Ci中的样本点,mi是Ci的质心(Ci中所有样本的均值),SSE是所有样本的聚类误差,代表了聚类效果的好坏。
手肘法的核心思想是:随着聚类数k的增大,样本划分会更加精细,每个簇的聚合程度会逐渐提高,那么误差平方和SSE自然会逐渐变小。并且,当k小于真实聚类数时,由于k的增大会大幅增加每个簇的聚合程度,故SSE的下降幅度会很大,而当k到达真实聚类数时,再增加k所得到的聚合程度回报会迅速变小,所以SSE的下降幅度会骤减,然后随着k值的继续增大而趋于平缓,也就是说SSE和k的关系图是一个手肘的形状,而这个肘部对应的k值就是数据的真实聚类数。当然,这也是该方法被称为手肘法的原因。
2、轮廓系数法
该方法的核心指标是轮廓系数(Silhouette Coefficient),某个样本点Xi的轮廓系数定义如下:
S=(b-a)/max(a,b)
其中,a是Xi与同簇的其他样本的平均距离,称为凝聚度,b是Xi与最近簇中所有样本的平均距离,称为分离度。而最近簇的定义是
其中p是某个簇Ck中的样本。事实上,简单点讲,就是用Xi到某个簇所有样本平均距离作为衡量该点到该簇的距离后,选择离Xi最近的一个簇作为最近簇。
求出所有样本的轮廓系数后再求平均值就得到了平均轮廓系数。平均轮廓系数的取值范围为[-1,1],且簇内样本的距离越近,簇间样本距离越远,平均轮廓系数越大,聚类效果越好。那么,很自然地,平均轮廓系数最大的k便是最佳聚类数。
四、优缺点
1、优点
(1)容易理解,聚类效果不错,虽然是局部最优, 但往往局部最优就够了
(2)处理大数据集的时候,该算法可以保证较好的伸缩性
(3)当簇近似高斯分布的时候,效果非常不错
(4)算法复杂度低
2、缺点
(1)K 值需要人为设定,不同 K 值得到的结果不一样
(2)对初始的簇中心敏感,不同选取方式会得到不同结果
(3)对异常值敏感
(4)样本只能归为一类,不适合多分类任务
(5)不适合太离散的分类、样本类别不平衡的分类、非凸形状的分类