Hierarchical clustering continued.
看一个复杂的实际的例子。
下面这组数据是1978~1979年市场上的一些汽车类型,一共有38种型号的汽车。(完整数据在这里:http://www.stat.berkeley.edu/~s133/data/cars.tab)
我们想问的问题是:市场上这么多的汽车类型是否针对不同的用户群体?换句话说,这些不同类选哪个的汽车是否能够分成几组,每一组都针对市场上一组不同的用户群体?
首先读入数据
cars = read.delim(file = "http://www.stat.berkeley.edu/~s133/data/cars.tab",stringsAsFactors=FALSE)
分析数据的时候,我们不需要汽车的产地和汽车名称,所以可以把他们去掉
cars.use = cars[, -c(1,2)]
观察数据,我们发现,这些数据采用不同的scale来衡量的,比如,排量(displacement)和马力(horsepower)。所以,我们需要将数据标准化。可以采用 zscore的方法。https://www.quora.com/Why-is-it-useful-to-standardize-a-variable 提供了很好的为什么要标准化的解释。
medians = apply(cars.use, 2, median)
mads = apply(cars.use, 2, mad)
cars.use = scale(cars.use, center = medians, scale = mads)
标准化后的数据看上去是这样的:
然后,我们就可以计算点和点之间的距离,进行cluster了。
cars.dist <- dist(cars.use)
cars.hclust = hclust(cars.dist)
plot(cars.hclust, labels = cars$Car, main = "Default from hclust")
cluster之后的结果是这样的。从图中,我们大致可以看出,3个cluster 或者4个cluster都是可行的方案。
假设采用3个cluster的方案。我们需要知道:
(1)每个cluster里面有多少个元素?
(2)这些元素都是什么?
(3)这些元素被分在一个cluster的可能的原因是什么,他们有哪些共性?
以三个clustter的方案为例:
> group.3 = cutree(cars.hclust, 3)
> table(group.3)
group.3
1 2 3
8 20 10
我们可以进一步打印出分组里面元素的名称:
> cars$Car[group.3 == 1]
[1] "Buick Estate Wagon" "Ford Country Squire Wagon" "Chevy Malibu Wagon" "Chrysler LeBaron Wagon" "Chevy Caprice Classic"
[6] "Ford LTD" "Mercury Grand Marquis" "Dodge St Regis"
将分组的信息打印出来,我们就能进一步看到为什么某些元素会被分在一个cluster里面
group1 似乎是大马力,高油耗,大排量的一组车;
group2 是小马力,低油耗,低排量
group3 是大马力,高油耗,低排量的一组车
可以再直观的看一下这些分组:
> sapply(unique(group.3),function(g)cars$Car[group.3 == g])
第一组中的Buick,dodge 都是非常耗油的车;,第二组中的honda,toyota,都是低油耗的车,第三组直观的看上去,没有那么明显。
Reference
http://www.stat.berkeley.edu/~s133/Cluster2a.html
http://www.stat.berkeley.edu/~s133/data/cars.tab