概念：在信息增益中，衡量标准是看特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。对一个特征而言，系统有它和没它时信息量将发生变化，而前后信息量的差值就是这个特征给系统带来的信息量。所谓信息量，就是熵。
公式表示就是先计算熵
熵
具体熵计算例子
图中 x=Math 时， Y可能是Yes， 也可能是No，则P(Y=Yes|X=Math) = 1/2, P(Y=No|X=Math) = 1/2
H(Y|X=Math) = -1/2 * log(1/2) - 1/2 * log(1 / 2) = 1
H(Y|X=History) = 0;
H(Y|X=CS) = 0;
然后计算信息增益
信息增益
H(Y|X)计算
IG(Y|X)计算
Andrew Moore的ppt讲的还是非常清楚的，上面的图都是从里面截出来的
http://www.autonlab.org/tutorials/infogain11.pdf
