<h1>计算给定数据的信息熵<h1>
我们的数据集如下表所示：
这里写图片描述
根据这张表，我们使用Python来构建我们的数据集。
def createDataSet():
dataSet = [[1,1,'yes'],
[1,1,'yes'],
[1,0,'no'],
[0,1,'no'],
[0,1,'no']] # 我们定义了一个list来表示我们的数据集，这里的数据对应的是上表中的数据
labels = ['no surfacing','flippers']
return dataSet, labels
其中第一列的1表示的是不需要浮出水面就可以生存的，0则表示相反。 第二列同样是1表示有脚蹼，0表示的是没有。
在构建完数据集之后我们需要计算数据集的香农熵。 根据香农熵的定义可以知道：
这里写图片描述
根据这个公式我们来编写相应的代码。（注意:我们是计算每个类别的香农熵，也就是鱼类还是非鱼类的香农熵。在这我们的数据集当中我们用’yes’表示是鱼类，用‘no’表示非鱼类）
# 代码功能：计算香农熵
from math import log #我们要用到对数函数，所以我们需要引入math模块中定义好的log函数（对数函数）
def calcShannonEnt(dataSet):#传入数据集
# 在这里dataSet是一个链表形式的的数据集
countDataSet = len(dataSet) # 我们计算出这个数据集中的数据个数，在这里我们的值是5个数据集
labelCounts={} # 构建字典，用键值对的关系我们表示出 我们数据集中的类别还有对应的关系
for featVec in dataSet: 通过for循环，我们每次取出一个数据集，如featVec=[1,1,'yes']
currentLabel=featVec[-1] # 取出最后一列 也就是类别的那一类，比如说‘yes’或者是‘no’
if currentLabel not in labelCounts.keys():
labelCounts[currentLabel] = 0
labelCounts[currentLabel] += 1
print labelCounts # 最后得到的结果是 {'yes': 2, 'no': 3}
shannonEnt = 0.0 # 计算香农熵， 根据公式
for key in labelCounts:
prob = float(labelCounts[key])/countDataSet
shannonEnt -= prob * log(prob,2)
return shannonEnt
香农熵越高，则说明混合的数据越多，
得到熵之后我们就可以按照获取最大信息增益的方法划分数据集。
