一、度量的概念
在自然界中的物体都是有单位可以度量的，比如苹果的重量可以采用 克、千克等单位衡量。人体的身高 可以采用cm、m等单位来衡量。那么信息呢？ 信息应该采用什么来衡量的。
信息还包括有价值信息和无价值信息。我们在度量信息时，应该度量的是那部分的信息量呢？
二、重量的度量
首先，先来考察下一箱苹果重量的度量。 现实中，我们知道1KG重量这个标准单位，也就是具体1KG的重量是多少。那么在衡量一箱苹果的重量时，我们只需要考察这一箱苹果的重量等于多少个1KG的总和，就能衡量出这一箱苹果的重量。
其次，我们在进一步抽象，假如我们起先定义一个重量为M的一个物体， 那么要衡量一箱苹果的重量G，我们只需要计算一箱苹果的重量等于多少M就可以了， 也就是 G/M。
故，质量为M的物体为参照物(单位)。一箱苹果为待测物体。同时，也得出一个重要的概念，待测物体一定是可以细分 为参照物的。
三、熵--信息不确定性的度量
由于现实中的信息都具有不确定性，那么如何度量信息的不确定性呢？按照二中的思路，我们需要找到一种参考信息的不确定性来衡量，而且该参考信息的不确定性是有信息细分而来的。
举例描述一：
假如待测事件为，抛掷3次硬币的最终正反结果。由此可见待测事件具有不确定性。选择每次抛掷硬币的不确定性作为度量结果，也就是没次抛掷一次硬币的度量结果为2(正反为单位)。
在质量的度量中，待测物体质量 = 次数 * 度量单位。 而在当前信息的度量时，情况则不同。因为 待测抛硬币的不确定性 = 2^度量单位。这是一种指数关系，而非乘数关系。
那么，这里的信息度量 = log2(待测抛硬币的不确定性).当然，这里假定硬币的正反结果出现的概率都是均等的50%。
举例描述二：
我们将情况推广到更一般的情形，选取一个信息的参考物(注意信息的参考物选取是一定的，只有正确 或者错误两种情况，我们称为bit)。
选取任何一个信息事件来度量，那么首先将该信息事件拆解为n个参考物信息。衡量每个拆分后的参考物信息在待度量信息中发生的概率。这样就可以度量出 该待测信息中 某一参考物的熵，pi * log2(1/pi)。 将所有的拆分结果全部加起来就是 该信息的熵。
故：
均匀分布时：熵为 log2(M)
一般分布时：熵为 \sigma Pi*log2(1/Pi)
