如果一种情况发生的可能性大,另一种发生的可能性小,所需要的信息就不到1比特。比如说,一种情况出现的概率是1/3,另一种是2/3,这种情况下消除不确定性的信息量则降低到0.9比特。
在更极端的情况下,比如一种情况有99%的可能性发生,另一种是1%,那么这时的不确定性只有0.08比特了。
信息的这个性质,和我们生活的经验是一致的,大家都知道二者皆50%的可能性最让人头疼。而公众都知道的信息,其实是没有信息量的。这是今天要记住的第二个知识点。
如果一种情况发生的可能性大,另一种发生的可能性小,所需要的信息就不到1比特。比如说,一种情况出现的概率是1/3,另一种是2/3,这种情况下消除不确定性的信息量则降低到0.9比特。
在更极端的情况下,比如一种情况有99%的可能性发生,另一种是1%,那么这时的不确定性只有0.08比特了。
信息的这个性质,和我们生活的经验是一致的,大家都知道二者皆50%的可能性最让人头疼。而公众都知道的信息,其实是没有信息量的。这是今天要记住的第二个知识点。