当我们想要购买一个电脑时，我们不会仅仅听信销售员的一面之词就购买，因为一个人的意见是比较主观的，但是如果询问5个人，例如同事或者你的朋友，甚至更...

前面的信息论已经简单介绍了信息熵的概念。在决策树算法中，也使用到了信息增益来构建决策树。下面会通过一个通俗的例子理解信息增益与信息增益率。 信息...

1. 矩阵求逆引理 Matrix inversion lemma 矩阵 , 都是 m x n（m行 n列） 矩阵是 n x n 若 ...

基本思想 基本思想：一个不太可能发生的事件发生了，比一个非常可能发生的事件包含的信息更多。比如，“今天太阳升起了”没有必要告诉别人，但是“今天有...