一．  摩尔定律

摩尔定律是由英特尔（Intel）创始人之一戈登·摩尔（Gordon Moore）提出来的。其内容为：当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到的电脑性能，将每隔18-24个月翻一倍以上。这一定律揭示了信息技术进步的速度。尽管这种趋势已经持续了超过半个世纪，摩尔定律仍应该被认为是观测或推测，而不是一个物理或自然法。在摩尔定律应用的40多年里，计算机从神秘不可近的庞然大物变成多数人都不可或缺的工具，因特网把全世界联系起来，多媒体视听设备丰富着每个人的生活，也同时让机器智能成为可能。

二． 机械思维

机械思维是过去三个世纪以来，最重要的思维方式，也是现代文明的基础。欧洲在科学方面的领先，得益于从古希腊建立的思辨和逻辑推理能力，依靠从实践中总结出的基本公理，通过因果逻辑构建起整个科学的大厦。从欧几里得到托勒密再到牛顿，在思想方法上一脉相承而又不断发展。其核心思想：

1. 世界是变化的，但是变化的规律是确定的。

2.  规律是可以被认知的，而且可以用公式或者语言描述清楚。如万有引力定律。

3.总结出来的规律应该是普世适用的，放之四海而皆准的。

三． 熵——一种新的世界观

宇宙的能量总和是个常数，总的熵是不断增加的。

这也就是说我们既不能创造，也不能消灭能量。宇宙中的能量总和一开始便是固定的，而且永远不会改变。热力学第一定律就是能量守恒定律，它告诉我们能量虽然既不能被创造又不能被消灭，但它可以从一种形式转化为另一种形式。从来就没人创造过能量，也永远不会有人能创造。我们力所能及的只是把能量从一种状态转化成另一种状态。

世间万物的形态、结构和运动都不过是能量的不同聚集与转化形式的具体表现而已。一个人、一幢摩天大楼、一辆汽车或一棵青草，都体现了从一种形式转化成为另一种形式的能量。高楼拔地而起，青草的生成，都耗费了在其他地方聚集起来的能量。高楼夷为平地，青草也不复生长，但它们原来所包含的能量并没有消失，而只是被转移到同一环境的其他所在去了。

如果我们需要考虑的仅仅是热力学第一定律，那我们滥用那万世不竭的能源也没有什么奥妙了。然而我们知道世界并非如此。比如我们烧掉一块煤，它的能量虽然并没有消失，但却经过转化随着二氧化碳和其他气体一起散发到空间中去了。虽然燃烧过程中能量并没有消失，但我们却再也不能把同一块煤重新烧一次来做同样的功了。热力学第二定律解释了这个现象。它告诉我们每当能量从一种状态转化到另一种状态时，我们会“得到一定的惩罚”。这个惩罚就是我们损失了能在将来用于做某种功的一定能量。这就是所谓的熵。

熵是不能再被转化做功的能量的总和的测定单位。这个名称是由德国物理学家鲁道尔夫·克劳修斯于1868年第一次造出来的。但是年轻的法国军官沙迪·迦诺却比克劳修斯早41年发现了熵的原理。迦诺在研究蒸汽机工作原理时发现，蒸汽机之所以能做功，是因为蒸汽机系统里的一部分很冷，而另一部分却很热。换一句话说，要把能量转化为功，一个系统的不同部分之间就必须有能量集中程度的差异(即温差)。当能量从一个较高的集中程度转化到一个较低的集中程度(或由较高温度变为较低温度) 时，它就做了功。更重要的是每一次能量从一个水平转化到另一个水平，都意味着下一次能再做功的能量就减少了。比如河水越过水坝流入湖泊。当河水下落时，它可被用来发电，驱动水轮，或做其他形式的功。然而水一旦落到坝底，就处于不能再做功的状态了。在水平面上没有任何势能的水是连最小的轮子也带不动的。这两种不同的能量状态分别被称为“有效的”或“自由的”能量，和“无效的”或“封闭的”能量。熵的增加就意味着有效能量的减少。每当自然界发生任何事情，一定的能量就被转化成了不能再做功的无效能量。被转化成了无效状态的能量构成了我们所说的污染。许多人以为污染是生产的副产品，但实际上它只是世界上转化成无效能量的全部有效能量的总和。耗散了的能量就是污染。既然根据热力学第一定律，能量既不能被产生又不能被消灭，而根据热力学第二定律，能量只能沿着一个方向——即耗散的方向——转化，那么污染就是熵的同义词。它是某一系统中存在的一定单位的无效能量。（摘选自知乎。作者：海边的卡夫卡    链接：https://www.zhihu.com/question/19753084/answer/32205378）

公式：S = K log W

S就是熵，W是系统总的微观状态数，log是取对数的符号，k是一个固定的常数。这个公式被成为玻尔兹曼公式。

四． 世界不是确定的

世界的不确定性来自两个方面，一方面是当我们对世界认知的越来越细致的时候，发现影响世界的变量非常多，无法通过简单的公式和办法计算出确定的结果。如经济预测。第二个方面是不确定性是客观世界本身的一个特性。在宏观世界里，行星围绕恒星运动的速度和位置是可以计算准确的，可以画出它的运动轨迹。但在微观世界里，电子围绕原子核做高速运动时，我们无法同时准确测定出它在某一时刻的位置和运动速度，也无法描绘出运动轨迹。这本身就是原子的特性。

五．信息论

信息能否被度量？一本50万字的中文书籍《史记》和两本80万英文单词的《圣经旧约》、《圣经新约》，谁的信息量更大？直到1948年，香农在他著名的论文《通信的数学原理》，提出了信息熵的概念，才解决了对信息的度量问题，并量化地给出了信息的作用。同时，香农还把信息和世界的不确定性联系了起来。

信息的度量单位是比特（bit）。

“信息熵”反映信息系统的不确定性。比如，我们想搞清楚一件不确定性的事情，就需要了解大量的信息。如果我们对某件事情有较多的了解，就不需要太多的信息。信息量的度量就相当于不确定性的多少。

“互信息”，在信息论中对信息相关性的量化度量，可以解释为什么信息的相关性可以帮助我们解决很多问题。如，央行调整利率和股市短期浮动的互信息很大，它们之间有很强的相关性。

香农第一定律，也称为香农信源编码定律，对于信源发出的所有信息设计一种编码，那么编码的平均长度一定大于该信息元的信息熵，同时，一定存在一种编码方式，使得编码的平均长度无限接近于它的信息熵。

香农第二定律，讲的是信息的传播速率不可能超过信道的容量。也就是不断扩展带宽。

最大熵原理，当我们要对未知的事件寻找一个概率模型时，这个模型应当满足我们所有已经看到的数据，但是对未知的情况不做任何主观假设。