世界末日,诺亚方舟,登船时,你只能携带一个信封,延续人类的知识,你会写什么?
这是个思维实验,发起者张首晟教授在信封的第二行写了个公式:
S = - p Log p
别着急温习数学,你看到的是今天的主角 :熵( 音同 商 )。
伴随知识付费的兴起,这个生僻词,越来越多进入我们的视野。
这个公式为什么重要?
科学领域,张教授解释到,熵是人类对大自然最重要的认识。
为什么这么说?
管理领域,任正非2012年会上发言:企业不断向前发展,就是对抗熵增的过程。
熵增是什么,为什么要对抗?
学习领域,万维钢谈到:信息熵可以给自己增加选项,以前不会做的事儿现在会做了,哪怕不用,也足以形成实力威慑。
熵成了实力威慑,是好是坏?
层出不穷的术语,相互矛盾的解释,隙中观斗,眩乱反复。
好似大海行船,一望无际,流连其中,反而迷失自我。
这时候,你需要闭上眼睛,正本清源,一探所然。
热力学第二定律
从词典说起,熵字左边是火字旁,它起源于热力学。
1865年,热力学奠基人之一德国物理学家和数学家克劳修斯第一次使用了“ 熵(entropy) ” 。
我打算将 S 命名为系统的熵 ( entropy ),这个词源自希腊词 τροπή ( trope ) ,原意是转换。
精心挑选之后,熵 ( entropy )这个词与能量( energy )尽可能相似:它们所表达的物理含义如此密切相关,命名相似合情合理。”
克劳修斯发现,能量可以转化,但在转化过程中,总是有一部分能量会被浪费掉。
例如,汽油的能量可以转化成发动机的能量,但会产生大量的热能和废气。即使科技再发达,浪费的能量也无法减小至零。
被浪费的部分能量就称为熵。
能量是如何浪费的,英国科学家开尔文爵士发现,能量不会损失,只会耗散,能量仍在,只是无法利用。熵越大,表现为越无序。
把能量比作战斗力,有序的队伍比乱糟糟的队伍更有战斗力。
为何产生浪费,1944年,物理学家薛定谔在他的《生命是什么》中写到。
要摆脱死亡,就是说要活着,唯一的办法就是从环境中不断地吸取负熵。
无序不是物质的消亡,反而意味着生命的延续。生物只要活着,就不断从周围环境中汲取秩序。动物摄取组织得井然有序的有机化合物,消化吸收之后,再将其排出体外。这时物质的有序度已大大降低,但并未完全退化,还能被植物利用。
由于宇宙的总能量不变,每一次转化,都有一部分能量耗散,因此不难推论,有效能量越来越少,无效能量越来越多。
克劳修斯推论:宇宙之熵趋于无穷。直到有一天,所有能量都变成无效,将不再有任何能量转化。
这条推论也称为「热力学第二定律」,也就是张首晟教授所说「人类对大自然最重要的认识」。
它预示着宇宙的终点,科幻作家们称其为宇宙的"热寂”,阿西莫夫在《最后的问题》中描述:
那儿什么也没有了,只有最后一颗死星的遗骸,只有稀薄至极的尘埃,在剩余的一缕无限趋向绝对零度的热量中随机地振荡。
万事万物都扩散成一种无聊而又完美的均质状态。所有的星星都会熄灭,所有的秩序都会变成混乱,所有的地方温度都一样,再也没有什么值得流动的了,整个宇宙寂静了。
诞生伊始,熵就注定不凡,平凡的公式,却窥见宇宙的秘密。
从牛顿力学到统计力学
名字,是回家的路。
熵的出世,好似那只巴西的蝴蝶,轻轻煽动了翅膀。
1866年,熵诞生第二年,24岁的玻尔兹曼发表论文,将熵迁移至力学研究。他把熵定义为度量运动无序程度的一种方法,并在11年后定义了计算公式。
玻尔兹曼运用统计的观念,只考察分子运动排列的概率,来对应到相关物理量的研究,开辟了研究宏观的统计力学。为了铭记他的贡献,玻尔兹曼公式刻在了他的墓碑上。
在牛顿力学中,解释物体内每一个分子的运动是不可能的,熵的出现,打破了僵局。用运动的概率统计替代具体的运动行为,丰富了科学家的武器库,引领了一场研究范式的革命。
物理学家麦克斯韦随即加入其中,他挑战的是理论的适用边界。
麦克斯韦认为,热力学第二定律描述的不是单个分子的运动行为,而是大量分子表现的统计规律。
他意识到大自然中必然有系统在某些条件下“违反了”热力学第二定律。对统计规律而言,热量只能从温度高的流向温度低的,但是就个别分子而言,温度低的区域的快分子完全可能自发地跑向温度高的区域。
当时的麦克斯韦对此问题似乎还说不出个所以然,于是便诙谐地设想了一种假想的“小妖精”,即“麦克斯韦妖” 。
这是一个思想实验,一个绝热容器被分成相等的两格,中间是由一只小妖控制的一扇“小门”。
这只小妖个头迷你,没啥特别的本事,但眼神好,反应敏捷,能准确地探测并控制单个分子运动,迅速把移动的分子从从左盒丢进右盒,把慢速运动的分子从右盒丢进左盒。因此,这个小盒子不仅左右部分有温差,熵还自发减少。
这个妖无需做功,只需眼明手快即可。它能让密闭容器内的半边空气变得滚烫,同时另一半却变得冰冷,让混乱变得有序,避免封闭系统变成一潭死水。
1867年,麦克斯韦在第一次提出麦克斯韦妖时说:“这证明第二定律只具有统计的确定性”,此言表明麦克斯韦是想借此来说明熵增原理是系统的统计规律。
但这只小妖太迷人了,它操控万物,它逆转阴阳。它如何工作,它如何制造,令人臆想连篇。
1903年,美国历史学家亨利·亚当斯在给弟弟布鲁克斯的信中写道:“人如同原子,而那个掌控着热力学第二定律的麦克斯韦妖则应当成为总统。”
麦克斯韦从来没有想到,他的妖会如此广为流传,如此经久不衰。这个小妖精困惑物理学家将近150年,一直不停地有学者研究。
从牛顿力学到统计力学,既是一次跨越,也积蓄了下一次跨越的能量。
玻尔兹曼和麦克斯韦没想到,这只小妖,将打开新世界的大门。
信息时代的诞生
1948年,博士毕业后就在贝尔实验室里研究通讯技术的电子工程师克劳德 • 香农发表了改变世界的论文:《通讯的数学理论》。
发表前夜,他遇到了难题:如何度量信息传输中的“不确定性”,他踌躇再三,难以定夺。想把它称为“information(信息)”,但又认为这个名词太过大众化,已被普通老百姓的日常话语用滥了。他又考虑过就用单词“uncertainty(不确定性)”,但它却更像抽象名词,缺乏量化的余地。
这时,他遇见了天才的数学家冯 • 诺依曼,冯·诺依曼马上告诉他:
就叫它熵吧,这有两个好理由。一是你的不确定性函数已在统计物理中用到过,在那里它就叫熵。
第二个理由更重要:没人真正理解熵为何物,这就让你在任何时候都可能进退,立于不败之地。
当然,这只是贝尔实验室流传的一则传闻。
熵又一次重装上阵,这一刻,麦克斯韦小妖显灵。
在小妖的实验中,有一个容易忽略的前提:小妖有能力识别分子的运动。
也就是说,小妖看见了我们看不见的东西,它为何做的到。因为信息,拥有分子运动的信息,它才有能力去识别。
换句话说,小妖每处理一个粒子,是做了一次信息与能量的交换,小妖利用信息对抗着无序。
正如万维钢的表达:信息量可以给自己增加选项,对抗了混乱,形成实力威慑。
沿着这个启示,匈牙利理论物理学家、曼哈顿计划的发起者之一齐拉特发现,只要精确核算每次度量和记忆,信息和能量转换也是可以精确计算的。根据他的计算,每获取一单位的信息总是会相应带来一定的熵增加。
一边是物理世界,一边是信息世界,小妖打开了两个世界之间的小门。
信息熵是对信息无序程度的度量。
外在表现和热力熵相同,体现了信息的无序程度。
内在含义和热力熵有异,信息越无序,信息量反而越高。
你平时讲的「信息量」,是从人出发的,信息量高 = 认知负荷高 = 人不好理解。
在信息论中,要换到计算机角度,信息量高 = 计算机不好理解。
来看两条“消息” :
1、 怎想再很,末第铎制释能锁其那策铜怎亚,狄幺濑互梯是日方通的。
2、 对这些村民来说,星期天是休息的日子,至少不需要到田地里干活。
第一条消息是胡乱打出来的字,第二条消息则是小说中的一句话。请问,哪条消息的信息量更大?
直觉上来说,你可能认为第二条的信息量更大,因为它至少是一个信息,而第一条完全是乱码。
在信息角度,第二条消息只不过是看起来更有意义而已,信息量更大的是第一条。第一条每个字都不可替代,而第二条有很多字可以省略,虽然第一条超出了人的理解能力范围,但计算机可以做到。
在信息角度,最重要的不是你说了什么,而是你能说什么,重要的是信息背后的不确定性,不确定蕴含未知,才有存储价值。
以“信息是熵”为原点 ,信息论就此诞生,信息时代拉开了序幕。
毫不夸张地说,这彻底改变了人们的生活,手机、电脑、互联网...这些划时代的发明,无不源自于此。
物质世界,从有序向无序,延续生命。
信息世界,从有序到无序,启迪未来。
你可能感到抽象。
生活中,你看见的是紧密交织的世界,学一些抽象思维,才好抽丝剥茧。
高速驾驶守则
看完了理论,最后,来谈谈如何行动。
行驶在高速公路,你需要仪表盘的辅助,在信息公路上,你同样需要。
信息大道不是一条直道,你常看到分支千万,你常迷茫下一步行动,你也常可能原地绕圈。
这时候,需要一台寻路仪,比较多条路线的长短,哪怕提示不精确,也胜过自己试错。
1957年,美国物理学家埃德温 • 杰恩斯在论文《信息论与统计物理》中首次提出了“最大熵原则”。
原理很专业,通俗地讲,面对未知,使得「信息熵」最大的那条路线,最有可能带你接近其真实状态。
这篇论文被引用了将近12000次,堪称信息世界的寻路指南。
读一本书,获得的感悟再多,可能只是加强错误信念。
读一批书,从混乱中爬出来,更可能去触碰真实理念。
面对信息迷雾,多样化信息可以破除认知偏见,给你指点迷津,帮你节省成本。
行驶至高速,别忘了,道路千万条,安全第一条。
大脑是个吝啬鬼,处理信息需要计算,计算消耗体力、脑力。
彼之蜜糖,吾之毒药。一味加速,会让你不堪重负。
你还需要一个车速表,表盘的刻度不是时速,而是信息熵。
车速表提示你何时刹车,也高速你何时加速,使你保持安全驾驶。
好比开车时,不能一味踩油门,你要习惯在油门和刹车中不断切换。
阳志平在《人生模式》中写到:
人生多数时候是在两种模式之间交错。第一种模式是探索;第二种模式是利用。
我们在探索和利用之间反复。当陷入探索模式时,世界于你而言,是好奇的、开放的;但同样是摇摆的、不确定的;转为利用模式,我们往往是保守的、防御的;但同样是稳固的、确定的。大到一份感情、一份工作,小到一次美食、一次理发,探索和利用,两种模式不断交错。
人是精神的,也是物质的。
在探索阶段,重要的是真实,增加不确定,让精神的你更丰富。
在利用阶段,重要的是生存,消除不确定,让生活的你更满意。
你要在两种模式中切换,而信息熵则给你切换的指示。
光探索,不利用,必然焦虑;光利用,不探索,必然焦虑。
潮涨潮落,便如世事无常,前一刻还生机勃勃,下一刻便归于沉寂。
知方寸,懂进退,大自然如此,你又何尝不是。
观看世界的一扇窗
熵是一种度量无序的工具,工具本身不是答案,使用起来才有意义。
任正非拿来衡量团队的战斗力,万维钢则用来发掘文本的知识量。
同样的工具,在不同人手中焕发不一样的威力。
熵是一种深度思考的武器。
它拉高了思考的视角,从微观的无序走向宏观的有序。
它开启了信息的大门,从过去的经验走向未来的可能。
它是探索世界的指示,面对未知,不再无所依存。
熵更是一种超越常规的力量。
这是一种智慧,诸行无常,那就计算世时的无常。
这是一种勇气,诸法无我,那就挣脱自我的屏障。
这是一种气度,诸漏皆苦,那就探寻内在的快乐。
世界的真相在世界之外,熵是观看世界的一扇窗。
超越生活的苟且,需要四海的胸怀。
我只愿面朝大海,春暖花开。
参考资料
- 丁玖. (2019). 《信息熵是怎样炼成的 | 纪念信息论之父香农》.微信公众平台
- PM熊叔. (2019). 《什么是熵?读这篇文章或许就够了:从宇宙大爆炸到AI算法再到世界观》. 微信公众平台
- 万维钢. (2019). 《你有你的计划,世界另有计划》
- 詹姆斯·格雷克. (2013). 《信息简史》
- 张天蓉. (2018). 《从掷骰子到阿尔法狗:趣谈概率》
- 阳志平. (2019). 《人生模式》