观看世界的一扇窗 - 熵的前世今生

世界末日,诺亚方舟,登船时,你只能携带一个信封,延续人类的知识,你会写什么?

这是个思维实验,发起者张首晟教授在信封的第二行写了个公式:

S = - p Log p

别着急温习数学,你看到的是今天的主角 :熵( 音同 商 )。

伴随知识付费的兴起,这个生僻词,越来越多进入我们的视野。

这个公式为什么重要?

科学领域,张教授解释到,熵是人类对大自然最重要的认识。

为什么这么说?

管理领域,任正非2012年会上发言:企业不断向前发展,就是对抗熵增的过程。

熵增是什么,为什么要对抗?

学习领域,万维钢谈到:信息熵可以给自己增加选项,以前不会做的事儿现在会做了,哪怕不用,也足以形成实力威慑。

熵成了实力威慑,是好是坏?

层出不穷的术语,相互矛盾的解释,隙中观斗,眩乱反复。

好似大海行船,一望无际,流连其中,反而迷失自我。

这时候,你需要闭上眼睛,正本清源,一探所然。

热力学第二定律

从词典说起,熵字左边是火字旁,它起源于热力学。

1865年,热力学奠基人之一德国物理学家和数学家克劳修斯第一次使用了“ 熵(entropy) ” 。

我打算将 S 命名为系统的熵 ( entropy ),这个词源自希腊词 τροπή ( trope ) ,原意是转换。

精心挑选之后,熵 ( entropy )这个词与能量( energy )尽可能相似:它们所表达的物理含义如此密切相关,命名相似合情合理。”

克劳修斯发现,能量可以转化,但在转化过程中,总是有一部分能量会被浪费掉。

例如,汽油的能量可以转化成发动机的能量,但会产生大量的热能和废气。即使科技再发达,浪费的能量也无法减小至零。

被浪费的部分能量就称为熵。

能量是如何浪费的,英国科学家开尔文爵士发现,能量不会损失,只会耗散,能量仍在,只是无法利用。熵越大,表现为越无序。

把能量比作战斗力,有序的队伍比乱糟糟的队伍更有战斗力。

为何产生浪费,1944年,物理学家薛定谔在他的《生命是什么》中写到。

要摆脱死亡,就是说要活着,唯一的办法就是从环境中不断地吸取负熵。

无序不是物质的消亡,反而意味着生命的延续。生物只要活着,就不断从周围环境中汲取秩序。动物摄取组织得井然有序的有机化合物,消化吸收之后,再将其排出体外。这时物质的有序度已大大降低,但并未完全退化,还能被植物利用。

由于宇宙的总能量不变,每一次转化,都有一部分能量耗散,因此不难推论,有效能量越来越少,无效能量越来越多。

克劳修斯推论:宇宙之熵趋于无穷。直到有一天,所有能量都变成无效,将不再有任何能量转化。

这条推论也称为「热力学第二定律」,也就是张首晟教授所说「人类对大自然最重要的认识」。

它预示着宇宙的终点,科幻作家们称其为宇宙的"热寂”,阿西莫夫在《最后的问题》中描述:

那儿什么也没有了,只有最后一颗死星的遗骸,只有稀薄至极的尘埃,在剩余的一缕无限趋向绝对零度的热量中随机地振荡。

万事万物都扩散成一种无聊而又完美的均质状态。所有的星星都会熄灭,所有的秩序都会变成混乱,所有的地方温度都一样,再也没有什么值得流动的了,整个宇宙寂静了。

诞生伊始,熵就注定不凡,平凡的公式,却窥见宇宙的秘密。

从牛顿力学到统计力学

名字,是回家的路。

熵的出世,好似那只巴西的蝴蝶,轻轻煽动了翅膀。

1866年,熵诞生第二年,24岁的玻尔兹曼发表论文,将熵迁移至力学研究。他把熵定义为度量运动无序程度的一种方法,并在11年后定义了计算公式。

玻尔兹曼运用统计的观念,只考察分子运动排列的概率,来对应到相关物理量的研究,开辟了研究宏观的统计力学。为了铭记他的贡献,玻尔兹曼公式刻在了他的墓碑上。

在牛顿力学中,解释物体内每一个分子的运动是不可能的,熵的出现,打破了僵局。用运动的概率统计替代具体的运动行为,丰富了科学家的武器库,引领了一场研究范式的革命。

物理学家麦克斯韦随即加入其中,他挑战的是理论的适用边界。

麦克斯韦认为,热力学第二定律描述的不是单个分子的运动行为,而是大量分子表现的统计规律。

他意识到大自然中必然有系统在某些条件下“违反了”热力学第二定律。对统计规律而言,热量只能从温度高的流向温度低的,但是就个别分子而言,温度低的区域的快分子完全可能自发地跑向温度高的区域。

当时的麦克斯韦对此问题似乎还说不出个所以然,于是便诙谐地设想了一种假想的“小妖精”,即“麦克斯韦妖” 。

这是一个思想实验,一个绝热容器被分成相等的两格,中间是由一只小妖控制的一扇“小门”。

这只小妖个头迷你,没啥特别的本事,但眼神好,反应敏捷,能准确地探测并控制单个分子运动,迅速把移动的分子从从左盒丢进右盒,把慢速运动的分子从右盒丢进左盒。因此,这个小盒子不仅左右部分有温差,熵还自发减少。

这个妖无需做功,只需眼明手快即可。它能让密闭容器内的半边空气变得滚烫,同时另一半却变得冰冷,让混乱变得有序,避免封闭系统变成一潭死水。

1867年,麦克斯韦在第一次提出麦克斯韦妖时说:“这证明第二定律只具有统计的确定性”,此言表明麦克斯韦是想借此来说明熵增原理是系统的统计规律。

但这只小妖太迷人了,它操控万物,它逆转阴阳。它如何工作,它如何制造,令人臆想连篇。

1903年,美国历史学家亨利·亚当斯在给弟弟布鲁克斯的信中写道:“人如同原子,而那个掌控着热力学第二定律的麦克斯韦妖则应当成为总统。”

麦克斯韦从来没有想到,他的妖会如此广为流传,如此经久不衰。这个小妖精困惑物理学家将近150年,一直不停地有学者研究。

从牛顿力学到统计力学,既是一次跨越,也积蓄了下一次跨越的能量。

玻尔兹曼和麦克斯韦没想到,这只小妖,将打开新世界的大门。

信息时代的诞生

1948年,博士毕业后就在贝尔实验室里研究通讯技术的电子工程师克劳德 • 香农发表了改变世界的论文:《通讯的数学理论》。

发表前夜,他遇到了难题:如何度量信息传输中的“不确定性”,他踌躇再三,难以定夺。想把它称为“information(信息)”,但又认为这个名词太过大众化,已被普通老百姓的日常话语用滥了。他又考虑过就用单词“uncertainty(不确定性)”,但它却更像抽象名词,缺乏量化的余地。

这时,他遇见了天才的数学家冯 • 诺依曼,冯·诺依曼马上告诉他:

就叫它熵吧,这有两个好理由。一是你的不确定性函数已在统计物理中用到过,在那里它就叫熵。

第二个理由更重要:没人真正理解熵为何物,这就让你在任何时候都可能进退,立于不败之地。

当然,这只是贝尔实验室流传的一则传闻。

熵又一次重装上阵,这一刻,麦克斯韦小妖显灵。

在小妖的实验中,有一个容易忽略的前提:小妖有能力识别分子的运动。

也就是说,小妖看见了我们看不见的东西,它为何做的到。因为信息,拥有分子运动的信息,它才有能力去识别。

换句话说,小妖每处理一个粒子,是做了一次信息与能量的交换,小妖利用信息对抗着无序。

正如万维钢的表达:信息量可以给自己增加选项,对抗了混乱,形成实力威慑。

沿着这个启示,匈牙利理论物理学家、曼哈顿计划的发起者之一齐拉特发现,只要精确核算每次度量和记忆,信息和能量转换也是可以精确计算的。根据他的计算,每获取一单位的信息总是会相应带来一定的熵增加。

一边是物理世界,一边是信息世界,小妖打开了两个世界之间的小门。

信息熵是对信息无序程度的度量。

外在表现和热力熵相同,体现了信息的无序程度。

内在含义和热力熵有异,信息越无序,信息量反而越高。

你平时讲的「信息量」,是从人出发的,信息量高 = 认知负荷高 = 人不好理解。

在信息论中,要换到计算机角度,信息量高 = 计算机不好理解。

来看两条“消息” :

1、 怎想再很,末第铎制释能锁其那策铜怎亚,狄幺濑互梯是日方通的。

2、 对这些村民来说,星期天是休息的日子,至少不需要到田地里干活。

第一条消息是胡乱打出来的字,第二条消息则是小说中的一句话。请问,哪条消息的信息量更大?

直觉上来说,你可能认为第二条的信息量更大,因为它至少是一个信息,而第一条完全是乱码。

在信息角度,第二条消息只不过是看起来更有意义而已,信息量更大的是第一条。第一条每个字都不可替代,而第二条有很多字可以省略,虽然第一条超出了人的理解能力范围,但计算机可以做到。

在信息角度,最重要的不是你说了什么,而是你能说什么,重要的是信息背后的不确定性,不确定蕴含未知,才有存储价值。

以“信息是熵”为原点 ,信息论就此诞生,信息时代拉开了序幕。

毫不夸张地说,这彻底改变了人们的生活,手机、电脑、互联网...这些划时代的发明,无不源自于此。

物质世界,从有序向无序,延续生命。

信息世界,从有序到无序,启迪未来。

你可能感到抽象。

生活中,你看见的是紧密交织的世界,学一些抽象思维,才好抽丝剥茧。

高速驾驶守则

看完了理论,最后,来谈谈如何行动。

行驶在高速公路,你需要仪表盘的辅助,在信息公路上,你同样需要。

信息大道不是一条直道,你常看到分支千万,你常迷茫下一步行动,你也常可能原地绕圈。

这时候,需要一台寻路仪,比较多条路线的长短,哪怕提示不精确,也胜过自己试错。

1957年,美国物理学家埃德温 • 杰恩斯在论文《信息论与统计物理》中首次提出了“最大熵原则”。

原理很专业,通俗地讲,面对未知,使得「信息熵」最大的那条路线,最有可能带你接近其真实状态。

这篇论文被引用了将近12000次,堪称信息世界的寻路指南。

读一本书,获得的感悟再多,可能只是加强错误信念。

读一批书,从混乱中爬出来,更可能去触碰真实理念。

面对信息迷雾,多样化信息可以破除认知偏见,给你指点迷津,帮你节省成本。

行驶至高速,别忘了,道路千万条,安全第一条。

大脑是个吝啬鬼,处理信息需要计算,计算消耗体力、脑力。

彼之蜜糖,吾之毒药。一味加速,会让你不堪重负。

你还需要一个车速表,表盘的刻度不是时速,而是信息熵。

车速表提示你何时刹车,也高速你何时加速,使你保持安全驾驶。

好比开车时,不能一味踩油门,你要习惯在油门和刹车中不断切换。

阳志平在《人生模式》中写到:

人生多数时候是在两种模式之间交错。第一种模式是探索;第二种模式是利用。

我们在探索和利用之间反复。当陷入探索模式时,世界于你而言,是好奇的、开放的;但同样是摇摆的、不确定的;转为利用模式,我们往往是保守的、防御的;但同样是稳固的、确定的。大到一份感情、一份工作,小到一次美食、一次理发,探索和利用,两种模式不断交错。

人是精神的,也是物质的。

在探索阶段,重要的是真实,增加不确定,让精神的你更丰富。

在利用阶段,重要的是生存,消除不确定,让生活的你更满意。

你要在两种模式中切换,而信息熵则给你切换的指示。

光探索,不利用,必然焦虑;光利用,不探索,必然焦虑。

潮涨潮落,便如世事无常,前一刻还生机勃勃,下一刻便归于沉寂。

知方寸,懂进退,大自然如此,你又何尝不是。

观看世界的一扇窗

熵是一种度量无序的工具,工具本身不是答案,使用起来才有意义。

任正非拿来衡量团队的战斗力,万维钢则用来发掘文本的知识量。

同样的工具,在不同人手中焕发不一样的威力。

熵是一种深度思考的武器。

它拉高了思考的视角,从微观的无序走向宏观的有序。

它开启了信息的大门,从过去的经验走向未来的可能。

它是探索世界的指示,面对未知,不再无所依存。

熵更是一种超越常规的力量。

这是一种智慧,诸行无常,那就计算世时的无常。

这是一种勇气,诸法无我,那就挣脱自我的屏障。

这是一种气度,诸漏皆苦,那就探寻内在的快乐。

世界的真相在世界之外,熵是观看世界的一扇窗。

超越生活的苟且,需要四海的胸怀。

我只愿面朝大海,春暖花开。

参考资料

  1. 丁玖. (2019). 《信息熵是怎样炼成的 | 纪念信息论之父香农》.微信公众平台
  2. PM熊叔. (2019). 《什么是熵?读这篇文章或许就够了:从宇宙大爆炸到AI算法再到世界观》. 微信公众平台
  3. 万维钢. (2019). 《你有你的计划,世界另有计划》
  4. 詹姆斯·格雷克. (2013). 《信息简史》
  5. 张天蓉. (2018). 《从掷骰子到阿尔法狗:趣谈概率》
  6. 阳志平. (2019). 《人生模式》
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容