最近看到斯坦福大学神经生物学专家,骆利群教授的文章 (中译文参见公众号“神经现实”)
为何人类大脑如此高效?
有感而发。(骆教授是科大少年班 81级校友,笔者的同系师兄,现为美国科学院院士. 英文原文来自于 "Think Tank: 40 neuroscientists explore the biological roots of human experience"一书, 原文标题 "The Brain Achieves Its Computational Power through a Massively Parallel Architecture - 大脑通过大规模并行架构实现其计算威力", 编辑者 David Linden)
1/ 大部分人的工作方式是类似串联系统。学一个专业,有一个雇主,走一条路,或者同一个时间只能服务一个客户。
2/ 有许多客户的公司类似并联系统,有几千/几万/几百万甚至更多客户的公司/明星就是大规模并联。
3/ 串联者的体验,和大规模并联者是两个截然不同的世界。虽然孤立地观察,他们好像在做同一件事。
4/ 串联者关心的是,其串联路径上的某个连接会不会断掉,因此想方设法去维护与其连接节点的关系。遇到困难瓶颈时会不断内省,而不是思考在外部建立新的连接绕过去。
5/ 大规模并联者关心的是,如何在耗费同样能量的情况下,建立更多有机连接。因此,他第一关心的是连接节点的群体特征,而不去迎合单个节点的特殊需求。第二关心的是,如何在单位时间内同等能耗下,提升连接的效率。第三关心的是,外界环境涌现出什么新的东西,可以建立新的大规模连接。
6/ 串联系统的最大问题是,任何一个连接点上的误差,会在连接步骤中叠加放大。不管你在任何单一连接上做得多好。
7/ 智能大脑来自于神经元大规模并联的连接。“哺乳动物神经元平均有数以千计的输入和输出. 与之相比,单个晶体管总共只有三个输入和输出节点...单个神经元表达的信息可能是嘈杂的(精确度为1/100)。通过从100个带有同样信息的输入神经元中取均值,下游的神经元伙伴可以提取精确度更高的信息(约千分之一) " -- 摘自骆利群教授的 "The brain achieves its computational power through a massively parallel architecture" 原文
8/ 大规模并行的连接,因为其高并行度,导致下游的信息更加精准。这是其相对于串行计算系统的能耗低很多的重要原因之一。
9/ 同理,拥有大规模并联的连接者,可以获得来自外部世界的精度更高的信息,因而更加真实地理解认识客观世界。而不是像串联者那样,被少数样本的不具代表性的信息变本加厉地误导。这也是为什么高手看似举重若轻,新手疲于奔命却总不得其法的根本原因之一。
10/ 串联者是脆弱的,少数连接被切断会导致其整个世界的塌陷,因此其内心是常常焦虑的.
11/ 大规模并联者是反脆弱的,部分连接被切断,只会自然推动他把精力转移到在别处建立新的大规模连接。因此其内心是平静的,对未来是不断好奇和憧憬的.
12/ 大脑神经元放电频率最多每秒 1000次,对应计算速度每秒一千次。现在普通 PC 的计算速度可以超越每秒一千亿次 ( 十万 MIPS)。大脑能耗 (约十瓦) 也只有普通 PC 的十分之一。但除了一些明确定义的计算任务之外,大规模并行处理的人脑之抽象学习思维能力,是以串行计算架构为主的能耗高得多的电脑目前无法比拟的.
13/ 大脑之所以是大规模并联的架构,不是来自某个主观设计,而是因为其它的架构都在自然选择中因为能耗过大,精度太低,过于脆弱而被淘汰掉了。
14/ 神经元的大规模并行连接,自发涌现出大脑这样复杂的系统。同理,可以高效率建立大规模并联关系的社会,可能涌现出和大脑一样复杂的东西。
15/ 大规模并联,可以彻底弥补个体能力的短板。与其把个体的某个专项能力做到极致,不如把与外界的大规模并行连接做到极致。在同等能耗的情况下,超大规模的并行连接,可以高效实现一些在个体缺乏与外界连接时,完全无法想象的事情。
16/ 高效建立大规模并联的一个方法,就是坚持把自己的深度思考付诸文字,通过各种社交媒体传播出去。
17/ 数量就是质量,巨大的连接数量带来的是新维度上的完全不同的东西。
18/ 财富,知识,力量,大脑的自我意识,本质上都是一个从外界高效吸取能量的,开放的,大规模并行网络。聚焦在培育开放网络的大规模有机增长,好的结果自然发生,没有上限。只关注局部几根线的连接或者某个静态的目标,而忽视网络的培育和建设,很容易被外界环境的波动所摧毁,或者被新涌现出来的发展方向所抛弃。
19/ 做一个大规模并联者,从今天开始。