201904-智能时代(上)

《智能时代》---吴军

大数据与智能革命重新定义未来;2%的人将会控制未来,成为他们或被淘汰;重塑个人思维,构建未来的商业和社会图景。

目录:

序言

前言:人类的胜利

第一章 数据—人类建造文明的基石

        现象,数据和知识

        数据的作用:文明的基石

        相关性:使用数据的钥匙

        统计学:点石成金的魔棒

        数学模型:数据驱动方法的基础

        小结

第二章 大数据和机器智能

        什么是机器智能

        鸟飞派:人工智能1.0

        另辟蹊径:统计+数据

        数据创造奇迹:量变到质变

        大数据的特征

        变智能问题为数据问题

第三章 思维的革命

        思维方式决定科学成就:从欧几里得、托勒密到牛顿

        工业革命,机械思维的结果

        世界的不确定性

        熵— 一种新的世界观

        大数据的本质

        从因果关系到强相关关系

        数据公司Google

        小节        

第四章 大数据与商业

        从大数据中找规律

        巨大的商业利好:相关性、时效性和个性化的重要性

        大数据商业的共同点—尽在数据流中

        把控每一个细节

        重新认识穷举法—完备性带来的结果

        从历史经验看大数据的作用

        技术改变商业模式

        加(+)大数据订造新产业

        小节

第五章 大数据和智能革命的技术挑战

        技术的拐点

        数据的产生

        信息的存储

        传输的技术

        信息的处理

        数据收集:看似简单的难题

        数据存储的压力和数据表示的难题

        并行计算和实时处理:并非增加及其那么简单

        数据挖掘:机器智能的关键

        数据安全的技术

        保护隐私:靠大数据长期挣钱的必要条件

        小结

第六章 未来智能化产业

        未来的农业

        未来的体育

        未来的制造业

        未来的医疗

        未来的律师业

        未来的记者和编辑

        小结

第七章 智能革命和未来社会

        智能化社会

        精细化社会

        无隐私的社会

        机器抢掉人的饭碗

        争当2%的人

        小结

主题:个人的精进。

201904-智能时代(上)

201904-智能时代(下)


序一:

由摩尔定律所驱动的计算机处理能力也在持续增长,现在每年新増的数据量与计算机处理能力都是以前无法相比的,但数据量与计算机处理能力之比并没有因为年份而有数量级的大变化。问题是为什么现在才出现大数据热呢?

吴军先生的《智能时代》一书给出了答案。该书回顾了科学研究发展的四个范式,即描述自然现象的实验科学、以牛顿定律和麦克斯韦方程等为代表的理论科学、模拟复杂现象的计算科学和今天的数据密集型科学。

即便在实验科学和理论科学及计算科学范式时期,数据仍然起了重要作用。作者在介绍科学发展史时用实例说明了数据在科学发现中的位置,在牛顿和麦克斯韦时代,他们所导出的简洁的公式给出的确定性的规律是由大量观察数据所验证的。

现在我们面对的是更复杂的自然和社会现象,多维度和多变量导致很大的不确定性,虽然还不能用解析式来说明因果关系,但如果从足够多的数据中发现 相关性 也能把握事物发展的轨迹,这就是数据密集型科学产生的背景。

计算机的计算与存储能力是人远远不及的,唯一不足是智能,但人的智能也不是与生俱来,只是学习的结果。机器智能可以通过深度学习得到,从而将大数据挖掘问题转化为可计算问题来处理。大数据挖掘的需求加速了机器智能技术的成熟,可以说,大数据与机器智能相伴而生,促进物联网从感知到认知并智能决策的升华,催生了智能化时代。

这是一个计算无所不在、软件定义一切、数据驱动发展的新时代。相比以蒸汽机的发明为标志以机械化为特征的第一次工业革命,以电的发明为标志以电气化为特征的第二次工业革命,现在以大数据应用为标志之一和以智能化为特征的新一轮产业革命到来了,它对人类文明和社会进步及经济发展的影响将不亚于前两次工业革命。

指出技术时代的变迁总是会引起现有产业格局的重大调整,要抓住智能时代的机遇并认真对待挑战,力争在新一轮产业变革浪潮中占领先机。

数据密集型科学产生的背景。


序二:

最近几年,人类在一些科技前沿领域取得了重大的突破,这些领域包括:人工智能、基因技术、纳米技术等。

大数据是解决不确定性的良药

“用不确定的眼光看待世界,再用信息来消除这种不确定性”,是大数据解决智能问题的本质。

吴军博士在书中提到了世界的不确定性来自两个方面,一是影响世界的变量太多以至于无法用数学模型来描述;二是来自客观世界本身:不确定性是我们所在宇宙的特性。因此,用机械论已经完全无法对未来进行预测。

香农,这位不世出的天才,则通过借用热力学中“熵”的概念,引入“信息熵”,用信息论将世界的不确定性与信息联系在了一起。这个建立在不确定性上的理论,正是今天人类研究大数据与机器智能的基石。

而在每一次技术革命中,只有率先采用新技术,才能立于不败之地。在智能革命中,现有产业采用了新技术后,将会全面升级,成为新产业,这将给我们带来无限的机会。

智能革命带来前所未有的不连续性挑战:

本书的一个重要观点是:机器智能革命的发生来自大数据量的积累达到质变的奇点。从这个角度来看,机器的学习同人类的学习并没有什么本质的不同。几千年以来,我们人类的知识都建立在归纳法之上,归纳法隐含的假设是“未来将继续和过去一样”,换句话说应该叫连续性假设。但即将到来的这个“智能时代”,可以说人类将遭遇前所未有的“不连续性”。如何在新的时代里生存,跨越底层认知的不连续性,是前进的第一步。

如何在智能时代开始跨越思维的不连续性?寻找答案,此书也许是最恰当的一本。

大数据是解决不确定性的良药


前言:

计算机之所以能战胜人类,是因为机器获得智能的方式和人类不同,它不是靠逻辑推理,而是靠大数据和智能算法。

具体到下棋的策略,AlphaGo里面有两个关键的技术。

第一个关键技术是把棋盘上当前的状态变成一个 获胜概率的数学模型 ,这个模型里面没有任何人工的规则,而是完全靠前面所说的数据训练出来的。

第二个关键技术是启发式搜索算法——蒙特卡罗树搜索算法(Monte Carlo Tree Search),它能将搜索的空间限制在非常有限的范围内,保证计算机能够快速找到好的下法。

下围棋这个看似智能型的问题,从本质上讲,是一个大数据和算法的问题。

当然,Google开发AlphaGo的最终目的,并非要证明计算机下棋比人强,而是要开发一种机器学习的工具,让计算机能够解决智能型问题。AlphaGo和李世石对弈,实际上是对当今机器智能水平的一个测试。AlphaGo的胜利标志着人类在机器智能方面达到了一个崭新的水平,因此它是人类的胜利;

AlphaGo无论是在训练模型时,还是在下棋时所采用的算法都是几十年前大家就已经知道的机器学习和博弈树搜索算法,Google所做的工作是让这些算法能够在上万台甚至上百万台服务器上并行运行,这就使得计算机解决智能问题的能力有了本质的提高。

今天,计算机已经开始完成很多过去必须用人的智力才能够完成的任务,比如:医疗诊断,阅读和处理文件,自动回答问题,撰写新闻稿,驾驶汽车,等等。可以讲,AlphaGo的获胜,宣告了机器智能时代的到来。

AlphaGo的灵魂是计算机科学家为它编写的程序。机器不会控制人类,但是制造智能机器的人可以。而科技在人类进步中总是扮演着最活跃最革命的角色,它的发展是无法阻止的,我们能做的就是面对现实,抓住智能革命的机遇,而不是回避它、否定它和阻止它。未来的社会,属于那些具有创意的人,包括计算机科学家,而不属于掌握某种技能做重复性工作的人。

在AlphaGo取得人机大战胜利之际,我们出版这本书,希望能让大家更多地了解大数据的本质、它的作用、它和机器智能的关系、机器智能的原理和发展历程,以及它们对未来产业和社会的影响。

希望能让大家更多地了解大数据的本质、它的作用、它和机器智能的关系、机器智能的原理和发展历程,以及它们对未来产业和社会的影响。



第一章        数据——人类建造文明的基石

如果我们把资本和机械动能作为大航海时代以来全球近代化的推动力的话,那么数据将成为下一次技术革命和社会变革的核心动力。

1,现象,数据和知识

在计算机出现之前,一般书籍上的文字内容并不被看成是数据,而今天,这种以语言和文字形式存在的内容是全世界各种信息处理中最重要的数据,也是全世界通信领域和信息科技产业的核心数据——包括我们的信件、电话和电子邮件内容、电视和广播节目、互联网网页,以及各种社交产品中由用户产生的内容(User Generated Content,简称UGC)。这些数据的共同特点是以语音和文字为载体。因此,研究人员为了更好地研究和处理它们,还建立了专门针对语音和文字的数据库,即所谓的语料库(Corpus)。在语料库中,数据主要是语音和文字的内容,反而没有多少数字的内容。

在西方很多物理学家看来,上帝在创造这个宇宙时,将很多信息埋藏在了黑暗之中,他们的工作就是找到这些信息,并且用数据把它们描述清楚。

如何处理数据,过滤掉没有用的噪声和删除有害的数据,从而获取数据背后的信息,就成为技术甚至是一种艺术。只有善用数据,我们才能够得到意想不到的惊喜,即数据背后的信息。

从这个墓室的尺寸,我们分析出4600年前的古埃及人已经知道了勾股定理,进而可以知道那个时期古埃及文明大致发展到了什么水平,这就是从数据得到信息很好的例子。

处理信息和数据可以说是人类所特有的本事,而这个本事的大小和现代智人的社会发展有关。


2,数据的作用:文明的基石

从观察中总结出数据,是人类和动物的重要区别,后者虽具有观察能力,却无法总结出数据,但是人类有这个能力。而得到数据和使用数据的能力,是衡量文明发展水平的标准之一。

事实证明,以天狼星和太阳同时出现作为参照系比以太阳作为参照系更准确些。这实际上也说明了好的模型要和数据相吻合的道理,因此古埃及人已经有了从数据中总结数学模型的基本能力。

相关性 是让数据发挥出作用的魔棒。

使用数据的标准流程

3,相关性:使用数据的钥匙

很多时候,我们无法直接获得信息(比如疫情传播情况),但是我们可以将相关联的信息(比如各地搜索情况)量化,然后通过数学模型,间接地得到所要的信息。而各种数学模型的基础都离不开概率论和统计学。

4, 统计学:点石成金的魔棒

不过我们这里要强调统计学中数据采集上的两个要点——量和质。

我想大部分读者都会同意这样一个观点,在统计样本数量不充分的情况下,统计数字毫无意义。至于需要多少数据统计结果(在我们这个问题里是概率的估计)才是准确的,这就需要进行定量分析了。

统计除了要求数据量必须充分以外,还要求采样的数据具有代表性。

5,数学模型:数据驱动方法的基础

在大多数复杂的应用中,需要通过数据建立起一个数学模型,以便在实际应用中使用。要建立数学模型就要解决两个问题,首先是采用什么样的模型,其次是模型的参数是多少。

在过去,无论在理论上还是工程上,大家都把主要的精力放在寻找模型上。有了模型之后,第二步就是要找到模型的参数,以便让模型至少和以前观察到的数据相吻合。这一点在过去的被重视程度远不如找模型。但是今天它又有了一个比较时髦而高深的词——机器学习。

鉴于完美的模型未必存在,即使存在,找到它也非常不容易,而且费时间,因此就有人考虑是否能通过用很多简单不完美的模型凑在一起,起到完美模型的效果呢?。。。从理论上讲,只要找到足够多的具有代表性的样本(数据),就可以运用数学找到—个模型或者一组模型的组合,使得它和真实情况非常接近。

在工程上,采用多而简单的模型常常比一个精确的模型成本更低,也被使用得更普遍。

回到数学模型上,其实只要数据量足够,就可以用若干个简单的模型取代一个复杂的模型。这种方法被称为数据驱动方法,因为它是先有大量的数据,而不是预设的模型,然后用很多简单的模型去契合数据(Fit Data)。

当然,数据驱动方法要想成功,除了数据量大之外,还要有一个前提,那就是样本必须非常具有代表性,这在任何统计学教科书里就是一句话,但是在现实生活中要做到是非常难的。

数据驱动方法最大的优势在于,它可以在最大程度上得益于计算机技术的进步。尽管数据驱动方法在一开始数据量不足、计算能力不够时,可能显得有些粗糙,但是随着时间的推移,摩尔定律保证了计算能力和数据量以一个指数级增长的速度递增,数据驱动方法可以非常准确。 相比之下,很多其他方法的改进需要靠理论的突破,因此改进起来周期非常长。在过去的30年里,计算机变得越来越聪明,这并非是因为我们对特定问题的认识有了多大的提高,而是因为在很大程度上我们靠的是数据量的增加。

可以用来说明数据驱动方法对机器智能产生作用的最佳案例,恐怕要数2016年在计算机行业最热门的事件——Google的AlphaGo计算机战胜天才围棋选手李世石了。

小结

数据的范畴远比我们通常想象的要广得多。人类认识自然的过程,科学实践的过程,以及在经济、社会领域的行为,总是伴随着数据的使用。从某种程度上讲,获得和利用数据的水平反映出文明的水平。在电子计算机诞生、人类进入信息时代之后,数据的作用越来越明显,数据驱动方法开始被普遍采用。如果我们把资本和机械动能作为大航海时代以来全球近代化的推动力,那么数据将成为下一次技术革命和社会变革的核心动力。接下来,我们将在这样一个高度上来理解;

小结:

1,从某种程度上讲,获得和利用数据的水平反映出文明的水平。

2,数据将成为下一次技术革命和社会变革的核心动力。



第二章 大数据和机器智能


主要内容:从技术的层面分析大数据为什么如此重要,尤其是在机器智能方面的应用,机器智能的革命将导致计算机在越来越多的领域超过人类,并最终让我们的社会发生天翻地覆的变化。

在有大数据之前,计算机并不擅长于解决需要人类智能的问题,但是今天这些问题换个思路就可以解决了,其核心就是变智能问题为数据问题。由此,全世界开始了新的一轮技术革命智能革命。

当我们有可能获得大量的、具有代表性的数据之后,能够获得什么好处呢?大家很快就想到把一些模型描述得更准确,或者对一些规律认识得更深刻。比如当开普勒从他的老师手上接过大量的天文数据之后,他终于找到了准确描述行星围绕太阳运动轨迹的模型——椭圆模型。类似的情况在今天不断地发生。但是,这还远远不足以让我们兴奋,因为那还只是一个量的改变,不足以产生颠覆这个世界的创新。

大量数据的使用,最大的意义在于它能让计算机完成一些过去只有人类才能做到的事情,这最终将带来一场智能革命。

科学家和工程师们发现,采用大数据的方法能够使计算机的智能水平产生飞跃,这样在很多领域计算机将获得比人类智能更高的智能。可以说我们正在经历一场由大数据带来的技术革命,其最典型的特征就是计算机智能水平的提高,因此我们不妨把这场革命称为智能革命。

当计算机的智能水平赶上甚至超过人类时,我们的社会就要发生天翻地覆的变化,这才是大数据的可怕之处。

那么为什么大数据会最终导致这样的结果,大数据和机器智能是什么关系呢?


6,什么是机器智能

在ENIAC诞生后,各行各业的人,当然也包括科学家们都在问自己,机器能否产生智能?

真正科学地定义什么是机器智能的还是电子计算机的奠基人阿兰·图灵(Alan Turing,1912~1954)博士。1950年,图灵在《思想》(Mind)杂志上发表了一篇题为《计算的机器和智能》的论文。在论文中,图灵既没有讲计算机怎样才能获得智能,也没有提出什么解决复杂问题的智能方法,而只是提出了一种验证机器有无智能的判别方法。

计算机科学家们认为,如果计算机实现了下面几件事情中的一件,就可以认为它有图灵所说的那种智能:

        1.语音识别

        2.机器翻译

        3.文本的自动摘要或者写作

        4.战胜人类的国际象棋冠军

        5.自动回答问题


7,鸟飞派:人工智能1.0

“达特茅斯夏季人工智能研究会议”(约翰·麦卡锡、马文·明斯基、纳撒尼尔·罗切斯特、克劳德·香农、赫伯特·西蒙、艾伦.纽维尔),这10位年轻的学者讨论的是当时计算机科学尚未解决,甚至尚未开展研究的问题,包括人工智能、自然语言处理和神经网络等。人工智能这个说法便是在这次会议上提出的。

参加达特茅斯会议的10个人,除了香农,当时大多都没有什么名气。但是没关系,这些年轻人籍籍无名的时间不会太久,后来所有这些人都成了计算机科学领域或者认知科学领域的泰斗,包括4位图灵奖获得者(麦卡锡、明斯基、西蒙和纽维尔),而香农作为信息论的发明人,他的名字被用来冠名通信领域的最高奖——香农奖。

虽然达特茅斯会议本身没有产生什么了不起的思想,10个最聪明的大脑一个暑假的思考甚至比不上今天一位一流的博士毕业生,但是它的意义超过10个图灵奖,因为它提出了问题。好几个未来非常热门的研究领域的研究工作,其中包括人工智能和机器学习,就始于那次会议之后。

今天几乎所有的科学家都不坚持“机器要像人一样思考才能获得智能”,但是很多的门外汉在谈到人工智能时依然想象着“机器在像我们那样思考”,这让他们既兴奋又担心。事实上,当我们回到图灵博士描述机器智能的原点时就能发现,机器智能最重要的是能够解决人脑所能解决的问题,而不在于是否需要采用和人一样的方法。

事实上我们知道,怀特兄弟发明飞机靠的是空气动力学而不是仿生学。在这里,我们不要笑话前辈来自直觉的天真想法,这是人类认识的普遍规律。

The pen was in the box(钢笔在盒子里),这句话很好理解,如果让计算机理解它,做一个简单的语法分析即可。但是另一句语法相同的话:The box was in the pen. 就让人颇为费解了。原来,在英语中,pen(钢笔)还有另外一个不太常用的意思——小孩玩耍的围栏。在这里,理解成这个意思整个句子就通顺了。如果用同样的语法分析,这两句话会得到相同的语法分析树,而仅仅根据这两句话本身,甚至通篇文章,是无法判定pen在哪一句话中应该作为围栏,在哪一句话中应该是钢笔的意思。


怎么实现智能机器:变智能问题为数据问题


2012年,情况发生了变化,一个名叫内德·斯维尔(Nade Silver)的年轻人,利用大数据,成功地预测了全部50+1个州的选举结果。这让包括盖洛普公司在内的所有人都大吃一惊。斯维尔是怎样解决这个难题的呢?其实他的思路很简单,如果有办法在投票前了解到每一个人会投哪个候选人的票,那么准确预测每一个州的选举结果就变得可能了。

虽然斯维尔还做不到在大选前得到每一个投票人的想法,但是他统计的数据已经非常全面了,远不是民意调查公司所能比拟的。另一个重要的因素是,斯维尔的数据反映了选民在没有压力的情况下真实的想法,准确性很高。两点结合到一起,斯维尔获得了对选民想法的全面了解,或者说在某种程度上具有了数据的完备性,因此他能够准确预测2012年美国大选结果也就不奇怪了。

选民在没有压力的情况下真实的想法,准确性很高。


大数据的时效性其实不是必需的,但是有了时效性可以做到很多过去做不到的事情,城市的智能交通管理便是一个例子。


我们常常可以看到论文的标题包含”large Scaled…”“Vast Data…”“Large Amount…”等词组,但是很少用Big。

那么big,large和vast到底有什么差别呢。large和vast在程度上略有差别,后者可以看成是very large的意思。而big和它们的差别在于,big更强调的是相对小的大,是抽象意义上的大,而large和vast常常用于形容体量的大小。

仔细推敲英语中big data这种说法,我们不得不承认这个提法非常准确,它最重要的是传递了一种信息——大数据是一种思维方式的改变。现在的数据量相比过去大了很多,量变带来了质变,思维方式、做事情的方法就应该和以往有所不同。这其实是帮助我们理解大数据概念的一把钥匙。

今天这些问题换个思路就可以解决了,其核心就是变智能问题为数据问题。由此,全世界开始了新的一轮技术革命——智能革命。


大数据是一种思维方式的改变。其核心就是变智能问题为数据问题。


变智能问题为数据问题

第一次让全世界感到计算机智能水平有了质的飞跃是在1996年,那一年计算机第一次战胜人类的国际象棋世界冠军。不过相比2016年AlphaGo战胜李世石,那一次的比赛更加一波三折、惊心动魄。深蓝、AlphaGo在具体的算法上和略有差异,但是它们博弈的原理是相同的。

深蓝、AlphaGo博弈的原理

深蓝获胜的原因:

1,看过了当时世界上所有名家的棋局;并且计算速度快;

2,不受情绪的影响(这一点人类是做不到的);


数据密集型科学解决不确定问题!

在计算机自动问答研究领域,科学家们已经研究了多年。通常我们把问题归结为7类:”是什么”(What)、”什么时候”(When)、”什么地点”(Where)、”哪一个”(Which)、”是谁”(Who)、”为什么”(Why)和”怎么做”(How)。由于它们都是以W或者H开头的,这7个疑问词又被称为WH单词(WH words),各种问题也被称为WH语句。在这7类问题中,容易回答的是询问事实,包括”是什么”(What)、”什么时候,,(When)、”什么地点”(Where)、”哪一个”(Which)和”是谁”(Who),比如:”中国的国家主席是谁?”难回答的是询问原因的”为什么”(Why)问题,以及询问过程的”怎么做”(How)问题。全世界的自然语言处理专家和机器智能专家对这两类问题的机器自动问答研究了很多年,直到2012年,都没有找到好的方法。。。。当时Google的云计算平台和大数据平台已经搭建得非常完善了,自然语言处理的基础工作(比如所有网页中主要语言每一句话都做了句法分析)都已经完成,对前五类简单问题的回答在林德康博士的领导下已经做得非常完善了。。。不过,根据我对Google基础条件和数据准备情况的考察,发现如果换一个思路来解决计算机回答复杂问题的难题,就有可能另辟蹊径解决或者至少部分解决这个难题。当我把这个想法告诉辛格博士时,他的第一反应是”如果其他公司和研究所做不到,我们是否有一些别人没有的条件,使得我们能做到”,我回答他说,是数据。接下来我向他介绍说,可以将这个智能问题变成一个大数据的问题。

我们是否有一些别人没有的条件,使得我们能做到;

七类问题;


这次技术革命的特点是机器的智能化,因此我们称之为智能革命也毫不为过。

我们对大数据重要性的认识不应该停留在统计、改进产品和销售,或者提供决策的支持上,而应该看到它(和摩尔定律、数学模型一起)导致了机器智能的产生。而机器一旦产生和人类类似的智能,就将对人类社会产生重大的影响。毫不夸张地讲,决定今后20年经济发展的是大数据和由之而来的智能革命。

决定今后20年经济发展的是大数据和由之而来的智能革命。


第三章  思维的革命


在这一章,我们着重分析大数据重要性的另一个方面,即在方法论的层面,大数据是一种全新的思维方式。按照大数据的思维方式,我们做事情的方式与方法需要从根本上改变。

在无法确定因果关系时,数据为我们提供了解决问题的新方法,数据中所包含的信息可以帮助我们消除不确定性,而数据之间的相关性在某种程度上可以取代原来的因果关系,帮助我们得到我们想知道的答案,这便是大数据思维的核心。

帮助我们得到我们想知道的答案,这便是大数据思维的核心。


要说清楚大数据思维的重要性,需要先回顾一下自17世纪以来一直指导我们日常做事行为的先前最重要的一种思维方式——机械思维。今天说起机械思维,很多人马上想到的是死板、僵化,觉得非常落伍,甚至”机械”本身都算不上什么好词。但是在两个世纪之前,这可是一个时髦的词,就如同今天我们说互联网思维、大数据思维很时髦一样。可以毫不夸张地讲,在过去的三个多世纪里,机械思维可以算得上是人类总结出的最重要的思维方式,也是现代文明的基础。。。如果我们要想在”道”的层面了解大数据,了解一种新的思维方式的重要性,而不仅仅是将自己的追求停留在”术”的层面,那么我们就需要了解人类认识世界方法的演变和发展过程。

人类认知世界的演变和发展过程;


欧洲之所以能够在科学上领先于世界其他地方,在很大程度上是依靠从古希腊建立起来的思辨的思想和逻辑推理的能力,依靠它们可以从实践中总结出最基本的公理,然后通过因果逻辑构建起整个科学的大厦。其中最有代表性的是欧几里得的几何学和托勒密的地心说。

欧几里得最大的成就不是发现了那个几何定理,而是在人类所积累起来的几何学和数学知识的基础上,创立了基于公理化体系的几何学。。。当时世界上其他任何文明都没有建立起公理化体系的知识结构,因此对世界的了解免不了支离破碎。在欧几里得公理化的几何学中,他首先总结出5条简单得不能再简单而且相互独立的公设(Five Axioms)39,也就是说任何一条公理都无法从另外4条中推导出来,而且这5条公理本身是不证自明的。接下来几何学的一切定理都由定义和简单得无法证明的5条公理直接(仅以公理和定义为前提)或者间接地(除了公理和定义,还可以使用已经证明的定理)演绎得出。

欧几里得将他的公理化体系几何学写成了一本书,名为《几何原本》,这也是对世界影响力最大的一本书。欧几里得的这种基于逻辑推理的公理化系统不仅为几何学、数学和自然科学后来的发展奠定了基础,而且对西方人的整个思维方法都有极大的影响。。。甚至在法学界,整个罗马法都是建立在类似于欧几里得公理系统这样的基础上的,当然罗马法里面的公理不是几何学的,而是自然法40——所有的法律都可以从自然法中演绎出来。

在欧几里得之后大约5个世纪,古希腊罗马时代最伟大的天文学家托勒密将欧几里得的这种方法论应用到天文学上,建立起一套完整、严格而且相当精确的描述天体运动规律的理论体系,即地心说。。。其实,写书表达思想是一件颇为主观的事情,最重要的不是避免犯错误,而是不可缺乏思想。在我看来,托勒密在近代之前是当之无愧的最伟大的天文学家,没有之一。除了地心说,托勒密的贡献还包括:发明了球坐标(我们今天还在用),定义了包括赤道和零度经线在内的经纬线(今天的地图就是这么划的),提出了黄道,发明了弧度制,等等。这些贡献随便拎出一条,都足以让托勒密名垂青史。。。和欧几里得一样,托勒密不仅是一个构建大系统的人,也是一个善于总结方法论的人。托勒密的方法论可以被概括为”通过观察获得数学模型的雏形,然后利用数据来细化模型。

托勒密的成就首先得益于过去上百年来的天文观察数据,其次受益于欧几里得和毕达哥拉斯的学说。托勒密将各种天文现象的共性,用最基本的、无法再简化的原型(Meta Model)来描述。至于原型应该是什么,托勒密认为是圆,因为毕达哥拉斯说圆是最完美的图形。托勒密仅仅通过圆这种曲线,以及不同大小的圆相互嵌套,把当时人们所知的天体运动的规律描述得清清楚楚。至于他提出的为什么是地心说而不是日心说,原因很简单,因为这最符合人们看到的现象——日月星辰都是从东边升起,西边落下。

托勒密的思想影响了西方世界一千多年,这倒不完全是因为他的地心说,而是他这种思维方式和方法论。事实上后来的哥白尼和伽利略依然没有摆脱托勒密的思维方式,尽管他们相信日心说。哥白尼只是发现如果把托勒密坐标系的中心从地球移到太阳,就可以让天体运动的模型简单一些,但是他依然需要采用托勒密多个圆相互嵌套的模型。伽利略在科学上比哥白尼进步了很多,事实上真正让人们相信日心说的是伽利略,而不是哥白尼(或者布鲁诺)41。但是,即便是伽利略,其研究方法和托勒密也如出一辙。

如果我们把他们的方法论做一个简单的概括,其核心思想有如下两点:首先,需要有一个简单的元模型,这个模型可能是假设出来的,然后再用这个元模型构建复杂的模型;其次,整个模型要和历史数据相吻合。这在今天动态规划管理学上还被广泛地使用,其核心思想和托勒密的方法论是一致的。

不过,托勒密的方法论有两大缺陷。首先整体模型很复杂,原因是元模型用了再简单不过的圆,这么复杂的模型依靠手工计算就难以准确。托勒密方法论的第二缺陷是致命的,那就是确定性假设。它假定模型一旦产生,就是确定的和不会改变的。机械论延续了这种先验假设。托勒密的地心说模型和过去的数据吻合得天衣无缝,但是对未来的预测还是有微小的误差的,而这个误差无法被修正。。。当然这些瑕疵无损托勒密的伟大。

思维方式和方法远不如方法论对科学的发展至关重要,东方的文明长期以来在技术上领先于西方,但是在科学体系的建立上远远落后于西方,关键是输在方法论上。

最终,发展科学方法的任务留给了笛卡儿和牛顿。笛卡儿的贡献在于提出了科学的方法论,即大胆假设,小心求证,这个方法论在我们今天的工作中还在使用。不过对近代社会思想贡献最大的还是著名科学家和思想家牛顿。。。西方人对牛顿评价之高是强调官本位的中国人难以想象的。。。因为在欧美人看来,牛顿不仅是一位杰出的科学家,而且是人类历史上最重要的思想家之一。牛顿甚至被一些历史学家认为是人类历史上第二具有影响力的人物,不仅排在爱因斯坦等所有的科学家之前,而且超过了耶稣和孔子。牛顿通过他在数学、物理学、天文学和光学等诸多领域开创性的成绩,总结出一种全新的方法论,不仅开创了科学的时代、理性的时代,而且开启了西方的近代社会。

牛顿最直接的贡献,在于他用简单而优美的数学公式破解了自然之谜。牛顿在他的巨著《自然哲学之数学原理》(简称《原理》)一书中,用几个简明的公式(力学三定律和万有引力定律)破解了宇宙中万物运动的规律,用微积分的概念把数学从静止的变量拓展为连续变化函数。在他的《光学》一书中,他把看上去虚幻的光分解为单个原色。

牛顿通过自己的伟大成就宣告了科学时代的来临,作为思想家,他让人们相信世界万物的运动变化规律是可以被认识的。他告诉人们:世界万物是运动的,而且这些运动遵循着确定性的规律,这些规律又是可以被认识的。牛顿的这些发现,给人类带来了从未有过的自信。在牛顿之前,人类对自己能否认识自然是缺乏信心的,那些我们今天看似不需要解释的自然现象,比如苹果为什么会落地,日月星辰为什么升起又落下,在当时却是无法被人们认识的,因此人类对自然恐惧而迷信。直到牛顿出现,人们才开始摆脱这种在大自然面前被动的状态,能够主动地应用科学来把握未来。与牛顿同时代的大科学家哈雷利用牛顿提出的原理,计算出了一颗彗星围绕太阳运转的周期,以及彗星每一次造访地球的时间,这颗彗星后来就用他的名字命名了。后人利用牛顿的理论,能够精确地预测出1000年后出现日食和月食的时间,这在过去是无法想象的。这也同时让确定性这个词深深地印入了人类的思想中。

因此,从牛顿的时代开始,科学家们都在致力于通过几个公式来描述我们的世界,并且应用它们预测未知。在牛顿之后,英国的焦耳也通过一个简单的公式描述了能量守恒原理,而他们的另一位同胞麦克斯韦则通过几个简单的方程式描述了我们看不见摸不着的电磁世界。这些科学原理简单的形式,使得它们很容易地被应用到发明中。

从欧几里得到托勒密再到牛顿,在思想方法上可以说是一脉相承而又不断发展的。牛顿不仅把欧几里得通过逻辑推理建立起一个科学体系的方法论从数学扩展到自然科学领域,而且把托勒密用机械运动模型描述天体的规律,扩展到对世界任何规律的描述。后来人们将牛顿的方法论概括为机械思维,其核心思想可以概括成这样几句话:

第一,世界变化的规律是确定的,这一点从托勒密到牛顿大家都认可。

第二,因为有确定性做保障,因此规律不仅是可以被认识的,而且可以用简单的公式或者语言描述清楚。这一点在牛顿之前,大部分人并不认可,而是简单地把规律归结为神的作用。

第三,这些规律应该是放之四海而皆准的,可以应用到各种未知领域指导实践,这种认识是在牛顿之后才有的。

这些其实是机械思维中积极的本质。


从古希腊建立起来的思辨的思想和逻辑推理的能力,依靠它们可以从实践中总结出最基本的公理,然后通过因果逻辑构建起整个科学的大厦。。。最有代表性的是欧几里得的几何学和托勒密的地心说。。。他们都是构建大系统的人,也是善于总结方法论的人,创建数学模型,逐步优化;

最重要的不是避免犯错误,而是不可缺乏思想。

托勒密的思想影响了西方世界一千多年,这倒不完全是因为他的地心说,而是他这种思维方式和方法论。(后人提出日心说也是依据这种思维方式提出的)。

托勒密方法论:1,创建简单的元模型,进而构建复杂的模型;2,整个模型和历史数据相吻合;

笛卡尔方法论:大胆假设,小心求证;

牛顿的方法论:机械思维;

牛顿:总结出一种全新的方法论,不仅开创了科学的时代、理性的时代,而且开启了西方的近代社会。牛顿最直接的贡献,在于他用简单而优美的数学公式破解了自然之谜。牛顿通过自己的伟大成就宣告了科学时代的来临,让人们相信世界万物的运动变化规律是可以被认识的。


欧几里得几何学的五条公设(Five Axioms):

1.由任意一点到另外任意一点可以画直线。

2.一条有限直线可以继续延长。

3.以任意点为心及任意的距离60可以画圆。

4.凡直角都彼此相等。

5.平面内一条直线和另外两条直线相交,若在某一侧的两个内角的和小于二直角的和,则这二直线经无限延长后在这一侧相交。61

欧几里得几何学的五条公理(Five Notions):

1.等于同量62的量彼此相等。

2.等量加等量,其和仍相等。

3.等量减等量,其差仍相等。

4.彼此能重合的物体是全等63的。

5.整体大于部分。


创立公理化系统的欧几里得


托勒密的地心说模型


工业革命,机械思维的结果

在牛顿和瓦特之前,一项技术的进步需要非常长的时间来积累经验,或者用今天的话讲就是获得数据、信息和知识,这个过程常常要持续经过很多代人。

瓦特和他之前的工匠都不同,他是通过科学原理直接改进蒸汽机,而不是靠长期经验的积累。

瓦特的合伙人博尔顿对通用性的重要性有着先见之明,他明确地指出,他和瓦特所做的事情是为工业提供动力,而不简简单单是一种机器。这也是机械思维的重要特征——所有问题有一个通用的解决方法。。。正是因为瓦特蒸汽机的这个特性,才使得工业革命后有了”蒸汽机+现有产业=新产业”的模式。。。瓦特的成功不仅是技术的胜利,更重要的是他掌握了新的方法论——机械思维。

后人这样评价牛顿和瓦特这两位英国的杰出人物:牛顿找到了开启工业革命大门的钥匙,而瓦特拿着这把钥匙开启了工业革命的大门。

机械的广泛使用和机械的思维方式直接导致了人类迄今为止最为伟大的事件——工业革命。在工业革命之前的两千年里,世界各地的人们的生活水平其实没有太大的提高。已故著名历史学家安格斯·麦迪森(Angus Maddison,1926~2010)对全球各个文明在不同历史时期所做的经济学研究发现,世界人均财富从公元元年左右到18世纪工业革命前是没有提高的43。但是,到了工业革命之后,情况就大不相同了。马克思曾经讲过:”资产阶级在其不到100年的阶级统治中所创造的生产力,比过去一切时代创造的全部生产力还要多,还要大。”44相比工业革命,任何王侯将相所谓的丰功伟绩都显得微不足道。。。工业革命带来的不仅是财富,也大大延长了人类的寿命。。。由此可见,一种新的思维方式对人类文明进步的重要性。

机械思维对世界的影响力并没有随着工业革命的结束而结束,从牛顿时代开始接下来的3个世纪里,人类越来越习惯于用机械的方式描述一切,这就如同在托勒密的时代人们习惯于把一切运动归结为圆周运动一样。机械思维从此渗透到社会生活的方方面面,人们相信能够用机械解决一切问题,包括很多过去无法解决的问题。

瑞士的能工巧匠们将机械的威力发挥到了极致,他们制造的那些精致而昂贵的机械表不仅可以指示时间,而且可以准确地预测上百年的太阳历、阴历和主要星辰的运动,甚至可以通过机械振动演奏音乐。

机械思维更广泛的影响力是作为一种准则指导人们的行为,其核心思想可以概括成确定性(或者可预测性)和因果关系。

积累:数据、信息和知识;

机械的广泛使用和机械的思维方式直接导致了人类迄今为止最为伟大的事件——工业革命。

牛顿找到了开启工业革命大门的钥匙,而瓦特拿着这把钥匙开启了工业革命的大门。

相比工业革命,任何王侯将相所谓的丰功伟绩都显得微不足道。

牛顿之后的3个世纪里,人们相信能够用机械解决一切问题,包括很多过去无法解决的问题。


世界各地区人均寿命在当地开始工业革命之后大幅提高


能够奏出音乐的雅典表(Ulysse Nardin)


要理解机械思维深远的影响力,就必须谈谈爱因斯坦。大家都知道,爱因斯坦是现代物理学的集大成者,他不仅在物理学上突破了牛顿理论,而且在物理学几乎每个领域都有所建树,但是他的思维方式其实和牛顿是一致的。牛顿的物理学理论是建立在确定性基础,即所谓的绝对时空45之上的,他发现万有引力定律则是寻找因果关系的结果。牛顿发现行星围绕太阳运动这个结果,然后找到了万有引力这个原因。爱因斯坦的研究方式是类似的,他的理论也是建立在一种确定性——光速恒定的基础之上的,基于这种假设,利用逻辑推理,就可以推导出整个狭义相对论。就连爱因斯坦自己也说,如果不是他,也会有人在很短的时间内发现狭义相对论,因为狭义相对论就是光速恒定的必然结果。类似地,如果将重力和加速度等价起来,利用因果逻辑,就能推导出广义相对论。爱因斯坦的相对论在形式上和牛顿力学也有相似之处,简单而美妙,几个公式就把整个理论描述清楚了。

要想让结果被人们接受,就必须知道原因。这是从笛卡儿开始总结出科学方法以来全世界科学家们都必须遵守的原则。

机械思维的局限性更多来源于它否认不确定性和不可知性。爱因斯坦有句名言——”上帝不掷色子”,这是他在和量子力学的发明人波尔等人争论时讲的话。今天我们知道,在这场争论中,波尔等人是正确的,爱因斯坦错了,上帝也掷色子。著名物理学家张首晟教授喜欢用三个公式概括人类最高的文明成就:

爱因斯坦的质能转换公式E=mc2

量子力学中的测不准原理△t·△p>ε

熵的定义H=-∑iPilogPi

张教授把波尔和爱因斯坦的公式同时放上去了,反映出机械思维的两面性——善于把握确定性而难以解决不确定性问题。

机械思维的局限性更多来源于它否认不确定性和不可知性。


在青霉素被发明和使用之前,不论是东方人还是西方人,一旦得了病,能否治好很大程度上只有听天由命。我们今天无法想象天天生活在对疾病和死亡的恐惧中是怎样的感觉,但是半个多世纪前人类就是生活在对未来不确定的阴影中。青霉素改变了这一切。。。青霉素和其他抗生素的发明,实际上遵循了”分析找到原因,根据原因得到结果”的思维方式,或者说知其然也知其所以然。这种方法带来的好处是有目共睹的,工业革命后人类寿命的提高都是依靠这种方法。相反,传统医学常常不遵循因果关系,是“不知其所以然”,因此治病的效果也是时好时坏,然后医生们用一些似是而非的语言解释他们其实并没有搞清楚的原因。

从牛顿开始,人类社会的进步在很大程度上得益于机械思维,但是到了信息时代,它的局限性也越来越明显。首先,并非所有的规律都可以用简单的原理描述;其次,像过去那样找到因果关系已经变得非常困难,因为简单的因果关系规律性都被发现了。另外,随着人类对世界认识得越来越清楚,人们发现世界本身存在着很大的不确定性,并非如过去想象的那样一切都是可以确定的。因此,在现代社会里,人们开始考虑在承认不确定性的情况下如何取得科学上的突破,或者把事情做得更好。这也就导致一种新的方法论诞生。

并非所有的规律都可以用简单的原理描述。在现代社会里,人们开始考虑在承认不确定性的情况下如何取得科学上的突破,或者把事情做得更好。


世界的不确定性

不确定的现象:很多时候专家们对未来各种趋势的预测是错的,这在金融领域尤其常见。如果读者有心统计一些经济学家们对未来的看法,就会发现它们基本上是对错各一半。这并不是因为他们缺乏专业知识,而是由于不确定性是这个世界的重要特征,以至于我们按照传统的方法——机械论的方法难以做出准确的预测。

世界的不确定性来自两方面:

1,首先是当我们对这个世界的方方面面了解得越来越细致之后,会发现影响世界的变量其实非常多,已经无法通过简单的办法或者公式算出结果,因此我们宁愿采用一些针对随机事件的方法来处理它们,人为地把它们归为不确定的一类。

2,不确定性的第二个因素来自客观世界本身,它是宇宙的一个特性。在宏观世界里,行星围绕恒星运动的速度和位置是可以计算得很准确的,从而可以画出它的运动轨迹。但是在微观世界里,电子在围绕原子核做高速运动时,我们不可能同时准确地测定出它在某一时刻的位置和运动速度,当然也就不能描绘出它的运动轨迹了。这并非我们的仪器不够准确,而是因为这是原子本身的特性。在量子力学中有一个测不准原理,也就是说,像电子这样的基本粒子的位置的测量误差和动量的测量误差的乘积不可能无限小。这与机械思维所认定的世界的确定性是相违背的。为什么会有这样的现象存在呢?因为我们测量活动本身影响了被测量的结果。

如果世界充满了不确定性,我们对未来世界的认识是否又回到了牛顿之前的不可知状态?答案是否定的。就拿微观世界的电子运动来说,虽然我们无法确定电子的准确位置和速度,但是能够知道它在一定时间内在核外空间各处出现的概率,因此科学家们用一种密度模型来描述电子的运动。在这个模型里,密度大的地方,表明电子在那里出现的机会多,反之,则表明电子出现的机会少。这个模型很像在原子核外有一层密度不等的”云”,因此也被形象地称为”电子云”。在现实生活中情况也是类似的,不论是因为数据量太大导致的不确定性,还是因为世界本身带有的不确定性,总之,世界上很多事情是难以用确定的公式或者规则来表示的。但是,它们并非没有规律可循,通常可以用概率模型来描述。在概率论的基础上,香农博士建立起一套完整的理论,将世界的不确定性和信息联系了起来,这就是信息论。信息论不仅仅是通信的理论,也给了人们一种看待世界和处理问题的新思路。


不确定性的原因:1,对世界的认知越深入,发现影响因素越多;2,不确定性是宇宙的基本特性;

在概率论的基础上,香农博士建立起一套完整的理论,将世界的不确定性和信息联系了起来,这就是信息论。

对于确定的世界,可以使用确定的公式或规则来描述;对于不确定性的世界的描述,不再是确定的公式或规则来描述。

概率论研究的是不确定性,是区别于机械思维确定性的另一半世界,不确定性;


熵  ——  一种新的世界观


信息论最初是通信的理论。信息这个词如今我们每天都能够听到,有时我们会用信息量大、信息量小这类说法,但是到底有多少信息算是信息量大,其实很多人并没有仔细地想过。我们进一步刨根问底,信息是否能够被量化地度量?(注意区分数据量和信息量)

那么如何度量信息呢?这个问题其实是几千年来很多人想知道却无法回答的问题。直到1948年,克劳迪·香农在他著名的论文《通信的数学原理》(A Mathematic Theory of Communication)中提出了”信息熵”的概念,才解决了对信息的度量问题,并且量化地给出了信息的作用。同时,香农还把信息和世界的不确定性,或者说无序状态联系到了一起。

在玻尔兹曼之前,制作蒸汽机的工程师们已经发现了热力学第二定律48,其中鲁道夫·克劳修斯(Rudolf Clausius)提出了一种叫作”熵”的概念,来描述一个系统中趋向于恒温的程度。当这个系统完全达到恒温时,就无法做功了,这时熵最大。但是在玻尔兹曼之前的工程师和科学家们都没能解释其中的原因。玻尔兹曼则把熵(宏观特性Entropy)和封闭系统的无序状态(每一个分子的微观特性Ω)联系起来,即:

E=k log(Ω)

其中k被称为玻尔兹曼常数。玻尔兹曼等人还发现,在一个封闭的系统中,熵永远是朝着不断增加的方向发展的,也就是说从微观上讲,这个系统越来越无序,从宏观上看它趋于恒温。

香农在信息论中借用了热力学里熵的概念,他用熵来描述一个信息系统的不确定性。接下来香农指出,信息量与不确定性有关:假如我们需要搞清楚一件非常不确定的事,或是我们一无所知的事情,就需要了解大量的信息。相反,如果我们对某件事已经有了较多的了解,那么不需要太多的信息就能把它搞清楚。所以,从这个角度来看,可以认为,信息量的度量就等于不确定性的多少,这样香农就把熵和信息量联系起来了。他还指出要想消除系统内的不确定性,就要引入信息。

在科学上,香农的贡献在于第一次量化地度量信息,并且用数学的方法将通信的原理解释得一清二楚。。。虽然香农提出信息论最初的目的只是建立通信的科学理论,但是,信息论的作用远不止在科学和工程上——它也是一种全新的方法论。与机械思维是建立在一种确定性的基础上所截然不同的是,信息论完全是建立在不确定性基础上,而要想消除这种不确定性,就要引入信息。至于要引入多少信息,则要看系统中的不确定性有多大。这种思路成为信息时代做事情的根本方法。

信息时代的方法论:谁掌握了信息,谁就能够获取财富,这就如同在工业时代,谁掌握了资本谁就能获取财富一样。

当然,用不确定性这种眼光看待世界,再用信息消除不确定性,不仅能够赚钱,而且能够把很多智能型的问题转化成信息处理的问题,具体说,就是利用信息来消除不确定性的问题。比如下象棋,每一种情况都有几种可能,却难以决定最终的选择,这就是不确定性的表现。

为此,在信息论里用互信息这个概念,实现了对相关性的量化度量。

香农除了给出对信息和互信息的量化度量之外,还给出了两个相关信息处理和通信的最基本的定律,即香农第一定律和香农第二定律。这两个定律对于信息时代的作用堪比牛顿力学定律对机械时代的作用。

香农第一定律,也称为香农信源编码定律,它大致的含义是这样的:假定有一个信息源,里面有N种信息,现在我们需要对这N种信息一一进行编码,比如我们用0011表示第一种信息,10000111表示第二种……这些编码当然不能重复,否则我们就无法根据编码来断定是哪一种信息了。虽然编码可以有很多种方法,但是有的方法效率高,有的则效率低,或者说用了很长的编码才能表示一个信息。香农第一定律讲的是,对于信源发出的所有信息设计一种编码,那么编码的平均长度一定大于该信源的信息熵,但同时香农还指出,一定存在一种编码方式,使得编码的平均长度无限接近于它的信息熵。。。香农第一定律不仅是现代通信的基础,也代表了一种新的方法论。经济学上的吉尔德定律(Gilder’s Law),即尽量多地采用便宜的资源,尽可能节省贵的资源,与信息论中的霍夫曼编码从本质上讲是相同的。在信息时代,由于摩尔定律的作用,计算机是便宜的资源,而且越来越便宜,人力成本则会越来越高,因此聪明的公司懂得利用计算机来取代人的工作,像Google或者Facebook这样的公司,都是尽可能地将越来越多的事情交给机器去做,而不是雇用很多人。

香农第二定律,通俗地讲就是信息的传播速率不可能超过信道的容量,这和我们的现实生活也是契合的。我们经历了互联网发展全过程的这一代人都有这样一种体会,互联网发展的各个阶段实际上是建立在不断拓宽带宽的基础之上的。早期,我们使用电话调制解调器,然后开始使用DSL(数字用户线路),再到后来使用宽带电缆,最后到光纤,都是围绕着不断增加信道容量而进行的,只有信道的容量增加了,传输率才能上去,我们才能从阅读文字,到看图片,到看视频,再到看高清视频,整个互联网才能得到发展。在香农提出他的第二定律之后,人类就开始有意识地不断扩展带宽。。。香农第二定律不仅描述了通信领域最根本的规律,而且它是自然界本身所固有的规律,能够解释很多商业行为。比如我们常说做生意要靠人脉,其实这个人脉就是人与人交往的带宽。如果人脉不够,发出的信息和获得的信息都有限,生意一定做不大。现代通信手段的本质,就是以相对低廉的成本让人们获得人脉,而媒体行业的不断进步,本质上是不断地在为企业拓宽对外连接的带宽,使得它们做生意越来越方便。

关于信息论,还有一个原理必须了解,那就是最大熵原理。这个原理的大意是说,当我们要对未知的事件寻找一个概率模型时,这个模型应当满足我们所有已经看到的数据,但是对未知的情况不要做任何主观假设。在很多领域,尤其是金融领域,采用最大熵原理要比任何人为假定的理论更有效,因此它被广泛地用于机器学习。最大熵原理实际上已经不同于我们使用了几百年的“大胆假设、小心求证”的方法论,因为它要求不引入主观的假设。当然,不做主观假设的前提是取得了足够多的数据,否则最大熵模型只能给出一些平均值而已,而不能对任何细节进行描述和预测。

今天,信息论已经被广泛地用于管理,因为它为我们提供了信息时代的方法论。而熵这个词,也成了信息论和不确定性的代名词。也正是因为如此,张首晟教授和我都认为它代表了人类对我们的世界认知度的最高境界。

香农:信息论,是建立在不确定性基础上的全新的方法论;

工业时代,谁掌握了资本,谁就能获取财富,信息时代,谁掌握了信息,谁就掌握了财富;

用不确定性看待世界,再用信息消除不确定性,将智能型的问题转化为信息处理的问题;找到能消除不确定性的信息;仅此而已!

《信息论》

尽量多地采用便宜的资源,尽可能节省贵的资源。

低成本的获取人脉;

香农第一、第二定律;

最大熵原理:建立一个概率模型时,只用符合当前的所有的数据,而对未来不做主观的假设;这就与笛卡尔的 “大胆假设,小心求证”的方法论不同;

熵:信息论,不确定性的代名词;

信息论,是信息时代的方法论,它代表了人类对我们的世界认知度的最高境界。



大数据的本质

首先我们必须承认世界的不确定性,这样我们就不会采用确定性的思维方式去面对一个不确定性的世界。

大数据的三个特征,即数据量大、多维度和完备性,我们可以从信息论出发,对它们的重要性和必要性一一做出解释。在这个基础之上,我们就能够讲清楚大数据的本质。

信息论里一个重要的概念——交叉熵,这个概念并非由香农提出的,而是由库尔贝克等人提出的,因此在英文里更多地被称为库尔贝克~莱伯勒距离(Kullback~Leibler Divergence),它可以反映两个信息源之间的一致性,或者两种概率模型之间的一致性。当两个数据源完全一致时,它们的交叉熵等于零,当它们相差很大时,交叉熵也很大。

大数据的科学基础是信息论,它的本质就是利用信息消除不确定性。虽然人类使用信息由来已久,但是到了大数据时代,量变带来质变,以至于人们忽然发现,采用信息论的思维方式可以让过去很多难题迎刃而解。


大数据的三个特征,即数据量大、多维度和完备性;

大数据的科学基础是信息论;

交叉熵:反应信息源之间的一致性;


从因果关系到强相关性

现代医学里新药的研制,就是典型的利用因果关系解决问题的例子。。。我们在前面讲到的青霉素的发明过程就非常具有代表性。“在整个青霉素和其他抗生素的发明过程中,人类就是不断地分析原因,然后寻找答案(结果)。当然,通过这种因果关系找到的答案非常让人信服。

其他新药的研制过程和青霉素很类似,科学家们通常需要分析疾病产生的原因,寻找能够消除这些原因的物质,然后合成新药。这是一个非常漫长的过程,而且费用非常高。在七八年前,研制一种处方药已经需要花费10年以上的时间,投入10亿美元的科研经费,如今,时间和费用成本都进一步提高;一些专家,比如斯坦福医学院院长米纳(Lloyd Minor)教授则估计需要20年的时间,20亿美元的投入。这也就不奇怪为什么有效的新药价格都非常昂贵,因为如果不能在专利有效期内54赚回20亿美元的成本,就不可能有公司愿意投钱研制新药了。

按照因果关系,研制一种新药就需要如此长的时间、如此高的成本。。。如今,有了大数据,寻找特效药的方法就和过去有所不同了。美国一共只有5000多种处方药,人类会得的疾病大约有一万种。如果将每一种药和每一种疾病进行配对,就会发现一些意外的惊喜。比如斯坦福大学医学院发现,原来用于治疗心脏病的某种药物对治疗某种胃病特别有效。当然,为了证实这一点需要做相应的临床试验,但是这样找到治疗胃病的药只需要花费3年时间,成本也只有1亿美元。这种方法,实际上依靠的并非因果关系,而是一种强关联关系,即A药对B病有效。至于为什么有效,接下来3年的研究工作实际上就是在反过来寻找原因。这种先有结果再反推原因的做法,和过去通过因果关系推导出结果的做法截然相反。无疑,这样的做法会比较快,当然,前提是有足够多的数据支持。。。但是在过去,由于数据量有限,而且常常不是多维度的,这样的相关性很难找得到,即使偶尔找到了,人们也未必接受,因为这和传统的观念不一样。

我们在前面提到,能通过因果关系找到答案,根据因果关系知道原因固然好,但是对于复杂的问题,其难度非常大,除了靠物质条件、人们的努力,还要靠运气。牛顿和爱因斯坦都是运气很好的人。遗憾的是,大部分时候我们并没有灵感和运气,因此很多问题得不到解决。在大数据时代,我们能够得益于一种新的思维方法——从大量的数据中直接找到答案,即使不知道原因。这一方面给了我们一个找捷径的方法,同时我们不会因为缺乏运气而被问题难倒;另一方面,这种找不出原因的答案我们是否敢接受呢?如果我们愿意接受,那么我们的思维方式已经跳出了机械时代单纯追求因果关系的做法,开始具有大数据思维了。


通过因果关系找到答案固然好,但面对复杂的问题,找到因果关系非常难,大数据时代,提供一种新的思维方法---从大数据中找到答案,即使不知道原因;找到原因之后,干部昂接收,也是一个问题;


大数据公司Google

在一般人眼里,Google是一家高科技公司,不断地研发新的技术,并且成功地将一部分技术转化成了产品。但是,它从根本上讲其实是一家数据公司。著名的机器智能专家,前Google研究院院长诺威格博士对Google的这个本质有深刻的认识。他在接受母校(加州大学伯克利分校)授予他的荣誉证书时,曾经这样讲述他为什么要加入Google:2001年,当全球互联网泡沫破碎后,大家都在逃离这个领域,很多人从互联网行业回到了学术界。人们问我为什么在这样一个时候离开NASA(美国国家航空航天局),加入Google这家不大的互联网公司。我和他们讲了大萧条时期(1929~1933年)的一个故事。在大萧条时,有些人买了银行的股票,后来都发了财。事后人们问那些买了银行股票的人为什么在银行如此糟糕时敢买它们的股票,那些投资人讲,“因为全世界的钱都在它们那里。”所以,加入Google的决定并不难做,因为全世界的数据都在Google那里。

今天,各个搜索引擎都有一个度量用户点击数据和搜索结果相关性的模型,通常被称为“点击模型”。随着数据量的积累,点击模型对搜索结果排名的预测越来越准确,它的重要性也越来越大。今天,它在搜索排序中至少占70%~80%的权重59,也就是说搜索算法中其他所有的因素加起来都不如它重要。换句话说,在今天的搜索引擎中,因果关系已经没有数据的相关性重要了。当然,点击模型的准确性取决于数据量的大小。。。微软的搜索引擎在很长的时间里做不过Google的主要原因并不在于算法本身,而是因为缺乏数据。同样的道理,在中国,搜狗等小规模的搜索引擎相对百度最大的劣势也在于数据量上。。。当整个搜索行业都意识到点击数据的重要性后,这个市场上的竞争就从技术竞争变成了数据竞争。这时,各公司的商业策略和产品策略就都围绕着获取数据、建立相关性而开展了。后进入搜索市场的公司要想不坐以待毙,唯一的办法就是快速获得数据。。。搜索质量的竞争就成了浏览器或者其他客户端软件市场占有率的竞争。虽然在外人看来这些互联网公司竞争的是技术,但更准确地讲,它们是在数据层面竞争。

在Google内,点击模型的使用标志着工作方法从传统的“遵循因果关系”,逐步变成了“寻找相关性”。今天,Google至少有1/3~2/5的工程师每天的工作就是处理数据。Google的关键词广告系统AdWords不仅是互联网世界最赚钱的产品,对广告商来讲也是广告效果最好的平台。Google是如何做到兼顾自己的利益和广告商的利益的呢?Google的销售人员对外宣传是技术好,这种说法当然没有错,但是更准确的说法是它从一开始就积累了大量的各种数据,并且善于利用数据。Google在搜索结果页投放广告时,不仅要考虑广告主的出价,还要考虑它与搜索的结果是否相关,该广告本身的质量,以及在历史上用户点击这个广告的比例。这样一来,那些不太可能产生点击的广告,或者质量不高的广告,Google就展示得很少。对广告主来讲省了钱,对Google来讲,把资源(有限而宝贵的搜索流量)留给了可能被点击的广告,收入也有所增加。更重要的是,给用户的体验要比到处放广告的网站要好很多。值得一提的是,Google的广告系统每次播放什么广告,不是由任何规则决定的,而完全是利用数据、挖掘相关性的结果。。。Google和很多互联网公司之所以能够取得成功,不仅仅是靠技术,靠数据,更是靠采用了大数据时代的方法论,或者说大数据思维。


小规模的搜索引擎相对百度最大的劣势也在于数据量上。

当整个搜索行业都意识到点击数据的重要性后,这个市场上的竞争就从技术竞争变成了数据竞争。

你所参与的竞争,本质上是什么竞争!

根据用户使用的场景,植入不同的广告,提高点击率,平台多赚钱,点击率不高的广告主多省钱;


Google其实是一家数据公司,这是它的超级数据中心


小结

很多时候,落后与先进的差距,不是购买一些机器或者引进一些技术就能够弥补的,落后最可怕的地方是思维方式的落后。西方在近代走在了世界前列,很大程度上靠的是思维方式全面领先。

思维方式的差别是最致命的;







最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343

推荐阅读更多精彩内容