这次要分享的书籍是《智能时代》,之所以要在这段时间内分享这本书,是因为我不想把它再背在肩上了。
前言 人类的胜利
alphago战胜李世石,宣告了机器智能时代的到来。
机器获得智能的方式和人类不同,它不是靠逻辑推理,而是靠大数据和智能算法。
未来的社会,属于那些具有创意的人,而不属于掌握某种技能做重复性工作的人。
第一章 数据——人类建造文明的基石
如果我们把资本和机械动能作为近代化的推动力的话,那么数据将成为下一次技术革命和社会变革的核心动力。
现象、数据、信息、知识
数据的作用——文明的基石
数据的作用自古有之,但过去常常被忽视,其原因是:数据量不足;数据和信息之间的关系通常是相关性(而非因果),在缺乏大数据的时代,相关性很难习得。
统计学:点石成金的魔棒
样本的数量和质量,对推测总体极其重要。在具备大数据能力之前,通过有限样本去推测总体总是存在偏差。(切比雪夫不等式对偏差做了量化)
数学模型:数据驱动方法的基础
数据驱动方法的含义:完美的模型很难寻找,但只要数据量足够,就可以用若干个简单的模型去趋近。
数据驱动方法最大的优势在于,它可以在最大程度上得益于计算机技术的进步。相比之下,其他方法的改进需要理论的突破,周期非常长。
数据驱动方法是大数据的基础,也是智能革命的核心,更是一种新的思维方式。
人类应对不确定性的方法是“培养随机应变的能力”,而机器的方法是穷举所有可能的情形。
第二章 大数据和机器智能
在有大数据之前,计算机并不擅长解决智能问题,但今天可以变智能问题为数据问题。由此,全世界开始了新一轮的技术革命——智能革命。
1956年,香农、明斯基等人提出人工智能概念。
什么是机器智能?
图灵测试:让一台机器和一个人坐在幕后,让一个裁判同时与幕后的人和机器进行交流,如果这个裁判无法判断自己交流的对象是人还是机器,就说明这台机器拥有了智能。
人工智能的探索路径
鸟飞派:人工智能1.0
仿生学的思想:首先了解人类是如何产生智能的,然后让计算机按照人的思路去做。1968年明斯基指出,鸟飞派研究方法无法让计算机获得智能。(比如语言翻译,给计算机定义一堆的语法规则)
另辟蹊径:数据驱动方法
到了20世纪70年代,人们开始探索机器智能的另一条道路,即采用数据和超级计算的方法:机器不擅长逻辑推理,但是在死记硬背方面比人强,只要有价值的数据足够多,它就能找到其中的对应关系。而且随着数据的增加,系统会越来越好用。
在八九十年代,数据驱动方法得到缓慢在稳定的发展。
数据创造奇迹:量变到质变
2005年是大数据元年,因为之前在机器翻译领域从来没有技术积累的google,以巨大优势打败了全世界所有机器翻译研究团队。google的方法其实没有创新,但是使用的数据量远超其他团队。
进入21世纪后,由于互联网的出现,使可用的数据量剧增,数据驱动方法的优势越来越明显,成为主流。
大数据的特征:体量大+多维度+完备性
大数据使穷举法这样的“笨方法”,有了用武之地。
大数据可以克服传统统计方法的缺点:设计问卷可能有主管偏差、选取样本可能不随机、受众因为知道在测试可能说谎、半人工统计数据。
大数据的科学基础是信息论,其本质是利用信息消除不确定性。
第三章 思维的革命
大数据思维的核心:在不确定性剧增的今天,寻找因果关系越来越难;但是借助于爆发的数据,我们通过相关关系,同样可以得到问题的答案。这是一种全新的思维方式,被机械思维统治四百多年人类正在适应它的到来。
机械思维的核心:世界规律是确定的,可以通过逻辑推理和因果关系认识世界。代表人物是欧几里得、托勒密和牛顿。
1、世界变化的规律是确定的;(爱因斯坦说,上帝不掷骰子。)
2、世界是可认识的,而且可以用简单的公式和语言描述清楚;
3、认识到的规律,应该是通用的,放之四海而皆准的。
机械思维开启了工业革命,人类的财富、寿命、认知边界都因此极大提升。但是今天其局限性越来越明显,一方面因果关系越来越难寻找,另一方面世界其实充满了不确定性,上帝也掷骰子(量子测不准原理、股票走向、经济学预测等)。
在工业时代,谁掌握了资本谁就能获得财富;在信息时代,谁掌握了信息谁就能获取财富。
大数据思维、人工智能,其实就是通过数据去消除不确定性。
大数据可以直接找到强相关关系,即使不知道原因。先有结果再找原因,成为人们继因果关系之后的又一把武器。
大数据思维和机械思维并非完全对立,它更多是对后者的补充。如果我们能找到确定的因果关系,那依然是最好的结果。
第四章 大数据和商业
未来,大数据和机器智能的工具就如同水和电这样的资源,由专门的公司提供给全社会使用。
案例一:数据本来就存在,现在通过分析产生新价值
警察局:通过用电数据的监测分析,找出在家里种植大麻的人。
税务部门:通过同类餐馆历史纳税数据的分析,找出偷税漏税的餐馆。
塔吉特超市:通过客户历史采购记录,找出怀孕的客户进行针对性营销。
亚马逊:通过用户的购买行为,进行个性化推荐。
netflix:邮寄DVD做的不温不火,改在线观影之后,通过用户的观影行为进行个性化推荐,发展非常快。
google:通过用户的搜索记录,进行关键词推荐;即使用户不输入关键词,也会有自动下拉条
案例二:通过传感器和RFID收集新数据,再进行分析
酒吧:之前,酒吧有1/4的酒被酒保偷偷喝掉,但是老板无能为力。现在,在酒架安装测重量的传感器,每个酒瓶贴上RFID芯片,就可以知道哪一瓶酒在何时被倒了多少酒,和交易记录联系起来。在此基础上,可以延伸出BI、预警、行业报告等业务。
PRADA:对奢侈品而言,购物过程和设计、材质一样重要。但之前管理者无法知道某件产品卖得不好,是设计、材质问题,还是购物体验不好。给每件衣服加上RFID芯片,给试衣间安上阅读器。
金风科技:过去是一锤子买卖,现在管理者可以知道每台设备的运转情况(时间、地点、发电量、是否运转)。同样可以往BI、预警、行业报告延伸。
google无人驾驶车:装有十多个传感器,每秒进行几十次扫描,并将数据传输到google中心处理。(但是只能去google扫过街的地方,收集所有的建筑物信息、街道信息、人流密度等等,事先模拟每一种情形。)
从历史经验看大数据的作用
原有产业+蒸汽机=新产业
原有产业+电力=新产业
原有产业+摩尔定律=新产业
现有产业+大数据=新产业
现有产业+机器智能=新产业
第五章 大数据和智能革命的技术挑战
技术的拐点
科学的发展并非是匀速的,历史上有几次大爆发:1、1666年牛顿发明了微积分、力学三定律和万有引力定律,完成了光学分析;2、1905年爱因斯坦完成了分子说、光电效应,提出了狭义相对论。
今天,我们可能再次站在历史的拐点:机器智能超过人类。数据呈爆炸式积累、存储读取技术、传输技术、云计算等技术在十年前逐渐成熟,但机器智能仍面临几点挑战:
数据收集:看似简单的难题
数据的所有者不愿意把数据共享出来,创业者只能自己找数据;
刻意收集的数据往往不具有代表性,有价值的数据往往是不经意间收集的,或者兜了一个大圈收集的;
数据存储:可能重新成为问题
当人们意识到大数据的价值,数据增长可能超过存储读取技术的发展;
不同数据的格式化问题;(强调数据收集的无目的性,加剧了格式化问题)
并行计算和实时处理:并非增加机器那么简单
有很多任务无法100%的拆分,能拆分的部分也无法做到100%的平均;
实时问题:大数据运算通常需要几十分钟;
数据挖掘:机器智能的关键
使用大数据的步骤
第一步:对数据过滤和整理(考验自然语言理解技术);
SNR:信号与噪声比,描述信号的质量。(降噪处理:损失部分数据,提高信噪比)
第二步:机器学习
相关算法在40年前就已成熟:人工神经网络算法、最大熵模型、逻辑自回归等;
过去数据量和计算能力不够,机器学习的应用范围较窄;但是即使目前数据量大了之后,机器学习也面临许多难点。数据量的增加,会导致计算时间的剧增。
google的突破,在于把一个很大的模型上百万参数同时训练问题,简化为能够分布到上万台服务器上的小问题,这样使得大型的人工神经网络训练成为可能。
几十年前的算法是否会影响机器学习效果?从总体来看,大部分机器学习算法是等效的,只有量的差别,没有质的差别;而量的差别可以通过数据量来弥补。对于特定的问题,确实会有一个机器算法比其他算法好的情况。
未来,会出现专门做机器学习软件的公司,为需要使用大数据和机器智能的公司提供服务。
数据安全的技术
1、保证用户的数据不损坏、不丢失;
2、保证数据不会被非法查看或者盗用;
机器学习可以利用大数据(日志信息),学习公司的正常业务流程;非法闯入者由于不熟悉流程,将被禁止访问。
日本有个发明家将其用于汽车防盗:能够根据主人平时的身材、坐姿、动作,判断是否为陌生人驾驶。
保护隐私:靠大数据长期挣钱的必要条件
大数据可以从很多支离破碎的信息中,完全复原一个人或者一个组织的信息。
人往往更在意便利性,而非安全或者隐私。
在淘宝,许多人总是买到假货,而许多人可以买到真货。原因是商家了解这个客户是否难搞。
航空公司:了解到某人近期准备出游,而且过去对价格不太敏感,就给出较高的报价。
1、简单的屏蔽部分个人信息:在大数据之下并没有用,多维度信息可以相互复原;
2、对数据做加密处理:只能让经手的数据工程师无法窥探隐私,但是掌握数据的公司还是可以;
3、双向监视:当使用者看计算机时,计算机也在看使用者。窥探他人的人,其窥探行为本身也会暴露。
第六章 未来智能化产业
传统产业升级+新产业的诞生。
未来的农业
以色列的滴灌技术:将水和肥料直接送达植物根系;传感器采集植物状况和湿度,决定剂量。
Droplet:家庭院落自动喷水机器人,测试各地的湿度和植物高度,决定喷水角度和喷水量。不漏掉任何一片植物,也不重复喷水。如果明后天会下雨,就停止浇灌。
未来的体育:
勇士队:垃圾球队利用大数据,在2015年获得NBA总冠军。把明星球员卖掉,不再强调扣篮和中锋,而是追求投3分球。因为从数据来看,投3分更节省体力,更有效率。此外,利用数据及时调整比赛中的战术。
女排:中国女排靠水平和拼搏,美国女排靠高速摄像机和统计。
大数据对体育的价值,还在于分析和总结优秀选手的动作姿势,用于纠正其他运动员。
未来的制造业:
特斯拉:尽可能的用机器人替代工人:降低成本、实现个性化定制。
从设计开始,就和消费者建立联系,从而砍掉了中间批发商。
未来的医疗:
医疗影像分析系统:诊断能力胜过专科医生。没有哪个医生能学习几百万份的病例,但计算机能。
达·芬奇手术系统:利用机器人做手术,机械臂的的灵活性远超过人,带有摄像头进入人体内手术,医生可以远程干预。目前全世界共装配了3000多台,完成了300万例手术。
IBM沃特森(Watson),可以分析各种数据和医学影像,帮助疾病诊断和医疗信息的管理。在肿瘤领域,已经可以达到中等医生水平。
癌症:如果针对每一个人基因的最新变化,快速研制新药,快过癌细胞的变化,是可以遏制癌症的。这样成本太高,但是所有的基因错误不过万级,所有的癌症不过百级,其组合不过千万,在IT上是不算大的。如果能利用大数据技术,给每一种可能的组合编号,找到对应相应的药物,个性化用药就不是难事了。(穷尽的思路)
长寿问题:利用临床数据找出衰老基因,再利用基因编辑技术进行修复。
未来,同一种疾病会用不同的药品治疗,同一个病人今天用的药和昨天不一样。
未来的律师业:
机器智能可以阅读和分析法律文献,使律师的效率提高500倍,打官司的成本降低99%。今天,美国法学院的毕业生,比之前更难找到正式工作了。
未来的记者和编辑:
学习过往所有的财经类文章,提取最新的数据,就可以写出不错的文章。
第七章 智能革命和未来社会
1、积极影响:
大数据可以避免拥堵和踩踏
对路线提前规划,对上班族的出门时间做出建议,可以节省上班族20%的通勤时间;
目前的红路灯都是孤岛,每个红灯的时间是固定的,没有根据车流量大小进行实时调整;
医药行业的个性化:避免小病找专家,或者找错专家;
2、负面影响:
无隐私的社会:对每个人清晰的画像;如果让保险公司知道每个人未来得病的几率,那就会拒绝这些人投保或者缴纳更高的保费;
机器人抢掉人的饭碗:历次革命,在初期能获益的总是少数人,大部分人受损害,比如机械化干掉的农民,被流水线干掉的手工作坊,被自动化干掉的生产工人;长远来看,大部分都能获益,但这个过程往往需要50年以上的时间。下岗的这些人,往往很难再就业,只能寄希望于他们的儿子,学习新社会的新技能,以两代人的时间去完成转变。当前,信息革命还没有完全消化,新一代的智能革命的冲击又开始了。
积极拥抱新时代,争当2%的人。