Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者,他和UAI一起在2014年创建了TASA(中国最早的人工智能社团), DL Center(深度学习知识中心全球价值网络),AI growth(行业智库培训)等,为中国的人工智能人才建设输送了大量的血液和养分。此外,他还参与或者举办过各类国际性的人工智能峰会和活动,产生了巨大的影响力,书写了60万字的人工智能精品技术内容,生产翻译了全球第一本深度学习入门书《神经网络与深度学习》,生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程,均受学生和老师好评。
Hinton现在花费了半年在Google公司,让工程师们从过去十年的痛苦中解脱出来。他同时也探索了那些被认为是不可工作的神经网络,追求他所说的“黑暗知识”。他经常花费整天进行编程,那些作为一个教授一般不用进行的工作。当我问到他职业生涯哪段时间最为高产的时候,Hinton毫不犹豫地回答说:“下个五年”。
Google在许多产品上使用深度学习。当我在这个暑假访问Hinton时,将深度学习应用在语言翻译上的工作才刚刚开始。Google对每种语言都有编码网络和解码网络,把每个词都转化成一个巨大的矩阵,该矩阵刻画了其包含的意义——比如说,猫和狗之间的数值要比狗和红褐色之间的数值要小(注:这里的数值一般称为相似度)例如,英语编码网络将这些数字传送给法语解码网络,这个可以对所有这些数字记性预测。然后对每个词对进行分析,所有这比较这个结果和已知的翻译,然后BP这些错误。Hinton说,在几个月后,效果已经很好了。
对于Hinton来说,有点讽刺的是,这位挑战权威者,现在为一个大公司工作。不过,这是不可避免的。这些公司具有这些工具来让深度学习工作,而高校没有这样的实力。在Hinton暑期课程的Caffee时间,我无意中听见一个年轻的学者抱怨不能够从一家公司获得足够的数据。在几分钟后,他又说:“我将要去微软了,现在我就没有这个问题了。”
“有个比较大的问题是,大公司雇了足够的研究者后,在高校就缺少师资力量来培养更多的学生和进行基础研究。”Hinton说。但是技术公司也注意到了这个问题了。Google也已经开始鼓励Bengio进行自己的基础研究了。
We could have moved a lot faster, if it weren't for the ways of science as a human enterprise.
在Facebook,LeCun已经重造了一个Bell实验室,他在1990年代在那里工作。他保证道,尽管可能会有一点的推延,也会发表自己的研究成果。“我不认为学术研究将会没有立足之地。”LeCun又说。技术对人才的追求,创造除了更多的学生而不是被工业界掩埋。他在警惕过热的同时,也对深度学习的发展充满信心。“我有近20年没有这样做过了,除非我相信这些方法,否则不会这样挑战众人的判断的。”
Bengio时常会想到那时不被允许的研究资助,在计算机视觉和语音识别领域中持有旧观点的科学家们常常会攻击神经网络的研究。“我们本来可以把研究加快很多的,如果人们不把科学当做是人类企业的话。”Bengio这么说过。多样化应该战胜个人偏见。“但是人类就是倾向于藐视他们不理解或者坚信的事物。”
现在神经网络领域的学者占据统治地位了。甚至在长期推崇传统神经网络的MIT,学者们也加入其中。
“我们就是在恐龙脚下存活的哺乳动物,” Salk的Sejnowski说道。“基本上,微弱胆小的哺乳动物赢得了世界。恐龙不复存在。新纪元开始。”
Rosenblatt在他新闻发布会上分享的很多梦想都已成真。另外一些人,如计算机意识仍然是遥远的事情。今天最大的神经网络拥有10亿个链接,是过去几年规模的1000倍。但是相比于人类的大脑,这个规模还是微小的。10亿链接就是1立方毫米的组织;在脑部扫描中,比体像素要小一些。现在离人类智能还是相当遥远。Hinton仍旧受到人类大脑的启发和鼓舞,但是他也知道自己并不是在重新复制大脑。甚至相差很多。
对于逐渐增大的神经网络能够做到的猜测也是很多。许多研究者坚信推理可以从神经网络中诞生。Gary F. Marcus,NYU的心理学家,质疑在几篇《纽约人》报道的深度学习的进展,其中一点就是Hinton让他说出神经网络可以做到什么才能让自己佩服。他的答案如下:“地方议会议员拒绝给出一个许可,因为他们害怕暴力。”谁害怕暴力?如果一个神经网络可以回答这个问题,那么他们就会发生一些事情。
Sejnowski说,这里有一个深深的讽刺。深度学习现在是一个探索巨大数据库的一种前景光明的工具。“我们启动这样的事业来理解我们的大脑的工作原理。”他说,“现在看来这个创造出来的工具,可能并不多么地像真正的大脑,但确实是理解神经科学进展的最好的工具。”
这是在多伦多的一整天。我在访问的过程中,注意到Hinton在他的笔记本电脑上运行着一个撑血。每隔几秒钟,两个黑白瘦削数字在显示屏上闪过,随机地重叠在一起。他正在测试一个新的算法,看看包含视觉杂乱的数字的识别情况。
两个新数字出现了。Hinton的眼神闪出一丝淘气。
“你看看这两个数字是什么?” 他问道。
“6和4?”
我是正确的。计算机程序也是正确的。但是我有一点点疲倦。我的神经网络不大中用了。另一个数字对出来了。
“那么这两个呢?” Hinton又问。
“这个很麻烦啊。0和5?” 我回答道。
“0和9。它得到了0和9。比你的结果好。”
我错了。机器胜利了。
===
注:作者Paul Voosen是Chronicle的资深记者。