信仰 3——日常生活中看不到的那些人和事

Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者,他和UAI一起在2014年创建了TASA(中国最早的人工智能社团), DL Center(深度学习知识中心全球价值网络),AI growth(行业智库培训)等,为中国的人工智能人才建设输送了大量的血液和养分。此外,他还参与或者举办过各类国际性的人工智能峰会和活动,产生了巨大的影响力,书写了60万字的人工智能精品技术内容,生产翻译了全球第一本深度学习入门书《神经网络与深度学习》,生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程,均受学生和老师好评。

没有人告诉Geoff Hinton 这些。他在大学里轮换了化学、物理、生理学、哲学和心理学,终于在1972年,进入了爱丁堡大学的人工智能的研究生培养计划。
Hinton 出生在一个在众多领域中均有建树的英国家族的小孩,他们的习惯是追求自己认为最佳的事业。曾曾祖父George Boole 就是一个代表,他发明了代数,这成为了计算机时代的基础,包含了困扰了Rosenblatt 的异或操作;另一个则掌控着维多利亚时代的性俱乐部。他的祖父在墨西哥运营着一个煤矿,他的父亲则是一名昆虫学家:“他认为六条腿的动物要比两条腿的东西有趣得多。”
青少年时期,Hinton 开始对计算机和大脑产生浓厚兴趣。他可以用剃须刀片、六英寸的钉子和铜线在十分钟内设计出一个继电器出来,给他一个小时,他就可以给你做出一个振荡器。
他至今没有变化的观点是:“如果你想了解人类思维是如何工作的,那么就不可以忽略大脑本身。”使用一个计算机来构建简单的模型来看工作的情况就是最显而易见的方法。“这也是我一直的做事方式。”
但这不是一个通常的观点。Hinton 在Edinburgh 大学研究神经网络的唯一一个。这是很艰难的过程。“你看起来很聪明,可为啥要研究这个呢?”很多人就问他这个问题。
Hinton 需要保密地进行研究。他的论文并没聚焦在神经网络上;却是关于计算机可否推断一副图片中是不是包含一个人类的腿部。他第一篇关于神经网络的论文甚至都没有通过同行评审,如果在文中提及神经网络的话;文章需要使用“最优网络”。在他毕业后,他也不能找到全职学术工作。然而,在1979年一次Hinton 组织的会议上,他找到同道中人。
“我们都有这样的信仰,”Terrence J. Sejnowski,一位在Salk研究院的进行生物研究随后成为Hinton的长期合作者的计算神经生物学家,他说,“这是一个盲目的信仰。我们不能证明数学上或者其他方面任何东西。”但是当他们看到基于规则的人工智能在视觉方面的挣扎,他们知道自己的方面有这方面的优势。Sejnowski 说“唯一有效地解决这类问题的系统就是大脑。”
Hinton 总是那个挑战权威的那个人,但这也并不让人奇怪,早在1980年代,他在加州大学圣地亚哥分校找到了一个博士后职位,在两位心理学家David E. Rumelhart 和 James L. McClelland 的指导下进行研究工作。Hinton 说:“加州这里的学者认为可能有不止一种有趣的想法。”Hinton,反过来,给出了一个唯一的计算思维。“我们觉得Geoff 是相当有洞察力的。”McClelland 说,“他讲的东西可能会打开新的世界。”
在一个温暖舒适的会议室,他们每周都会举办一个小会议,就着咖啡,他们一起探寻将训练错误从多个层间进行回退的方法。Francis Crick,DNA 结构的发现者之一,听说了他们的工作,坚持要加入,他那高大的身材看起来快要把整个房间的空间都占据了,尽管还是坐在那个低座的沙发中。“我觉得他就像《The Cat in the Hat》中得那只鱼儿。” 给他们讲解研究想法是否生物可行的McClelland 如是说。
Hinton 觉得这个研究组太过受限在生物学中。如果神经元不能向后传播信号该怎么办?他们不能将自己限制在大脑本身上。这其实是一个数学问题,Hinton 认为,也就是获得一个损失函数的梯度的问题。他们认识到,设计出来的神经元不能够是开关转换的。如果你将网络的计算看做一个沙漠的地貌话,这些神经元就如同沿着陡峭悬崖进行滑落;并且只有一个下落路径。如果他们把这些东西看做一个更加优雅的技巧——一个sigmoid 函数——那么这些神经元就可以当做一个阈值判断器,但是信息可以重新恢复。
在这个正在进行时,Hinton 不得不离开圣地亚哥。计算机系决定不再给他一个职位。他回到了英国,干着一份无聊的工作。但在某一天晚上,他被一个来自Charlie Smith 的男人的电话吵醒。
“你不认识我,但我知道你。”Smith 告诉Hinton,“我为System Development Corporation 工作。我们需要资助一个长久的前瞻性的研究项目。我们尤其对那些可能并不可行或者不能够运行很久的项目感兴趣。我曾经读过你的一些论文。
Hinton 因此获得35万美元的资助。后来他在知道这个项目的起源:这是兰德公司的一个非盈利性子公司在设计核导弹袭击的软件中获得的收益。政府抓住了这个梗,最后决定给他们付薪水或者把钱散了。(The government caught them, and said they could either pay up or give the money away—fast. )这个授权让Hinton 得到更加满意的报酬。
回到了圣地亚哥,Rumelhart 继续进行他们的算法的研究,这个技术也就是著名的Back Propagation。当这个研究完成后,他模拟出了击败Rosentblatt 的异或操作。他让神经网络运行了一整夜。
第二天回来时,它已经学习完毕了。
===

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容