机器学习五大学派

[机器学习有不同的学派,每个学派从不同的角度看问题。

1 符号学派(symbolists) 更多关注哲学,逻辑学和心理学, 并将学习视为逆向演绎 。使用符号、规则和逻辑来表征知识和进行逻辑推理主要是基于规则的, 算法如 :决策树。

2 联结学派(connectionists)专注物理学和神经科学,并相信大脑的逆向工程。使用概率矩阵和加权神经元来动态地识别和归纳模式,算法如 :神经网络 。

3 进化学派,在遗传学和进化生物学的基础上得出结论。生成变化,然后为特定目标获取其中最优的, 算法如 :遗传算法 。

4  贝叶斯学派(Bayesians)注重统计学和概率推理。 获取发生的可能性来进行概率推理,算法如 :朴素贝叶斯,马尔可夫。

5  类推学派(analogizers)更多是关注心理学和数学优化来推断相似性判断。 根据约束条件来优化函数,算法如:支持向量机SVM。

演化的阶段

1980 年代                      主导流派:符号主义

1990 年代到 2000 年    主导流派:贝叶斯

2010 年代早期到中期   主导流派:联结主义

2010 年代末期    主导流派:联结主义+符号主义

2020 年代+         主导流派:联结主义+符号主义+贝叶斯+……

2040 年代+         主导流派:算法融合 

联结学派(The connectionists)

联结学派的主要思想是通过神经元之间的连接来推导知识。联结学派聚焦于物理学和神经科学,并相信大脑的逆向工程(reverse engineering)。他们相信用反向传播算法或“向后传播错误”的算法来训练人工神经网络以获取结果。

多伦多大学的 Geoff Hinton 是机器学习领域的顶尖研究者之一。Hinton 积极与谷歌合作,也是推动“深度学习”模式的人物。深度学习在许多不同领域彻底变革了 AI,如语音识别,图像描述及生成有意义的句子。

几乎所有大科技公司,包括 Facebook,微软,谷歌等,都正在使用这种模式来改进它们的系统。Navdeep Jaitly 是谷歌大脑团队的研究科学家,他在 Hinton 门下进行研究,使用深度学习模型超越了 Android 系统中已经“精细调好”(fine-tuned)的语音识别算法。

Facebook AI Research(FAIR)的主管 Yann LeCun 是这个研究领域的另一位大牛。Yann 也是在 Hinton 门下读博士学位,并致力于深度学习领域。

作为蒙特利尔学习算法研究所的负责人,Yoshua Bengio 是另一个值得注意的名字,是联结学派方法的领军人物。Bengio 致力于组织不同的 AI 相关活动和会议,包括学习研讨会。Bengio 和他的学生 Ian Goodfellow(现在是 OpenAI 的研究员)以及 Aaron Courville 一起合著了著名的深度学习教材Deep Learning

机器学习领域的许多研究者,特别是联结学派者,认为深度学习模型是 AI 的所有问题的答案,并认为它是一个主算法。

符号学派(The symbolists)

符号学派的方法基于对问题的“高阶”(high-level)解释。符号主义者更侧重哲学,逻辑学和心理学,并把学习视为逆向演绎(inverse of deduction)。John Haugeland 在他的著作 Artificial Intelligence: The Very Idea中称之为“Good Old-Fashioned Artificial Intelligence” (GOFAI)。符号学派解决问题的方法是使用预先存在的知识来填补空白。大多数专家系统使用符号学派的方法,以 If-Then 的方式解决问题。

卡内基梅隆大学的 Tom Mitchell 是符号学派的领军人物之一。Udacity 联合创始人,斯坦福大学教授,前谷歌副总裁 Sebastian Thrun,以及艾伦人工智能研究所 CEO Oren Etzioni 都是 Tom Mitchell 的学生。

伦敦帝国理工学院教授,Inductive Acquisition of Expert Knowledge的作者 Stephen Muggleton,以及 RuleRequest 的创始人 Ross Quinlan 均是推崇符号学派机器学习方法的著名研究者。

进化学派(The evolutionaries)

第三个学派,是进化学派,他们在遗传学和进化生物学的基础上得出结论。2015年去世的 John Holland 曾在密歇根大学任教,他在将达尔文的进化理论引入计算机科学方面发挥了非常重要的作用。Holland 是遗传算法(genetics algorithms)的先驱,他提出的“遗传算法的基本定理”被认为是这个领域的基础。

机器人学,3D打印和生物信息学领域的许多工作是哥伦比亚大学创意力学实验室主任 Hod Lipson 等进化论者进行的。John Koza 是前斯坦福大学教授,Scientific Games 公司的创始人,也是遗传算法的另一名先驱人物。另外,Serafim 实验室的创始人,斯坦福大学计算机科学教授 Serafim Batzoglou 也是计算机基因组领域的著名研究者。

贝叶斯学派(The Bayesian school of thought)

如果你使用电子邮件超过10年,应该能感觉到垃圾邮件过滤系统的改进。这是机器学习中的贝叶斯学派的功劳。贝叶斯学派专注于研究概率推理和用贝叶斯定理解决问题。贝叶斯学派从一个信念开始,他们称之为“先验”(prior)。然后,他们收集一些数据,并基于该数据更新先验;得到的结果他们称之为“后验”(posterior)。然后,他们用更多的数据来处理后验,并使之变成先验。这个过程不断循环往复,知道得到最终的答案。大多数垃圾邮件过滤系统是在这种基础上起作用。

加州大学洛杉矶分校计算机科学系的 Judea Pearl 是贝叶斯方法的著名研究者之一。微软 Genomics Group 的负责人 David Heckerman 也是著名的贝叶斯方法研究者,他帮助微软在 Outlook 和 Hotmail 邮件系统中开发了不同的数据挖掘工具和垃圾邮件过滤工具。

加州大学伯克利分校的 Michael Jordan 也是这一领域的主要研究者。

类推学派(The analogizers)

机器学习的第五个分支学派是类推学派(Analogizers),他们更多地关注心理学和数学最优化,通过外推来进行相似性判断。类推学派遵循“最近邻”原理进行研究。各种电子商务网站上的产品推荐(例如亚马逊或 Netflix的电影评级)是类推方法最常见的示例。

印第安纳大学的 Douglas Hofstadter(侯世达)是认知科学中最有名的科学家。同一领域的另一位知名科学家是 Vladimir Vapnik,他也是“支持向量机”的共同发明者和 Vapnik-Chervonenkis 理论的主要开发者。Facebook 最近聘请 Vapnik 与其他几位知名研究人员一起加入 Facebook AI 实验室。此外,理光创新(Ricoh Innovations)创始人 Peter Hart 也是遵循类推方法的著名学者,Hart 与人合著了《模式分类》一书。

危机与问题

所有上述学派解决不同的问题,提出了不同的解决方案。而真正的挑战是设计一个算法,解决这些方法尝试要解决的所有不同的问题——单一的一个“终极算法”。

我们仍然处在机器学习和 AI 的早期,还有很多事情要做。我们不知道什么时候,哪里会出现问题,而这将会减缓整个发展进程,带来下一个“AI冬天”。又或者,将来会出现一个新的突破,彻底改变目前的情况。

机器学习的进步更像是一场演化。正如微生物的发展速度远比人类更快,机器学习的发展也比人类快,但会到达一个阶段,在这个阶段上这些学习算法会变得太过复杂而不能快速演化。

也存在其他的危机。一个“理想的”终极算法将了解有关我们的一切。虽然机器学习需要人类的输入作为启动,但它最终会达到一个点,它会超越人类。那么接下来会发生什么呢?只要它们的目标和我们的目标稍有分歧,可能就足以消灭人类。

这只是一种情况。假设我们成功建立了一个能够控制这些超级智能的机制,就类似于蚂蚁创造了一个能够控制我们人类的机制。但是,国家,人们和团体之间存在的利益冲突,可能会引发类似“天网”(终结者)的战争。

机器学习如何改变世界?

有许多初创公司专注于机器学习及其为生活中的不同问题带来的解决方案;而且,更重要的是,有大型科技公司支持他们。例如,谷歌收购的 DeepMind 专注于医疗保健,利用机器学习研究癌症的治疗;Facebook 的 Chan Zuckerberg Initiative 宣布计划在未来十年投资30亿美元,以帮助治疗、预防和管控疾病。

另外,世界上最大的一些科技公司,包括亚马逊,Facebook,谷歌,微软等形成了联盟“Partnership on AI”,以共享他们的大型数据库进行研究,推广好的实践。

AI 是否将技术的发展引向了一条危险的路径?我们将要成为机器的奴隶,又或 AI 是将人类引向终极的进步的入口?

任何希望了解 AI 和机器学习的人士都应该阅读一下 Pedro Domingos 的《终极算法》一书。最后,让我们借用此书序言里的一句话作为本文的结语:围绕大数据以及机器学习的讨论充满争议,如果你对此感到好奇,且怀疑有比论文上看到的更为深层次的东西,那么这本书就是你进行革命的指南。

参考

原文地址:https://techcrunch.com/2017/01/30/is-a-master-algorithm-the-solution-to-our-machine-learning-problems/

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,482评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,377评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,762评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,273评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,289评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,046评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,351评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,988评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,476评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,948评论 2 324
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,064评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,712评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,261评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,264评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,486评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,511评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,802评论 2 345