姓名： 麻家骅 学号：16030130036
转载自：http://tech.ifeng.com/a/20171208/44796330_0.shtml?_cpb_pindaotj8
【嵌牛导读】对于机器学习，仍有部分工具处于黑箱状态，且尚未形成系统的用于学习和生产的简单理论。
【嵌牛鼻子】机器学习是新时代的“”炼金术”。
【嵌牛提问】在新时代中，我们应如何将“机器学习”技术和理论大众化？
【嵌牛正文】去年的 NIPS 曾因 GAN 引发了一场风波，而今年的 NIPS 同样有着不同思想的碰撞，而这场机器学习「炼金术」讨论竟是从大会颁奖典礼上开始的。
谷歌研究员，MIT 博士 Ali Rahimi 获得了今年 NIPS Test of Time 大奖，他在颁奖时上做了一番演讲，主要介绍之前的研究成果，他在演讲中还打了个比方「机器学习是炼金术」，但这一言论遭到了 Yann LeCun 的反驳。在这篇文章中我们将看到不同思想的碰撞。
Ali Rahimi 在演讲中说道：
「吴恩达曾说过，机器学习就像是新时代的电力。我却认为，机器学习正在变成新时代的炼金术。炼金术本身并不坏，它引出了冶金、纺织、玻璃制造，也推动了人类医疗科技的发展；但与此同时，炼金术师还用水蛭来给人治病，希望让其他金属变成金子。」
「对于 18 世纪的物理学和化学而言，想要理解宇宙的法则，科学家们需要努力抵抗有两千年历史的炼金术的不利影响。」
「现在，如果我们想要做一个图片分享系统，『炼金术』是可以奏效的。但我们的需求早已不止这些了。我们正在试图构建基于人工智能的医疗服务系统、对话系统，我们的机器学习系统甚至影响了大选结果。我希望我所生活的世界是基于非常稳固、有规律的、理论性的知识之上的——而不是炼金术之上。」
「过去 NIPS 大会上经常出现的『学术警察』在哪里？我非常怀念他们。」
……
「我们现在是这样构建新知识的：我们应用最好的工具，简单地分析自己做的设置，我们学习现象，然后在自己不理解背后原理的情况下完成了研究。就这么完成了。」
Yann LeCun 对此番言论表示道：
Ali Rahimi 在 NIPS 上的演讲很好，很有意思，但是我不同意他的观点。他的主要观点是机器学习的当前实践就像「炼金术」（alchemy）。
这种观点具有侮辱性，而且也是错误的！
Ali 抱怨当前机器学习尤其是深度学习使用的很多方法缺少（理论）理解。（理论或其他方面的）理解当然重要。这正是我们很多人参加 NIPS 大会的目的。但另一个重要目标是发明新方法、新技术和新技巧。
在科技发展史上，工程的发展几乎总是先于理论理解：镜头和望远镜的发展早于光学理论、蒸汽机的发展超越热动力学、飞机的发展快于空气力学、无线电和数据通信的发展快于信息理论、计算机的发展早于计算机科学。
原因何在？因为理论家本能地研究「简单的」现象，不主动研究复杂现象，除非它具备很重要的实践意义。
仅仅因为理论没有追赶上实践的水平，就批评整个机器学习社区使用「炼金术」，这种言论是危险的。
为什么危险？正是这种态度使机器学习社区放弃神经网络 10 年有余，尽管大量实证研究证明神经网络在很多情况下非常有效。
之前，神经网络和非凸损失函数不确保一定会收敛，不过它们在实践中是奏效的（和现在一样）。但是人们就这样不分良莠地将它舍弃，转而专注于「可证明」的凸方法或「被夸大的」模板匹配方法（甚至 1957 年的随机特征方法）。
坚持一套方法仅仅因为它的理论比较充分，并因此忽视另一套实践效果更好的方法，仅仅因为缺乏理论理解，这种做法何异于缘木求鱼（原文：就像你在街灯下找丢失的车钥匙，虽然心里明明知道丢钥匙的地方并不在这）。
是的，我们需要更好地理解方法。但是正确的态度是尝试改变现状，而不是因为现状没有得到改变而去侮辱整个社区。
我组织和参加过很多深度学习研究者和理论家参与的 workshop，有些 workshop 由 IPAM 举办。作为 IPAM 科学顾问委员会的一员，我的使命就是使深度学习获得数学社区的注意。事实上，我作为联合组织者组织了一场将于 2018 年 2 月举办的 workshop（http://www.ipam.ucla.edu/…/wo…/new-deep-learning-techniques/）。
如果你不满意我们对你们日常使用方法的理解，那么就去改变它：研究深度学习理论，而不是抱怨别人不去做这件事，也不是认为如果仅使用「理论正确」的方法，NIPS 会变得更好。并不是这样。
Ali Rahimi 的回复：
Yann，感谢你的理智回应。「If you don't like what's happening, fix it」正是 Moritz Hardt 一年前告诉我的话。仅靠一个小群体是很难做出重大成果的，说实话，我已经被这个任务的巨大规模所淹没而不知所措。我这次演讲的目的就是请求他人的帮助。
我认为问题并不在于理论，而在于教育。我呼吁的是简单的定理和简单的实验，从而让所有人能无障碍地交流各自的见解。你很擅长构建深度学习模型，是因为你运行实验的经验比多数人都丰富。想象一下新手的困惑处境吧。我们做的事情的确看起来像魔法，因为我们并不讨论技术细节，而是模型整体。入门的过程太神秘了。
我同意炼金术式的方法很重要，正是它们使我们加快速度。这些方法解决了很多紧迫的问题。
我很尊重那些能快速在大脑中构建直觉和可行系统的人。你和我在谷歌的大多数同事都具备这种能力，但你们只是少数。
我希望你们传授一些技术细节，帮助我们也能达到你们级别的生产能力。而这就需要：简单的实验，简单的理论。
Yan LeCun 的回复：
简单而通用的理论当然很好。
热力学理论告诉我们不要浪费时间寻找拥有 100% 效率的热机或者永动机。
机器学习中也已经有这样适用于所有学习机器包括神经网络的理论（例如，VC theory consistency/capacity、没有免费午餐定理等）。
但我们很可能不会有具体到神经网络的「简单」理论，就像纳维-斯托克斯方程和三体问题也没有解析解。
虽然目前机器学习的部分工具还存在「黑箱」区域，但这项技术毫无疑问正处在越来越快的发展过程中，正如 Ali Rahimi 在演讲中所说的，希望随着人们的努力，我们能够最终将「炼金术」转化为真正的「电力」。
