Yann LeCun 有关 Quora 问题答

Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者,他和UAI一起在2014年创建了TASA(中国最早的人工智能社团), DL Center(深度学习知识中心全球价值网络),AI growth(行业智库培训)等,为中国的人工智能人才建设输送了大量的血液和养分。此外,他还参与或者举办过各类国际性的人工智能峰会和活动,产生了巨大的影响力,书写了60万字的人工智能精品技术内容,生产翻译了全球第一本深度学习入门书《神经网络与深度学习》,生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程,均受学生和老师好评。

源地址

正文

Funny question on Quora.

有趣的问题

First, there is no opposition between "deep" and "Bayesian". Many deep learning methods are Bayesian, and many more can be made Bayesian if you find that useful. Radford Neal is famous for his work on Bayesian neural nets. David Mackay, myself and a few colleagues at Bell Labs have worked in the 90s on variational Bayesian methods for getting probabilities out of the neural nets (by integrating over a Gaussian approximation of the weight posterior), RBMs are Bayesian, Variational Auto-Encoders are Bayesian, the view of neural nets as factor graphs is Bayesian.

首先,在 �deep 和 Bayesian 之间并没有任何的冲突。很多深度学习方法都是 Bayesian 的,还有不少如果你觉得很有用,那么也可以设计成 Bayesian 的。David Mackay,我还有一些在贝尔实验室的同事在 90 年代研究变分贝叶斯方法从神经网络中获得概率(通过在一个权重后验分布的高斯近似积分获得),受限玻尔兹曼机同样是 Bayesian 的,变分自编码器也是 Bayesian 的,将神经网络看做因子图还是Bayesian 的。

That said, the question remains: why are very few schools involved in deep learning research. Deep learning was a small fringe cult until merely 3 years ago. Universities are conservative by nature, and it takes time to acquire the skills, acquire the talents, and get to the level where you can publish high-quality research. The vision folks at Berkeley have ramped that up quite quickly. The ML and stats people haven't really embraced deep learning yet, but they hired Joan Bruna who did his postdoc with me.

深度学习仅仅还是一个诞生 3 年的小流派。大学本质上是保守的,需要时间获得技术,人才然后才能达到可以推进高质量研究的层次。Berkeley 的视觉团队已经跟上了步伐。机器学习和统计的研究人员目前还没有完全拥抱深度学习,不过他们也招募了我曾经的博士后 Joan Bruna。

Many groups who work on speech recognition and vision have embraced deep learning, but more as a tool than as a topic of research in itself.

很多在语音识别和视觉领域的研究团队已经开始接受深度学习,但是更多是将深度学习看做是研究领域中的一个话题进行。

But clearly, if you are an aspiring PhD student in Machine Learning looking to work on deep learning, the logical places are NYU and Montreal. Toronto would have been a contender but Geoff Hinton no longer takes PhD students, and Russ Salakhutdinov is moving to CMU.

但是显然,如果你是一个雄心勃勃的想在机器学习领域中有所作为的博士研究生,去深度学习最合理的地方就是 NYU 和 Montreal。Toronto 可能是另一个选择,不过 Geoff Hinton 现在已经不带学生了,而 Russ Salakhutdinov 也已经去了 CMU。

The top answer on Quora is pretty accurate, and my post mentions it: universities are rather conservative, the more reputable their are, the more conservative they are. That's because professors have tenure and have a long career. They don't get hired because their subject of interest is trendy, they get hired because they have a good chance of producing good research for decades. The ability to pick a good topic before it is trendy (and to make it trendy) is a factor, but it's far from being the only one. The real question is why ML/AI people aren't starting to work on deep learning faster and in greater numbers. It's because there are long time constants in the system. It takes a while to figure out if a topic is worth investing time and efforts. then it takes time to educate yourself and your students about a new topic. Then it takes time to wrap up your current grants and get new ones on the new topic. Finally, it takes time to gain notoriety in a new domain.

留言回答

Quora 上的最顶回答已经相当准确,我想再加点:大学是相当保守的,他们的声望越高,就会越保守。这是因为教授们有终身教职,有着很长的职业生涯。如果他们的研究兴趣不再流行,就难以受聘;反之,如果在数十年间都能够产出相当好的研究成果,那么会得到重用。能够在某个研究方向流行之前找到这些方向(甚至使得这些方向流行)的能力是一个重要因素,但也不是唯一的因素。真正的问题是为何机器学习/人工智能的群体并没有快速并广泛地对深度学习进行研究。这是因为在这个系统中存在着长期的稳定。需要搞清楚某个方向是不是值得时间和精力的付出。然后又要一段时间教会自己和自己的学习一个新的领域。然后还要时间来收拾已有的课题,并在新的研究领域中获得新的课题。最后,仍旧需要时间在一个新的领域中立足。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,392评论 5 470
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,258评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,417评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,992评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,930评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,199评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,652评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,327评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,463评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,382评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,432评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,118评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,704评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,787评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,999评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,476评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,057评论 2 341

推荐阅读更多精彩内容

  • 小小的一幅画,居然花了我一下午的时间,海水部分颜色处理的不好。
    1040大杰阅读 121评论 9 2
  • 1.最近在看蜡烛图技术书,对着书籍找到了一支股票,也顺利买进了。但是没有严格按照纪律执行——大盘不稳,然后没有在跌...
    股市故事阅读 99评论 0 0