当你看完这个,你会发现还是不懂神经网络

无论是之前在机器人研究室,研究被动行走(Passive Dynamic Walking),还是现在,在新研究室研究深度自然语言处理。
每次被问起,“你搞什么研究啊?”
回答之后,对方都是一副好像很感兴趣的样子,难得逮上一个要听我研究的人,非得给你好好传传教,抓住猛讲。
结果,往往对方都是这样反应,“哈哈哈,好厉害的样子。”然后就没有然后了。
此后,每当再被问起,简单解释一番之后,就直说:“人工智能”
“哦哦哦!原来是搞这个的啊。不早说。” 于是个个一副了然于胸,恍然大悟的样子。
其实也可能是自己的口才并不是很好,也很懒,不知道就不知道吧。自己知道就好了。但是,总觉得还是让大家知道我在干些什么比较好,免得还被我爸怀疑天天不学习,跑去吸毒。
再来,现在深度网络和深度学习什么,也是个趋势潮流,了解下也是好的。你要是张口闭口,神经网络,激活函数什么的。看到这样的图。

能够指指点点一番,说出个一二,相信对方也会对你刮目相看。原来这家伙并不只是一个,天天穿着冲锋衣,头发都掉光的普通理工男啊。
而是个头发都掉光,天天穿着冲锋衣,还懂神经网络的理工男啊。

  1. 这货是怎么来的

首先,既然叫神经网络(全称人工神经网络),那肯定是和人脑脱不开关系了。神经病就是脑子出了问题嘛。
所以首先要来复习复习生物,说说神经元,这个人类神经网络的基本组成单元。


正如上图,神经元中间的叫胞体,然后短的突出叫树突,而长的,则是轴突。
树突可以从上一个神经元,或者是其他刺激输入源,比如说触觉,味觉接收器,接受刺激,并将冲动传向胞体;
如果胞体接受得到的冲动足够强,电位超过一定阈值,它就会“兴奋”,一兴奋,就要冲动,跟人一样;
轴突就从胞体接受冲动,然后将它传播出去,到最终目的地,或者是下一个神经元。(高中班主任生物老师😅)
在此,我们就可以把树突当做输入端,而轴突当做输出端。注意的是, 树突和轴突都有很多突触,所以是可以有多个输入以及多个输出的。
再来看一看,人工神经元,人工神经网络的基本单位。

我们会发现,两者还是很像的。x是输入,而y则是输出。中间那个圆圆的东西,可以看做是胞体了。
但实际上,相似度也就到此为止了。中间很多处理,其实并不一定和真正的神经元是一样的。
现在的研究也还还没有真正弄清,到底这中间的过程是什么。我们也可以就把人工神经元看做包含了一些参数的数学模型。
那么,我们为什么要模仿人类神经元呢。这东西又有什么用呢。
答案是,我们想要模仿的并不是神经元,而是由很多神经元组成的产物--我们的大脑。更一步来说,也就是人类的智能。就像之前Google要造出AlphaGo一样。

正是因为,人类大脑中的神经元是相互连接,然后由此组成无比复杂的神经网络。于是,我们也会想到,那么何不,用这些人工神经元来组成人工神经网络呢。之后从中产生智能。
于是就有了最开始那副图,神经网络。关于神经网络的定义,可以采用一个使用最广泛的定义。

神经网络是由具有适应性的简单单位组成的广泛并向互联的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
by [Kohen,1998] 摘自西瓜书

  1. 这样,如此,那般

上面这个,每个字都能看懂,但在放在一起就一脸懵逼的定义中。一个比较重要的概念是,具有适应性的简单单元,即之前提到的神经元了。
而自适应性则是指有一定的学习能力。而作为所有动物中智能最高的动物,人类。它最大的特点又是什么呢,那就是它强大的学习能力。
神经网络想要模仿的也正是这个。
其中值得一提的一点是,人脑中这些基本组成部件,神经元,各个都是一样。
但是通过组成不同的神经网络,最后却能够得到具有各种功能的人类脑部结构。比如说视觉,味觉,听觉系统。


最奇特的是,人类神经网络,或者说大脑的适应性。即使脑中代表特定机能的部分被破坏掉了。但是,在一定情况下,其他部分的脑是可以学会处理这部分机能的
还有,比如之前看到的MIT和哈佛的一项研究, 先天性失明的人,他们本来用于处理视觉信号的大脑部分,因为失明而用不上。结果,这部分竟然会插入到语言处理回路中去,学会了处理语言。所以,导致先天性失明的人在语言处理方面,会比一般人强。
上面例子就说明了,人类神经网络的可学习性
于是人工神经网络在某种程度上也是具有这个功能的,通过自我适应可以模拟各种各样的函数(理论上,单层神经网络可以模拟任何连续函数)。这样子,就给我们带来了很大的好处。
过去的科学家,是观察现象,得到很多数据。然后自己设计函数,怎么把得到的输入转化成观察到的输出。比如说,开普勒,仗着老师第谷给他留下的几十年的观测数据,观察总结出了三定律。

这样子的话,在简单情况下还好,但是当问题复杂之后,设计一个这样的函数,是很困难的。
而神经网络的好处是,只要你有很多数据,把输入和输出之间放入一个神经网络。让它自己学去吧,你就可以一边凉快去了。
之后,回来得到一个训练好的模型(Model),以后碰到数据,直接放进去,就跟我们现在做物理题目,套物理公式一样。我们有个这样的公式,给这样的输入,好,就得到输出了。
但是神经网络的最大问题是,我们不知道这个公式是什么啊。这也是为什么神经网络被各种诟病,被叫做黑盒子的原因,因为你根本不知道它到底干了什么。
今天和学校一位研究狂人教授Tad聊天时,他一上来又提在他的信息论课上拿最高分的事,然后开始忽悠我,去把他的信息论再上一遍。当然,我内心是拒绝的。
之后,提起我现在的研究,Tad直接就说“I dont like Neural Network, cuz we don't know what happened inside it.”然后就blahblah,又开始给我传播他的信息论。
正如这位严谨的教授所说的,现在的情况是,我们对这个东西其实并不是很清楚,但是就是拿来用。作为一门好的学问的话,理当是如力学,还有信息论这些一样,有很严谨的数学推导系统。
所以现在神经网络的情况就像这样。
Yo, Yo
我有一些输入,输入,
我有一个训练好的model,model* *
Bang! 我就有了想要的输出。

扯远了,大概这就是一些简单的说明了。之后再简单说说历史。

  1. 历史好才是真的好

最早是1943年,McCulloch 还有 Pitts 提出了最初的神经元模型,即沿用至今的"M-P 神经元模型"概念。
神经元接受来自n个其他神经元传来的信号,信号分配好一定权重,得到一个总输入值,之后和阈值比较,再通过‘激活函数’得到输出。
但当时他们提出的具体模型,主要特点是,只能输入二元值,也就是0和1. 再加一个阈值函数,输出0和1. 功能并不强大。


数年后,一位心理学家(上世纪那些心理学家各个都要逆天)Frank Rosenblatt发现这个模型,根本就不带学习机能的,这让计算机怎么好好学习。

于是,愤怒的学霸总是很可怕的,就自己动手捣鼓了一个新模型。提出了感知机(Perceptron),简单说单隐层前馈神经网络(Single Hidden Layer Forward Neural Network).
根本就不是人话。
这家伙虽然能够学习了,但是智商有限。它只由两层神经元组成,虽然还会根据输出调整权重,来进行学习,像这样。

(霍金说,每增加一个公式,读者就会少一半,反正就我一个读者,待会就还剩半个)
但是到底能力有限,学不会什么东西。给他一个奥赛罗的开局,来,给我分分,哪边是黑子,哪边是白子。指不定,它就给你分出三个黑子,或三个白子。
1969年,Minsky(明斯基大神)和Papert的《Perceptrons》书中就直接证明了这个问题。于是,既然大神都这样说了,那我们这些吃瓜群众当然是猛点头就可以了,很多实验室就不干了。大家对感知机的非常失望,这也带来了人工神经网络领域的冰河期。史称(AI Winter)。
直到之后,多层感知机,以及反向传播算法的提出,才使得人工神经领域走出低谷,重新发展起来。
所以这个故事告诉了我们,不要轻信大神的话。比如说我,就是被吴教授忽悠上了迁移学习(Transfer Learning)这个大坑。

正当大家以为,现在我左有多层网络,右有反向传播,其实已经有了现在所谓深度学习的大部分理论基础了。这样子,那怎么说,我们也应当是要搞出个大新闻了是吧。

然而,问题又来了。给了一身神装,但是等级不够,根本没有用。虽然有理论基础了,但是当时计算机太破,根本跑不动太大的神经网络。
就像我现在用六年前买的笔记本,训练大一点神经网络,保准给你先死个24小时机。然后当你满眼期盼,望着屏幕时,马上再给你跳出个错误信息。
于是乎,大家又不搞神经网络了(一个个都是墙头草),都跑去玩支持向量机这类的算法去了。只留下几位,现在赫赫有名的几大天王们,在一直撑着。
之后,在这个世纪,因为硬件的跟上,这个领域得到了爆发。也就是现在看到的状况,当然这是后话了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容

  • 热反射成像技术是新发展起来的一项温度分析技术。它对尺寸的分辨率达到了惊人的0.25um,最小能捕捉0.01℃的温度...
    sanre123阅读 1,417评论 0 3
  • 最近好像明显感觉自己的小心脏平静了下来,看着自己越来越冷漠的对待身边的得失来去,越来越愿意去承认自己的无能...
    随遇而安00阅读 179评论 0 0
  • 文/清梨浅茶 我经常能够看见,有很多人喜欢默默付出,帮助别人做了很多事却不吭不响。就像很多电视剧里男二的桥段,总是...
    清梨浅茶阅读 16,000评论 151 360
  • 叶酸 今天吃了太多水果了,雨也一直下。 老公的胃得去看中医了,得好好调理。 我们才能有更健康的宝宝。
    子持子持阅读 101评论 0 0
  • 文/Moi 转载请注明来源 假日即将来临,不少朋友准备好开始度假了吧,天气太冷,一定得去热带岛屿玩啊~选择了海岛...
    Moi宣潜水阅读 9,883评论 0 0