学习机器学习的意愿
人工智能是时代发展的热点，抱着拥抱红利的态度和对认知感兴趣（想知道机器是如何变得智能的及其认为与认知有关系），我开始了机器学习的道路。
前两天啊AI学习圣经刚好出中文版，我就立马下单了，其购买地址为：
[AI 学习圣经]：http://product.m.dangdang.com/product.php?pid=1003774857&from=singlemessage&isappinstalled=1
人工智能的历史
人工智能早期是处理一些对于人类智力来说比较困难但是计算机比较简单的东西。计算机能够不停的告诉运转善于一些形式化的问题，即可以通过一些规则形式化来描述的问题。比如我们用过的规则引擎，就是把所有的规则存储下来，当有特定的输入就会出现相应的输出。
而对于相对直觉的问题，比如识别图像中的脸识别其所表达的情绪。我们人脑可以凭直觉可以反映出来，但是计算机很难识别。首先计算机很难把情绪这个概念表示出来，情绪这个概念对于计算机来说太抽象。而计算机解决问题表达概念都是从底层bit一层一层构建出概念借助高级语言对概念的叠加而形成。
深度学习的理念就是让计算机自己从经验中学习，一句层次化概念理念，把从经验中学习到的概念叠加起来形成复杂的概念。这就不需要人来定制计算机所需要的形式化的知识。
人工智能知识库的失败
有人设想把世界上所有的知识用形式化的语言硬编码，这就是人工智能知识库。把人类的知识录入进计算机，计算机不知道这些知识的关系。通过规则来描述这些关系也是很费力的，对于有很多种表示的计算机也无法处理。所以我们需要计算机自己可以学习从原始数据中获取模式的能力。
表示的重要性和表示学习
人可以容易使用阿拉伯数字进行运算，但是在罗马数字的运算下就比较耗时。
同理表示对机器学习的算法的性能也会有很大影响，从这里可以把表示类比于计算机中的数据结构，即你用什么样的数据结构来表示。
许多人工智能是先给定一个特征集，然后根绝这些特征集来分辨数据。比如我们通过声音的声道大小来判断声音是男性、女性还是儿童。
但许多任务我们不知道特征集是什么？比如给你一张车的照片你判断出车的报价产地，你不知道根据什么特征来判断报价。
声道大小特征是人手动设计的但是提取车的照片就需要机器学习来挖掘，挖掘表示本身我们称为表示学习。
由于人类对于声音已经有研究所以提取特征比较容易，但如果对于未知领域设计特征需要耗费大量的人工、时间和精力。
表示学习算法 - 自编码器
自编码器其实就是把输入转换为一种不同的表示（类似于数学中的线性转换），自编码器有编码器和解码器组成。当经过自编码器后我们希望能够保留更多的好的特性。
进行表示学习时（人工设计还是设计用于学习特征的算法）我们的目标是分离出解释数据的变差因素。这些因素大部分是当前下不可知或者只以概念的形式存在人的思维当中。比如从语言中提出去说话口音，分析图片时太阳的角度和亮度，我们需要理清这些变差因素并忽略我们不关心的因素。而这些因素需要对数据进行复杂的接近人类水平理解来认知，这样获取特征与获取表示一样困难了。
表示学习算法 - 深度学习
深度学习思路是通过简单的表示来表达复杂表示（更抽象表示）。
深度学习的典型例子是前馈深度网络或多层感知即。每个函数的输出都为更高层的函数输入提供了新的表示。
f1 ( f2 (f3 (f4))) //比如识别人的图像 f4:可见层； f3：边； f2：轮廓和角；f1：对象。
深度学习有多深
1.把执行的顺序指令转换为流程图，该流程图的最长路径就是模型的深度。
2.概念如何关联形成的图的深度视为模型的深度。在对简单概念的理解后在给出更复杂的概念后可以进一步细化的过程，即每一个概念都在不停的进化学习过程中。比如观察到一只眼睛当扫描到脸部的概念后我们就知道有两只眼睛这种情况，我们对于眼睛概念细化了理解更深了。
我们暂时没有必要追求多深才好，是模型的深度好呢还是概念的深度好。但一点要确认的是：深度模型研究涉及更多学到功能和学到的概念组合。
深度学习与机器学习的关系
深度学习是机器学习的一种，是一种能够是计算机系统从经验和数据中得到提高的技术。
文章前面提到了“知识库”，“自编码器”，那么他们在机器学习中是一个怎样的关系呢？
深度学习的历史趋势
深度学习与哲学、认知学的观点
AI智能就是让机器能够模拟人智能地处理事情。所以最开始模拟生物学习的计算模型，即电脑怎样学习或为什么能学习。即从神经学和哲学方面来思考这个问题，
这就产生了两种途径：1.逆向大脑背后的计算原理。 2.理解大脑和人类智力的原理不仅解决一些应用能力还能让人类对这些基本的科学问题有进一步认知。
深度学习最早是从神经科学角度出发的简单线性模型。f(x,w)=x1w1+...+xnwn，通过校验函数f(x,w)正负来识别两种不同类别的输入，但是线性模型无法学习f([0,1],w)函数。
深度学习与计算神经科学领域
深度学习借鉴于多个领域，神经科学、应用数学、概率论、信息论和数值优化。
深度学习专注于构建一个智能的计算机系统，而计算神经科学领域专注构建大脑如何真实工作，比较精确的模型。
分布式表示
分布式表示思想是：每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。
比如三种颜色：红、白、蓝 ； 三种形状：圆形、长方形、三角形
这就会有9种组合需要9个神经元来表示，如果用分布式表示就只需要单独的6个神经元就够了。
分布式表示是本书的核心。
神经网络一直发展不起来是由于构建不了这么多的神经元数量，即便现在硬件发展很快，现在构建的网络从计算机系统角度来看很大但是它比相对原始脊椎的神经系统还要小，更不用说模拟人的神经系统了。
联结主义的观点之一是当动作的许多神经元数量一起工作时会变得更加聪明。
深度学习的将来
随着更快的GPU、通用GPU的出现模型规模随着时间推移不断增加是深度学习的趋势。
同时深度学习在实践应用中更精准的解决了一些复杂问题，比如用于对象识别的卷积神经网络，可以用于翻译的序列之间关系建模。
