科学家们很早就在研究如何让计算机智能化,起初是将计算机所需要的知识例举为形式化的语言编程输入给计算机,这样的过程不仅繁琐且计算机能达到的智能程度是非常有限的。所以,AI系统需要具备自己获取知识的能力, 即从原始数据中提取模式的能力。这种能力被称为机器学习 (machine learning)。引入机器学习使计算机能够解决涉及现实世界知识的问题,并能作出看似主观的决策。但需要注意的是这些简单的机器学习算法的性能在很大程度上依赖于给定数据的表示(如图1)。
许多人工智能的任务都可以先提取一个合适的特征集,然后将这些特征提供给简单的机器学习算法来解决。然而,对于许多任务来说,很难知道应该提取哪些特征。 解决这个问题一个途径的是使用机器学习来发现表示本身,而不仅仅把表示映射到输出。这种方法被称为表示学习 (representation learning)。学习到的表示往往比手动设计的表示表现得更好。表示学习算法的典型例子是自动编码器。当设计特征或学习特征的算法时,我们的目标通常是分离出能解释观察数据的变化因素 (factors of variation)。 这些因素通常是不能被直接观察到的量。相反,它们可能是现实世界中观察不到的物体或者不可观测的力,但会影响能观测到的量。 例如,当分析语音记录时,变化的因素包括说话者的年龄、性别、他们的口音和他们正在说的词语。 在现实世界,许多人工智能应用困难的一个重要原因是很多变化因素影响着我们能够观察到的每一个数据。大多数应用需要我们理清变化因素并丢弃我们不关心的因素。 然而许多这样的变化因素,诸如说话者的口音,只能对数据进行复杂的、接近人类水平的理解来确定。这几乎与获得原来问题的表示一样困难。深度学习 (deep learning) 通过其它较简单的表示来表达复杂表示,解决了表示学习中的核心问题。 深度学习系统通过组合较简单的概念从而构建复杂的概念(如图2)。
以上总结如下图:
深度学习是一种特定类型的机器学习,具有强大的能力和灵活性,它将大千世界表示为嵌套的层次概念体系(由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示)。
参考:
1.http://www.deeplearningbook.org/
2.《Machine Learning》中文版