image.png
上图神经元的预测函数（蓝色折线）在神经网络应用中比较常见。我们把这个函数称为ReLU函数，即线性整流函数（Rectified Linear Unit）
image.png
image.png
这个神经网络模型包含的神经元个数更多一些，相对之前的单个神经元的模型要更加复杂。
image.png
x为输入层，y为输出层，中间的神经元称为隐藏层。
-
Supervised Learning with Neural Networks
监督学习：已知训练样本的输出y
非监督学习：未知训练样本的输出y
机器学习解决的大部分问题都属于监督学习，神经网络模型也大多属于监督学习。
监督学习在神经网络中的应用：
1、房屋价格预测
2、线上广告（输入x为广告和用户信息，输出是用户是否对广告进行点击。目的是为用户提供感兴趣的广告）
（标准神经网络模型）
image.png
3、cv(输入是图片像素，输出是图片所属类别)
（卷及神经网络：CNN(convolution neural network)）
image.png
4、语音识别（语音信号辨别成文字信息）
(对于序列数据，经常用递归神经网络：RNN(recurrent neural network))
image.png
5、智能翻译
6、自动驾驶
(混合神经网络)
数据类型：Structured Data和Unstructured Data
Structured Data：通常指的是有实际意义的数据。例如房价预测中的size，#bedrooms，price等；具有实际的物理意义，比较容易理解。
Unstructured Data：比较抽象的数据，例如Audio，Image或者Text。
神经网络算法对于结构化和非结构化数据都有用处
image.png
- Why is Deep Learning taking off？
image.png
data越大large NN>Medium NN>Small NN>Traditional Algorithm
在处理海量数据和建立复杂准确的学习模型方面，深度学习有着非常不错的表现。在数据量不大的时候，深度学习模型不一定优于传统机器学习算法，性能差异可能并不大。
深度学习强大的原因：
1、Data：几何增长
2、Computation:GPU
3、Algorithm：eg:神经网络神经元的激活函Sigmoid函数——>ReLU函数。使神经网络模型学习速度变快
以上图片来源于：https://redstonewill.com/866/
