先挖坑，后面填。
CNN
参考：
以MINST数字识别为例，一般模型为：
- 输入层 28*28
- 卷积层1 32@28*28
- 池化层1 32@14*14
- 卷积层2 64@14*14
- 池化层2 64@7*7
- 全连接层 1024个神经元
- 输出层 10个神经元
输入层是28*28，对应图片像素大小
卷积patch为5*5，又称为感受野（receptive field）
池化的stride为[1,1,1,1], padding选择为SAME
池化层有的地方又称为亚采样。
卷积的生物意义是捕捉图像的局部特征...
LSTM
LSTM 四层，三个门
- 每个门通过h(t-1)，x(t)确定输出比例，就是sigmoid函数
- 对于当前单元，先从C(t-1)获取信息，然后从h(t-1)，x(t)获取信息，两者相加得到当前Cell state保存的信息C(t)
- 基于Cell state保存信息输出信息
细分：
- forget gate: 控制从C(t-1)获取多少信息
- input gate: 控制从h(t-1)，x(t)获取多少信息
- output gate: 控制从C(t)输出多少信息
seq2seq
待补充
