- 序列问题为什么不使用标准神经网络？
- 输入和输出在不同样本的长度不一定相等
- 参数不共享，即无法共享学习到的特征（联想到卷积核）
- 循环神经网络
- 初始化激活值
- 将第一个词训练神经网络并生成新激活值与预测值
- 以此类推对后序每一个词执行第 2 步的操作
- 循环神经网络的优点
- 对每个单词（维度相同）训练神经网络，避免了样本输入、输出长度不一致的困扰
- 每一个时间步的参数共享，通过激活值建立序列前后的联系
- 循环神经网络的缺点
- 在某一时刻的预测仅使用了序列中之前的输入信息（解决方案：双向循环神经网络）
- 循环神经网络的前向传播
