Recurrent Neural Networks
- networks with loops in them, allowing information to persist.
Paste_Image.png
- unroll
Paste_Image.png
The Problem of Long-Term Dependencies
- use past to predict now
Paste_Image.png
- The problem was explored in depth by Hochreiter (1991) [German] and Bengio, et al. (1994), who found some pretty fundamental reasons why it might be difficult.
-
这是普通的RNN结构
Paste_Image.png 这是LSTM结构
Paste_Image.png
Paste_Image.png
The Core Idea Behind LSTMs
- 重要的点 cell state(传输带)，能够在上面增加或者去除cell
Paste_Image.png
- 门有让信息通过的能力。由sigmoid和乘法运算组成。
Paste_Image.png
它决定有多少信息通过。0意味着不让任何信息通过，1意味着让所有信息通过。
Step-by-Step LSTM Walk Through
- “forget gate layer.”
Paste_Image.png
- decide what new information we’re going to store
Paste_Image.png
- 我们决定那些要忘记，那些信息重要的要留下
Paste_Image.png
- 最后我们决定要输出什么（时态or词性）
Paste_Image.png
LSTM变形
1.我们希望在忘记之前能够查看cell state的情况(peepholes)
Paste_Image.png
2.当我们忘记旧的东西，我们才加入新的值
Paste_Image.png
3.把forget gate 和 input gate 变成update gate。把cell state 和hidden state 结合在一起。
Paste_Image.png
