[机器学习入门] 李宏毅机器学习笔记-34 (Recurrent Neural Network part 3;循环神经网络 part 3)
| VIDEO |
|---|
上接part 2
RNN
Beyond Sequence
那么这种sequence to sequence 的方法还可以用于Syntactic parsing 句法分析上，得到树桩结构。
而它表达的方式就是通过括号来标记的，虽然感觉很复杂，但事实证明这种方法是work 的。
Sequence-to-sequence Auto-encoder - Text
用以下两种方法，可把document变成一个vector。
Sequence-to-sequence Auto-encoder - Speech
还可以用在语音辨识上
把一段语音变成一个vector，可以看到，dogs和dog是比较接近的。
可以拿来做语音搜寻，不需要语音辨识到文字，就可以通过语音找到想找的内容。
那么怎样吧audio变成vector呢？最后一个时间点的值么就能表示这句话。
只有一个encoder是没办法训练的，还需要又一个decoder，RNN encoder和decoder是一起训练的，使x与y越接近越好。
下图的结果还有一个有趣的事情，把fame的f换成n，与fear的f换成n，vector转化的方向是一致的。
Sequence to Sequence Demo：
Attention-based Model
现在除了RNN外，还有一种方法也用到了memory，Attention-based Model，可以想做是RNN的进阶版，像人的大脑有非常强的记忆里。
machine也可以有一个巨大的脑容量。
上面这个model还有一个2.0版本，Neural Turing Machine，不仅可以读，还可以写入。
这种方法常常被用于阅读理解，Reading Comprehension，向machine提问。
Visual Question Answering，不仅可以做文字理解，图像理解同样work。
它的做法就是，给machine看一张图，通过CNN可以把图的每一小块都用一个vector来表示。
Speech Question Answering，还可以用来解答语音问题。
用的model和刚刚的大同小异，让machine先读一下question，把question做语义分析，得到question的语义，声音的部分，先用语音分析把它转换成文字，再把这段文字作语义分析的到这段文字的语义，machine结合两者解析出来的语义，Attention出哪些部分是与解决问题有关的，通过Attention，得到答案，而答案和Attention之间是可以来回调整的，通过与选项比较，最后选择出答案。
Deep & Structured
RNN v.s. Structured Learning
Integrated together
input的feature先通过蓝框，然后将篮框的output作为绿框的input，将两者结合起来。
