目标：
1.什么是序列预测，以及与一般的预测模型问题的区别
2.多层感知机对序列模型的限制，循环神经网络可做的事情，以及LSTM如何实现
3.LSTM的经典应用，以及LSTM的一些局限性
目录：
1.1 序列预测问题
1.1.1 序列
1.1.2 序列预测
1.1.3 序列分类
1.1.4 序列生成
1.1.5 序列到序列的预测
1.2 多层感知机的限制
1.3 循环神经网络的功能
1.4 长短期记忆网络（LSTM）
1.5 LSTMs的应用
1.6 LSTMs的限制
1.1序列预测问题
序列预测问题与监督学习问题不同，这些序列在训练模型和预测时强调结果的顺序。一般有序列数据的预测问题被称为序列预测问题。
4种不同序列预测问题：
（1）序列预测
（2）序列分类
（3）序列生成
（4）序列到序列的预测
1.1.1序列
序列与集合的不同。集合不强调顺序，序列强调顺序的重要性。
1.1.2序列预测
序列预测涉及对给定的输入序列预测下一个值，也可以称为序列学习。
Input Sequence: 1, 2, 3, 4, 5
Output Sequence: 6
序列预测包括：
（1）天气预报。鉴于随着时间的推移对天气的一系列观察，预测明天的天气。
（2）股市预测。给定安全性随时间的一系列移动，预测安全性的下一个移动。
（3）产品推荐。给定客户过去购买的序列，预测客户的下一次购买。
1.1.3序列分类
序列分类涉及预测输入序列的类标签。序列分类的目标是使用标记的数据集建立一个分类模型，这样模型可以用来预测下一个序列的类标签。
Input Sequence: 1, 2, 3, 4, 5
Output Sequence: "good"
序列分类问题包括：
（1）DNA序列分类。给定A,C,G,T值得DNA序列，预测该序列是用于编码区还是非编码区。
（2）异常检测。给定一个序列，预测序列是否异常。
（3）情感分析。给定一系列文本，如评论或推文，预测文本的情感是积极的还是消极的。
1.1.4序列生成
序列生成涉及生成一个新的具有相同特征的输出序列。
Input Sequence: [1, 3, 5], [7, 9, 11]
Output Sequence: [3, 5 ,7]
序列生成问题包括：
（1）文本生成。给定一组文本语料库，例如莎士比亚的作品，生成新的句子或文本段落，这些句子或段落可以从语料库提取出来。
（2）手写体预测。给定手写示例库，为新短语生成具有示例库中的手写属性的手写。
（3）音乐生成。给定一组音乐示例，生成具有示例属性的新音乐作品
（4）图像标题生成。给定图像作为输入，生成图像的单词序列。
Input Sequence: [image pixels]
Output Sequence: ["man riding a bike"]
1.1.5序列到序列的预测
序列到序列的预测涉及给定输入序列预测输出序列。
Input Sequence: 1, 2, 3, 4, 5
Output Sequence: 6, 7, 8, 9, 10
如果输入和输出是时间序列，则该问题可以称为多步时间序列预测。序列到序列问题包括：
（1）多步时间序列预测。给定一个时间序列，预测未来一些街时间步骤的结果序列。
（2）文本摘要。给定文本文档，预测描述源文档的显著部分的较短文本序列。
（3）程序执行。给定文本描述程序或数学方程预测描述争取输出的字符串序列。
1.2 多层感知机的限制
经典的神经网络称为多层感知机，MLPs，可以用于序列预测问题。
