姓名：朱鸿宇；学号：20021210864； 学院：电子工程学院
转自：https://blog.csdn.net/qq_41204464/article/details/115532353?utm_medium=distribute.wap_feed.none-task-blog-yuanlijihua_new-3.nonecase&dist_request_id=&depth_1-utm_source=distribute.wap_feed.none-task-blog-yuanlijihua_new-3.nonecase
【嵌牛导读】本文介绍了循环神经网络的基本概念与应用。
【嵌牛鼻子】循环神经网络
【嵌牛提问】什么是循环神经网络？
【嵌牛正文】
循环神经网络（Recurrent Neural Networks，RNN），是一种反馈网络，模拟“人脑记忆功能”，常用于语言识别、机器翻译、视频分析、生成图像描述等。
循环神经网络通过使用带自反馈的神经元，使得网络的输出不仅和当前的输入有关，还和上一时刻的输出相关，于是在处理任意长度的时序数据时，就具有短期记忆能力。
RNN能有效处理序列特性的数据，它能挖掘数据中的时序信息以及语义信息。
序列特性：符合时间顺序，逻辑顺序，或者其它顺序
循环神经网络的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。
即：网络对前面信息进行记忆，并应用于当前输出的计算中；当前神经元的输出与当前输入、和之前输出有关。
循环体
由输入层、一个隐藏层和一个输出层组成
特征：
1.网络对前面信息进行记忆，并应用于当前输出的计算中
2.当前输出与当前输入、和之前输出有关
3.隐藏层之间的节点不在无连接而是有连接的；
4.隐藏层的输入包括输入层以及上一时刻隐藏层的输出
循环神经网络
循环神经网络由循环体堆叠而成，为了方便折叠，循环体有两类输出：隐藏层输出、最终输出。
隐藏层输出：包括各时间步的输出。最终输出：只是最后一个时间步的输出。
LSTM网络
长短期记忆神经网络（Long short-term memory，LSTM），是RNN的一种，该网络是对简单循环神经网络改进。
LSTM是一种拥有三个“门”结构的特殊网络结构。LSTM结构可以更加有效的决定哪些信息应该被遗忘，哪些信息应该被保留
遗忘门：让循环神经网络”忘记“之前没有用的信息。
输入门：在循环神经网络"忘记"了部分之前的状态后，它还需要从当前的输入补充最新的记忆，这个过程需要”输入门“完成。
输出门：LSTM结构在计算得到新的状态Ct后需要产生当前时刻的输出，这个过程是由”输出门“完成。
LSTM通过它的“门控装置”有效的缓解了梯度消失和爆炸的问题。
循环神经网络应用
主要在自然语言处理方向应用；
文档分类和时间序列分析（识别文章的主题）
时间序列对比（比较两个文档的相关程度）
序列到序列的学习（中文翻译为英文）
情感分析（推文或电影评论的情感划分为正面或负面）
世间序列预测（根据最近的天气数据来预测未来天气）
