上一节我们介绍了RNN网络层的记忆性原理，同时使用了keras框架听过的SimpleRNN网络层到实际运用中。然而使用的效果并不理想，主要是因为simpleRNN无法应对过长单词串的输入，在理论上，当它接收第t个输入时，它应该能把前面好几个单词的处理信息记录下来，但实际上它无法把前面已经处理过的单词信息保留到第t个单词输入的时刻。
出现这种现象的原因叫"Vanishing gradian problem"，我们以前说要更新某个链路权重中，需要对它求偏导数，但在某种情况下，我们求得的偏导数可能接近于0，这样一来链路权重就得不到有效更新，因为当权重加上一个很接近于0的偏导数时，它不会产生显著的变化。这种现象也会出现在feed forward网络，当网络有很多层时，我们会把误差进行回传，但层次过多时，回传的误差会不断的被“冲淡”，直到某个神经元接收到回传的误差是，该误差的值几乎与0差不多大小，这样求出的偏导数也接近与0，因此链路权重就得不到有效的更新。
这种现象被人工置顶的三位大牛Hochreiter,Schmidhuber，Bengio深入研究后，他们提出一种新型网络层叫LSTM和GRU以便接近偏导数接近于0使得链路权重得不到有效更新的问题。LSTM的全称是Long Short term memory,也就是长短程记忆，它其实是我们上节使用的simpleRNN变种，设想当单词一个个输入网络时，旁边还有一条传送带把相关信息也输入网络，如下图：
这里我们多增加一个变量C来记录每一个单词被网络处理后遗留下来的信息，网络的激活函数还是不变，但是我们要增加多几个变量来计算变量C：
i_t = activation(dot(state_t, Ui) + dot(input_t, wi) + bi)
f_t =activation(dot(state_t, Uf) + dot(input_t, wf) + bf)
k_t=activation(dot(state_t, Uk) + dot(input_t, wk) + bk)
那么C的更新方式为：
C = i_t * k_t + Cf_t
初看起来，逻辑很难理解，为何我们要增加这些不知所云的步骤呢，它蕴含着较为复杂的设计原理和数学原理，简单来说Cf_t目的是增加一些噪音，让网络适当的“忘记”以前计算留下了的信息，i_t*k_t是让网络增强最近几次计算所遗留下来的信息 ，这里我们不深究，只要囫囵吞枣，知道新增加的变量C是用来帮助网络增强对以前信息处理的记忆，并指导该变量如何更新就好，接下来我们看看LSTM网络的具体应用实例：
from keras.layers import LSTM
model = Sequential()
model.add(Embedding(max_features, 32))
model.add(LSTM(32))
model.add(Dense(1, activation='sigmoid'))
model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])
history = model.fit(input_train, y_train, epochs=10, batch_size=128, validation_split=0.2)
我们继续使用上一节的数据作为网络输入，上面代码运行后，我们再将它的训练结果绘制出来，结果如下：
上一节我们使用SimpleRNN网络层时，网络对校验数据的判断准确率为85%左右，这里我们使用LSTM网络层，网络对校验数据的准确率可以提升到89%，这是因为LSTM比SimpleRNN对网络以期出来过的数据有更好的“记忆”功能，更能将以前处理过的单词与现在处理的单词关联起来。
更多技术信息，包括操作系统，编译器，面试算法，机器学习，人工智能，请关照我的公众号：
