上期我们一起用RNN做了一个简单的手写字分类器，

深度学习算法(第18期)----用RNN也能玩分类

n_steps = 20
n_inputs = 1
n_neurons = 100
n_outputs = 1
X = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
y = tf.placeholder(tf.float32, [None, n_steps, n_outputs])
cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)

在每一个时刻，我们都有一个size为100的输出向量，但是实际上，我们需要的是一个输出值。最简单的方法就是用一个包装器(Out putProjectionWrapper)把一个循环神经元包装起来。包装器工作起来类似一个循环神经元，但是叠加了其他功能。比如它在循环神经元的输出地方，增加了一个线性神经元的全连接层（这并不影响循环神经元的状态）。所有全连接层神经元共享同样的权重和偏置。如下图：

包装一个循环神经元相当简单，只需要微调一下之前的代码就可以将一个BasicRNNCell转换成OutputProjectionWrapper，如下：

cell = tf.contrib.rnn.OutputProjectionWrapper(
    tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu),
    output_size=n_outputs)

到目前为止，我们可以来定义损失函数了，跟之前我们做回归一样，这里用均方差（MSE）。接下来再创建一个优化器，这里选择Adam优化器。如何选择优化器，见之前文章：

深度学习算法(第5期)----深度学习中的优化器选择

learning_rate = 0.001
loss = tf.reduce_mean(tf.square(outputs - y))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
training_op = optimizer.minimize(loss)
init = tf.global_variables_initializer()

接下来就是执行阶段：

n_iterations = 10000
batch_size = 50
with tf.Session() as sess:
    init.run()
    for iteration in range(n_iterations):
        X_batch, y_batch = [...] # fetch the next training batch
        sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
        if iteration % 100 == 0:
            mse = loss.eval(feed_dict={X: X_batch, y: y_batch})
            print(iteration, "\tMSE:", mse)

输出结果如下：

0 MSE: 379.586
100 MSE: 14.58426
200 MSE: 7.14066
300 MSE: 3.98528
400 MSE: 2.00254
[...]

一旦模型训练好之后，就可以用它来去预测了：

X_new = [...] # New sequences
y_pred = sess.run(outputs, feed_dict={X: X_new})

下图显示了，上面的代码训练1000次迭代之后，模型的预测结果： 尽管用OutputProjectionWrapper是将RNN的输出序列降维到一个值的最简单的方法，但它并不是效率最高的。这里有一个技巧，可以更加高效：先将RNN输出的shape从[batch_size, n_steps, n_neurons]转换成[batch_size * n_steps, n_neurons]，然后用一个有合适size的全连接层，输出一个[batch_size * n_steps, n_outputs]的tensor，最后将该tensor转为[batch_size, n_steps, n_outputs]。如下图： 该方案实施起来，并不难，这里不需要OutputProjectionWrapper包装器了，只需要BasicRNNCell，如下：

cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
rnn_outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)

然后，我们对结果进行reshape，全连接层，再reshape，如下：

stacked_rnn_outputs = tf.reshape(rnn_outputs, [-1, n_neurons])
stacked_outputs = fully_connected(stacked_rnn_outputs, n_outputs,
            activation_fn=None)
outputs = tf.reshape(stacked_outputs, [-1, n_steps, n_outputs])

接下来的代码和之前的一样了，由于这次只用了一个全连接层，所以跟之前相比，速度方面提升了不少。

好了，至此，今天我们主要数据集的设置，RNN的创建，如何降维，以及损失函数，优化器，训练和预测模型的方面学习了RNN的使用，希望有些收获，欢迎留言或进社区共同交流，喜欢的话，就点个“在看”吧，您也可以置顶公众号，第一时间接收最新内容。