上期我們一起用RNN做了一個(gè)簡(jiǎn)單的手寫字分類器，

深度學(xué)習(xí)算法(第18期)----用RNN也能玩分類

n_steps = 20
n_inputs = 1
n_neurons = 100
n_outputs = 1
X = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
y = tf.placeholder(tf.float32, [None, n_steps, n_outputs])
cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)

在每一個(gè)時(shí)刻，我們都有一個(gè)size為100的輸出向量，但是實(shí)際上，我們需要的是一個(gè)輸出值。最簡(jiǎn)單的方法就是用一個(gè)包裝器(Out putProjectionWrapper)把一個(gè)循環(huán)神經(jīng)元包裝起來。包裝器工作起來類似一個(gè)循環(huán)神經(jīng)元，但是疊加了其他功能。比如它在循環(huán)神經(jīng)元的輸出地方，增加了一個(gè)線性神經(jīng)元的全連接層（這并不影響循環(huán)神經(jīng)元的狀態(tài)）。所有全連接層神經(jīng)元共享同樣的權(quán)重和偏置。如下圖：

包裝一個(gè)循環(huán)神經(jīng)元相當(dāng)簡(jiǎn)單，只需要微調(diào)一下之前的代碼就可以將一個(gè)BasicRNNCell轉(zhuǎn)換成OutputProjectionWrapper，如下：

cell = tf.contrib.rnn.OutputProjectionWrapper(
    tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu),
    output_size=n_outputs)

到目前為止，我們可以來定義損失函數(shù)了，跟之前我們做回歸一樣，這里用均方差（MSE）。接下來再創(chuàng)建一個(gè)優(yōu)化器，這里選擇Adam優(yōu)化器。如何選擇優(yōu)化器，見之前文章：

深度學(xué)習(xí)算法(第5期)----深度學(xué)習(xí)中的優(yōu)化器選擇

learning_rate = 0.001
loss = tf.reduce_mean(tf.square(outputs - y))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
training_op = optimizer.minimize(loss)
init = tf.global_variables_initializer()

接下來就是執(zhí)行階段：

n_iterations = 10000
batch_size = 50
with tf.Session() as sess:
    init.run()
    for iteration in range(n_iterations):
        X_batch, y_batch = [...] # fetch the next training batch
        sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
        if iteration % 100 == 0:
            mse = loss.eval(feed_dict={X: X_batch, y: y_batch})
            print(iteration, "\tMSE:", mse)

輸出結(jié)果如下：

0 MSE: 379.586
100 MSE: 14.58426
200 MSE: 7.14066
300 MSE: 3.98528
400 MSE: 2.00254
[...]

一旦模型訓(xùn)練好之后，就可以用它來去預(yù)測(cè)了：

X_new = [...] # New sequences
y_pred = sess.run(outputs, feed_dict={X: X_new})

下圖顯示了，上面的代碼訓(xùn)練1000次迭代之后，模型的預(yù)測(cè)結(jié)果：?盡管用OutputProjectionWrapper是將RNN的輸出序列降維到一個(gè)值的最簡(jiǎn)單的方法，但它并不是效率最高的。這里有一個(gè)技巧，可以更加高效：先將RNN輸出的shape從[batch_size, n_steps, n_neurons]轉(zhuǎn)換成[batch_size * n_steps, n_neurons]，然后用一個(gè)有合適size的全連接層，輸出一個(gè)[batch_size * n_steps, n_outputs]的tensor，最后將該tensor轉(zhuǎn)為[batch_size, n_steps, n_outputs]。如下圖：?該方案實(shí)施起來，并不難，這里不需要OutputProjectionWrapper包裝器了，只需要BasicRNNCell，如下：

cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
rnn_outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)

然后，我們對(duì)結(jié)果進(jìn)行reshape，全連接層，再reshape，如下：

stacked_rnn_outputs = tf.reshape(rnn_outputs, [-1, n_neurons])
stacked_outputs = fully_connected(stacked_rnn_outputs, n_outputs,
            activation_fn=None)
outputs = tf.reshape(stacked_outputs, [-1, n_steps, n_outputs])

接下來的代碼和之前的一樣了，由于這次只用了一個(gè)全連接層，所以跟之前相比，速度方面提升了不少。

好了，至此，今天我們主要數(shù)據(jù)集的設(shè)置，RNN的創(chuàng)建，如何降維，以及損失函數(shù)，優(yōu)化器，訓(xùn)練和預(yù)測(cè)模型的方面學(xué)習(xí)了RNN的使用，希望有些收獲，歡迎留言或進(jìn)社區(qū)共同交流，喜歡的話，就點(diǎn)個(gè)“在看”吧，您也可以置頂公眾號(hào)，第一時(shí)間接收最新內(nèi)容。