基于 Tensorflow 實現(xiàn)自動作詩（古詩）機器人。文本的 Demo 是踩在巨人 Tensorflow 的肩膀上，參考 char-rnn-tensorflow 實現(xiàn)。
本文將簡單介紹 Demo 的使用、數(shù)據(jù)預處理過程(即是 Tensor 生成過程)、訓練過程和詩歌生成的過程。至于 RNN 模型相關(guān)，概念好多，對于半路出家的筆者還需要時間扣扣細節(jié)，查查資料，以免寫出來誤人子弟(捂臉)。文中涉及到的相關(guān)概念如有偏頗或錯誤，請各位大神不吝賜教，批評指出，這里先謝過。
相關(guān) Github 源碼
版權(quán)聲明：本文為 frendy 原創(chuàng)文章，可以隨意轉(zhuǎn)載，但請務必在明確位置注明出處。
有圖有真相：
原理
將古詩轉(zhuǎn)成張量 Tensor，使用 Tensorflow 的 RNN 模型進行訓練，F(xiàn)low 起來。
環(huán)境
Tensorflow 1.0.1
可參考《 Win 10 安裝 Tensorflow 踩坑記》
使用方法
下面是本文 Demo 的使用方法，相關(guān)參數(shù)可在腳本里自行修改調(diào)整。
1. 訓練
python3 trainer.py
2. 生成詩歌
2.1 隨機生成：
python3 generator.py
2.2 藏頭詩生成：
python3 generator.py --prime 執(zhí)子之手
數(shù)據(jù)預處理
預處理生成 Tensor，這里筆者用大家都熟悉的《憫農(nóng)》來舉例分析：
** reading text file =
^鋤禾日當午，汗滴禾下土。誰知盤中餐，粒粒皆辛苦。$
** counter = dict_items([('汗', 1), ('$', 1), ('滴', 1), ('午', 1), ('苦', 1), ('粒', 2), ('。', 2), ('土', 1), ('辛', 1), ('日', 1), ('知', 1), ('中', 1), ('皆', 1), ('當', 1), ('餐', 1), ('禾', 2), ('^', 1), ('鋤', 1), ('，', 2), ('盤', 1), ('下', 1), ('誰', 1)])
** vocab_size = 23
** chars = ('粒', '。', '禾', '，', '汗', '$', '滴', '午', '苦', '土', '辛', '日', '知', '中', '皆', '當', '餐', '^', '鋤', '盤', '下', '誰', '*')
** vocab = {'辛': 10, '滴': 6, '午': 7, '苦': 8, '誰': 21, '粒': 0, '。': 1, '土': 9, '汗': 4, '日': 11, '知': 12, '中': 13, '皆': 14, '當': 15, '餐': 16, '禾': 2, '*': 22, '^': 17, '鋤': 18, '，': 3, '盤': 19, '下': 20, '$': 5}
** tensor = [[17, 18, 2, 11, 15, 7, 3, 4, 6, 2, 20, 9, 1, 21, 12, 19, 13, 16, 3, 0, 0, 14, 10, 8, 1, 5]]
今天有朋友問，
張量到底是什么？這里引用百度百科的描述，張量源于力學，是矢量概念的推廣，矢量是一階張量。本文的 Demo 是把大量詩歌轉(zhuǎn)換成了二階張量（矩陣）來表示。
訓練數(shù)據(jù)準備
由于數(shù)據(jù)量大，機器可能不夠用（比如內(nèi)存不夠等等），因此分批訓練還是必要的。此外涉及到模型持久化相關(guān)的，這里也不贅述啦。這里想提一個生成訓練數(shù)據(jù)時的細節(jié)，筆者糾結(jié)了很久：
ydata[:-1] = xdata[1:]
x 和 y 要錯一位？為什么需要這樣處理？查了很久，原來 rnn 的輸入和輸出要錯一位。這里說明什么？說明理論還是不能馬虎的，找時間還是要深入啃啃 rnn 的原理。
模型參數(shù)
其實下面怎么設(shè)置還是有學問的，后面有時間還是得做做幾組對照實驗。
| 參數(shù) | 說明 |
|---|---|
| rnn_size | rnn 的 cell 內(nèi)神經(jīng)元數(shù)目 |
| num_layers | rnn 層數(shù) |
| model | rnn 類型，這里筆者選用的是 lstm |
| batch_size | batch 大小（多少批數(shù)據(jù)） |
| num_epochs | epoch 數(shù)目（一批數(shù)據(jù)有多少個） |
| save_every | 保存的頻次 |
| grad_clip | 梯度 clip（防止梯度爆炸） |
| learning_rate | 學習率，決定每一步學習的步長 |
| decay_rate | 學習率削減時用到的參數(shù) |
| ... | ... |
訓練模型
這里筆者直接摘出核心，其實采用的是 softmax 回歸模型來給不同的字符對象分配概率，如下所示：
self.logits = tf.matmul(output, softmax_w) + softmax_b
self.probs = tf.nn.softmax(self.logits)
表示成矩陣如下：
進一步寫成表達式如下：
是的，就是 MNIST 手寫數(shù)字分類問題里那個 softmax 回歸模型，點這里看相關(guān)推導，筆者沒能啃進去(捂臉)。
生成 Sample
下面是數(shù)據(jù)流變換過程，還是以大家都熟悉的《憫農(nóng)》為例，這里筆者以字符 “鋤” 開頭。其實，下面一系列變換直接照搬了 char-rnn 里隨機選擇字符的方法，為什么這么處理？還望有大神不吝賜教，這里先謝過。
** vocab = {'^': 6, '土': 21, '汗': 4, '，': 3, '午': 7, '鋤': 10, '誰': 19, '辛': 14, '粒': 0, '苦': 17, '知': 16, '當': 9, '下': 11, '日': 20, '皆': 15, '。': 2, '禾': 1, '盤': 5, '餐': 12, '$': 18, '中': 8, '滴': 13, '*': 22}
** chars = ^鋤
** x = [[ 6 10]]
sess.run([self.probs,self.final_state],{self.input_data: x,self.initial_state: state})
** probs[-1] = weights =
[ 0.04201746 0.05162039 0.05662962 0.03021749 0.02953894 0.03858508
0.03475175 0.04856787 0.05444941 0.0520597 0.02933978 0.03519193
0.03243973 0.05847431 0.03798598 0.03890398 0.05775708 0.04891997
0.05474302 0.0344351 0.04930111 0.04917176 0.03489855]
t = np.cumsum(weights)
** t =
[ 0.04201746 0.09363785 0.15026747 0.18048497 0.21002391 0.24860899
0.28336075 0.33192861 0.38637802 0.43843773 0.46777752 0.50296944
0.53540915 0.59388345 0.63186944 0.67077339 0.72853047 0.77745044
0.83219343 0.86662853 0.91592962 0.96510136 0.99999988]
s = np.sum(weights)
** s = 0.9999998807907104
sample = int(np.searchsorted(t, np.random.rand(1)*s))
** sample = 7
** vocab[sample] = 午
好了，到這里我們的結(jié)果已經(jīng)生成為 “鋤午”。接下來以 “午” 為輸入，同理預測下一個字符，遇到 “，” 或者 “?！?則結(jié)束本句生成即可。
文末詩一首，送給看到文章的你：
萬樹旦已見，事值逾蒼林。
如何求圣惡，意意具華時。
