e370c6df1724422b8bc379817bff301.png

tensorflow中的Graph（圖）和Session（會(huì)話）的關(guān)系（大盤雞與紅燒肉）

TensorFlow 中的幾個(gè)關(guān)鍵概念：Tensor，Operation，Graph，Session

TF flags

學(xué)習(xí)TF官方的NMT
Tensorflow 機(jī)器翻譯NMT筆記 1 快速上手

注意力機(jī)制

配置示例：
example_configs>sample.yml

training options:
train:

• update_cycle: 用于pseudo Multi-GPU training
• batch_size: 每一步輸入的句子數(shù)量
• batch_tokens_size: 每個(gè)batch的單詞數(shù)
• save_checkpoint_steps: 模型保存點(diǎn)
• train_steps: 一次訓(xùn)練多少步為止
• eval_steps: 評(píng)估展示點(diǎn)
• maximum_features_length: 源語言seq長(zhǎng)度限制
• maximum_labels_length:目標(biāo)語言seq長(zhǎng)度限制
• reverse_target: ？ 是否reverse target以訓(xùn)練模型
• shuffle_every_epoch:是否在epoch之間shuffle？ 默認(rèn)無
  data: 配置訓(xùn)練用數(shù)據(jù)文件地址
• train_features_file: 源語言示例文段
• train_labels_file: 目標(biāo)語言示例文段
• eval_features_file: 評(píng)估用源語言文段
• eval_labels_file:評(píng)估用目標(biāo)語言文段
• source_words_vocabulary:源語言詞庫
• target_words_vocabulary:目標(biāo)語言詞庫
• bpe code: 輔助功能 默認(rèn)無
  BPE字節(jié)對(duì)編碼
  hooks: Hook? tf.train.SessionRunHook()介紹

metrics: 評(píng)估指標(biāo) 支持LossMetricSpec和BleuMetricSpec
optimizer:優(yōu)化器 任務(wù)是最小化loss adam是代替梯度下降
Tensorflow中優(yōu)化器--AdamOptimizer詳解

loss計(jì)算：網(wǎng)絡(luò)輸出結(jié)果（詞序列）→softmax→交叉熵計(jì)算loss（交叉熵計(jì)算兩組概率分布之間的距離）

seq2seq配置示例：
toy_seq2seq.yml
debug用網(wǎng)絡(luò)參數(shù)
model：seq2seq

TensorFlow中的那些高級(jí)API,包括Estimator（估算器）、Experiment（實(shí)驗(yàn)）和Dataset（數(shù)據(jù)集）

tensorflow中的Session()和run()

training/hooks.py
不知道干嘛的
training/optimize.py
優(yōu)化器
training/text_metrics_spec.py
根據(jù)配置參數(shù)建立評(píng)估指標(biāo) 包括loss和bleu兩種