tf.data模塊包含一系列類，用于加載數(shù)據(jù)、操作數(shù)據(jù)并通過管道將數(shù)據(jù)傳送給模型。本文主要介紹之前提到的iris_data.py中的train_input_fn函數(shù)。

0 train_input_fn定義

def train_input_fn(features, labels, batch_size):
    """An input function for training"""
    # Convert the inputs to a Dataset.
    dataset = tf.data.Dataset.from_tensor_slices((dict(features), labels))

    # Shuffle, repeat, and batch the examples.
    dataset = dataset.shuffle(1000).repeat().batch(batch_size)

    # Build the Iterator, and return the read end of the pipeline.
    return dataset.make_one_shot_iterator().get_next()

接下來對這個函數(shù)進(jìn)行簡單介紹。

1. Arguments

該函數(shù)需要如下三個參數(shù)：

• features：包含有原始輸入特征的{"feature_name": array}字典或者DataFrame
• labels：包含每個樣本標(biāo)簽的數(shù)組
• batch_size：表示所需批次大小的整數(shù)

2. Slices

最簡單的情況，可以使用tf.data.Dataset.from_tensor_slices接收一個數(shù)組，并創(chuàng)建該數(shù)組的slices表示的tf.data.Dataset，這個方法根據(jù)數(shù)組的第一維創(chuàng)建對應(yīng)的slices。比如mnist訓(xùn)練數(shù)據(jù)集的形狀是(60000, 28, 28)，通過from_tensor_slices返回的Dataset對象包含有60000個slices，其中每一個都是28*28的圖像，具體代碼如下所示：

train, test = tf.keras.datasets.mnist.load_data()
mnist_x, mnist_y = train
mnist_ds = tf.data.Dataset.from_tensor_slices(mnist_x)
print mnist_ds

上述代碼打印出如下內(nèi)容，展示了數(shù)據(jù)集中slices的shapes以及types。需要注意的是，我們并不知道Dataset中的包含有多少個slices。

<TensorSliceDataset shapes: (28, 28), types: tf.uint8>

上述數(shù)據(jù)集表示了一個簡單的數(shù)組，但是實際上Dataset可以表示更復(fù)雜的情況。如下所示，如果feature是一個標(biāo)準(zhǔn)的python字典，那么創(chuàng)建的Dataset的shapes和types也將會被保留：

dataset = tf.data.Dataset.from_tensor_slices(dict(features))
print dataset

<TensorSliceDataset

  shapes: {
    SepalLength: (), PetalWidth: (),
    PetalLength: (), SepalWidth: ()},

  types: {
      SepalLength: tf.float64, PetalWidth: tf.float64,
      PetalLength: tf.float64, SepalWidth: tf.float64}
>

同樣的在之前提到的train_input_fn中，我們傳遞的是一個(dict(features), labels)這樣的數(shù)據(jù)機(jī)，那么創(chuàng)建的Dataset同樣會保留其結(jié)構(gòu)信息，如下所示：

dataset = tf.data.Dataset.from_tensor_slices((dict(features), labels))
print(dataset)

<TensorSliceDataset
    shapes: (
        {
          SepalLength: (), PetalWidth: (),
          PetalLength: (), SepalWidth: ()},
        ()),

    types: (
        {
          SepalLength: tf.float64, PetalWidth: tf.float64,
          PetalLength: tf.float64, SepalWidth: tf.float64},
        tf.int64)>

3 manipulation

當(dāng)前創(chuàng)建的Dataset會按固定順序迭代，并且一次僅生成一個元素。在它被用于訓(xùn)練之前，還需要其他的操作。tf.data.Dataset類提供了一系列方法來處理數(shù)據(jù)并生成后續(xù)訓(xùn)練可用的數(shù)據(jù)。如下所示：

dataset = dataset.shuffle(1000).repeat().batch(batch_size)

shuffle方法使用一個固定的緩沖區(qū)，將Dataset中的slices進(jìn)行隨即化處理。這里將buffer_size設(shè)置的比Dataset中的slices數(shù)要大一些，可以保證數(shù)據(jù)可以完全被隨機(jī)化處理（iris數(shù)據(jù)一共有150條樣本）
repeat方法會在調(diào)用結(jié)束后重啟Dataset，保證后續(xù)訓(xùn)練時這個數(shù)據(jù)集可以使用。
batch方法會收集樣本，并將它們放在一起以創(chuàng)建批次（有時候使用樣本進(jìn)行訓(xùn)練是按照batch進(jìn)行訓(xùn)練的，例如mini batch mini batch gradient descent優(yōu)化算法），這為Dataset的shapes增加了一個維度。如下代碼對之前的mnist Dataset使用batch方法，生成100個批次的數(shù)據(jù)，每一個批次都是包含有多個slices，其中每個slices都是一個28*28的圖像數(shù)據(jù)。

print mnist_ds.batch(100)

<BatchDataset
  shapes: (?, 28, 28),
  types: tf.uint8>

需要注意的是，Dataset中第一維shapes是不確定的，因為最后一個批次所具有的slices數(shù)量是不確定的。
在train_input_fn中，經(jīng)過批處理之后，Dataset的結(jié)構(gòu)如下所示：

print dataset

<TensorSliceDataset
    shapes: (
        {
          SepalLength: (?,), PetalWidth: (?,),
          PetalLength: (?,), SepalWidth: (?,)},
        (?,)),

    types: (
        {
          SepalLength: tf.float64, PetalWidth: tf.float64,
          PetalLength: tf.float64, SepalWidth: tf.float64},
        tf.int64)>

4 return

在train_input_fn中返回的Dataset包含的是(feature_dict, labels)對。在后續(xù)train、evaluate使用的都是這種結(jié)構(gòu)，但是在predict中labels被省略了。