keras 中的層封裝器TimeDistributed模塊。官方文檔的說明是:
這個(gè)封裝器將一個(gè)層應(yīng)用于輸入的每個(gè)時(shí)間片。
輸入至少為 3D，且第一個(gè)維度應(yīng)該是時(shí)間所表示的維度。
考慮 32 個(gè)樣本的一個(gè) batch， 其中每個(gè)樣本是 10 個(gè) 16 維向量的序列。 那么這個(gè) batch 的輸入尺寸為 (32, 10, 16)， 而 input_shape 不包含樣本數(shù)量的維度，為 (10, 16)。
你可以使用 TimeDistributed 來將 Dense 層獨(dú)立地應(yīng)用到 這 10 個(gè)時(shí)間步的每一個(gè)：

# 作為模型第一層
model = Sequential()
model.add(TimeDistributed(Dense(8), input_shape=(10, 16)))
# 現(xiàn)在 model.output_shape == (None, 10, 8)

TimeDistributed 可以應(yīng)用于任意層，不僅僅是 Dense， 例如運(yùn)用于 Conv2D 層：

model = Sequential()
model.add(TimeDistributed(Conv2D(64, (3, 3)),
                          input_shape=(10, 299, 299, 3)))

pytorch 中實(shí)現(xiàn)相應(yīng)的封裝器。
類似keras中的TimeDistributed封裝器，以三維輸入為例，分別為(samples, timesteps, input_size)，合并所有的時(shí)間步，然后對(duì)每個(gè)時(shí)間步上都進(jìn)行相同的處理，參數(shù)：
module：對(duì)每個(gè)時(shí)間步的進(jìn)行的操作
batch_first：第一維是否為batch數(shù)量

實(shí)現(xiàn)代碼如下

class TimeDistributed(nn.Module):
    def __init__(self, module, batch_first=False):
        super(TimeDistributed, self).__init__()
        self.module = module
        self.batch_first = batch_first

    def forward(self, x):
        if len(x.size()) <= 2:
            return self.module(x)

        # reshape input data --> (samples * timesteps, input_size)
        # squash timesteps
        x_reshaped = x.contiguous().view(-1, x.size(-1))
        y = self.module(x_reshaped)

        # We have to reshape Y
        if self.batch_first:
            # (samples, timesteps, output_size)
            y = y.contiguous().view(x.size(0), -1, y.size(-1))
        else:
            # (timesteps, samples, output_size)
            y = y.contiguous().view(-1, x.size(1), y.size(-1))
        return y