前言

大家好，我是阿光。

本專欄整理了《PyTorch深度學習項目實戰(zhàn)100例》，內包含了各種不同的深度學習項目，包含項目原理以及源碼，每一個項目實例都附帶有完整的代碼+數(shù)據(jù)集。

正在更新中~ ?

?? 我的項目環(huán)境：

• 平臺：Windows10
• 語言環(huán)境：python3.7
• 編譯器：PyCharm
• PyTorch版本：1.8.1

?? 項目專欄：【PyTorch深度學習項目實戰(zhàn)100例】

一、基于LSTM實現(xiàn)春聯(lián)上聯(lián)對下聯(lián)、

在這里插入圖片描述

在這里插入圖片描述

《天對地，雨對風，向量對加班？這個腦洞清奇的對聯(lián)AI，大家都玩瘋了》，看到現(xiàn)在的生成技術已經爐火純青，做出的故事真假難辨。正巧最近學習了LSTM模型，通過參考諸多文本生成的相關項目，寫了這個自動對春聯(lián)的項目。

二、數(shù)據(jù)集介紹

背景描述

該數(shù)據(jù)集包含了超過70萬副的中文對聯(lián)數(shù)據(jù)。

數(shù)據(jù)說明

數(shù)據(jù)集包含5個文件：

• train_in.txt: 對聯(lián)的上聯(lián)。每行都是一個輸入，每個詞都用空格隔開。(訓練集的輸入)
• train_out.txt:對聯(lián)的下聯(lián)。每行都是一個輸出。對應著 train_in.txt的每一行。每個詞都用空格隔開。 (訓練集的輸出)
• test_in.txt : 對聯(lián)的上聯(lián)。每行都是一個輸入，每個詞都用空格隔開。(測試集的輸入)
• test_out.txt : 對聯(lián)的下聯(lián)。每行都是一個輸出。對應著 test_in.txt的每一行。每個詞都用空格隔開。 (測試集的輸出)
• vocabs: 詞匯文件，它將用于在seq2seq模式下進行訓練。

數(shù)據(jù)來源

https://www.heywhale.com/mw/dataset/5c46e6f42d8ef5002b736d6d/content

很感謝這位博主的貢獻。

三、網絡結構

在這里插入圖片描述

項目中使用的模型是LSTM，在模型中我們定義了三個組件，分別是embedding層，lstm層和全連接層。

• Embedding層：將每個詞生成對應的嵌入向量，就是利用一個連續(xù)型向量來表示每個詞
• Lstm層：提取語句中的語義信息
• Linear層：將結果映射成vocab_size大小用于多分類，即每個字的概率

注意：在LSTM網絡中返回的值為每一個時間片的輸出，而不是將最后一個output全部輸出

# 定義網絡結構
class LSTM(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim, num_layers):
        super(LSTM, self).__init__()
        self.hidden_dim = hidden_dim
        self.embeddings = nn.Embedding(vocab_size + 1, embedding_dim)
        self.lstm = nn.LSTM(embedding_dim, hidden_dim, num_layers)
        self.linear = nn.Linear(hidden_dim, vocab_size)

    def forward(self, x):
        time_step, batch_size = x.size()  # 124, 16
        embeds = self.embeddings(x)
        output, (h_n, c_n) = self.lstm(embeds)
        output = self.linear(output.reshape(time_step * batch_size, -1))
        # 要返回所有時間點的數(shù)據(jù)，每個時間點對應一個字，也就是vocab_size維度的向量
        return output

四、預測下聯(lián)函數(shù)

首先將我們需要預測的上聯(lián)傳入函數(shù)，然后將這個上聯(lián)映射成相應的序號，形成數(shù)值向量，然后將其轉成tensor，然后加載模型，然后將其送入模型，獲得下聯(lián)對應的輸出，然后將輸出的向量進行argmax獲取預測出概率最大的字，然后將其映射成漢字形成古詩。

def couplet_match(s):
    # 將字符串轉為數(shù)值
    x = [word2idx[word] for word in s]

    # 將數(shù)值向量轉為tensor
    x = torch.from_numpy(np.array(x).reshape(-1, 1))

    # 加載模型
    model_path = './best_model.pkl'
    model = LSTM(vocab_size=vocab_size, hidden_dim=hidden_dim,
                 embedding_dim=embedding_dim, num_layers=num_layers)

    model.load_state_dict(torch.load(model_path, 'cpu'))

    y = model(x)
    y = y.argmax(axis=1)
    r = ''.join([idx2word[idx.item()] for idx in y])

    print('上聯(lián)：%s，下聯(lián)：%s' % (s, r))

完整源碼

【PyTorch深度學習項目實戰(zhàn)100例】—— 基于LSTM實現(xiàn)春聯(lián)上聯(lián)對下聯(lián) | 第14例_Bi 8 Bo的博客-CSDN博客