關鍵詞：Bert、T5EncoderModel、last_hidden_state、pooler_output、Pytorch
目標：使用T5中文預訓練模型(t5-chinese-base)實現(xiàn)分類任務
先觀察 T5EncoderModel 的輸出：
模型輸出只有 last_hidden_state，該張量為每個token的隱藏層輸出。
為方便后續(xù)實現(xiàn)分類任務，可以仿照BERT模型構造pooler_output。
首先看下BERT關于pooler_output的源碼部分：
再來看下 BertPooler 部分的源碼：? ? ? ?
所以BERT中 pooled_output 即為 last_hidden_state[:0] 再經(jīng)全連接層而得。于是可以對 T5EncoderModel 添加全連接層，構造出 pooled_output，并修改輸出維度為分類類別數(shù)量。
