Prompt 范式簡述

Traditional Framework:

• pre-train
• fine-tune

傳統(tǒng)的訓(xùn)練框架為，先在一個大規(guī)模的數(shù)據(jù)集上對模型進行預(yù)訓(xùn)練，然后在目標(biāo)任務(wù)的數(shù)據(jù)集上進行微調(diào)。

Prompt Framework

• pre-train
• prompt
• predict

Prompt框架則是分成三個部分，預(yù)訓(xùn)練，Prompt生成，以及預(yù)測

Goal: Let the pertained model itself can be used to predict the desired output without any task-specific training.

Prompt 本質(zhì)上是對任務(wù)數(shù)據(jù)進行變換，將原本的目標(biāo)、標(biāo)簽，做一個轉(zhuǎn)換，融入到數(shù)據(jù)之中。

For example, the emotion label of the sentence “I won the game.” is good.

We can also get a longer sentence “I won the game, so I felt good.”

上述這個例子就是，將標(biāo)簽 good 轉(zhuǎn)換成額外的語句，加到輸入后面。

這樣的變換使得，我們通過自然的自監(jiān)督學(xué)習(xí)，就可以實現(xiàn)任務(wù)所需的目標(biāo)

Prompt Basics

一般來說，Prompt 包含三個步驟：

1. Prompt Addition
2. Answer Search
3. Answer Mapping

Prompt Addition

這一步其實是將輸入進行修改

比如 [X] Overall, it was a [Z] movie 這樣的形式

我們將輸入填到 [X] 的位置，返回一整個語句，留出 [Z] 的位置，等待答案的填充。

Answer Search

如上述公式所示，在這一步，我們的目的是，填充最可能的答案。

Answer Mapping

將搜索到的答案和輸出值進行匹配

也就是將填充完的答案，映射到最終的輸出上，可能是標(biāo)簽，也可能直接就是對應(yīng)的句子。