代碼補(bǔ)全快餐教程(3) - 分詞

上一講我們介紹了預(yù)訓(xùn)練模型的輸入和輸出。
下面我們從最初始的從輸入文本到token的轉(zhuǎn)換說(shuō)起。

分詞器的基類是PreTrainedTokenizer。

分詞器的創(chuàng)建

分詞器可以通過(guò)預(yù)訓(xùn)練好的模型中加載，這是最簡(jiǎn)單的一種方式。就像我們?cè)谇皟晒?jié)中使用的一樣：

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

也可以通過(guò)讀取本地保存的模型來(lái)創(chuàng)建：

tokenizer = GPT2Tokenizer.from_pretrained('./test/saved_model/')

還可以更進(jìn)一步地，指定加載的本地文件名：

tokenizer = GPT2Tokenizer.from_pretrained('./test/saved_model/my_vocab.txt')

最后，加載的同時(shí)還可以指定一些token的特殊參數(shù)，如：

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased', unk_token='<unk>')

分詞器的三大核心操作：tokenize, encode, decode

分詞器的核心操作只有三個(gè)：tokenize, encode, decode。
tokenize負(fù)責(zé)分詞，encode將分詞token轉(zhuǎn)換成id，decode將id轉(zhuǎn)換為文本。

首先我們看看分詞的用法：

inputs = "let disposable_begin_buffer = vscode.commands.registerCommand('extension.littleemacs.beginningOfBuffer',\nmove.beginningOfBuffer);\nlet disposable_end_buffer = vscode.commands."

tokens = tokenizer.tokenize(inputs)
print(tokens)

打印的結(jié)果如下：

['let', '?disposable', '_', 'begin', '_', 'buffer', '?=', '?v', 'sc', 'ode', '.', 'comm', 'ands', '.', 'register', 'Command', "('", 'ext', 'ension', '.', 'little', 'em', 'acs', '.', 'begin', 'ning', 'Of', 'Buffer', "',", '?', 'move', '.', 'begin', 'ning', 'Of', 'Buffer', ');', '?', 'let', '?disposable', '_', 'end', '_', 'buffer', '?=', '?v', 'sc', 'ode', '.', 'comm', 'ands', '.']

encode實(shí)際上是tokenize和convert_tokens_to_ids兩個(gè)操作的組合，相當(dāng)于：

self.convert_tokens_to_ids(self.tokenize(text))

也就是說(shuō)，先分詞，再將tokens轉(zhuǎn)換成詞表中的id。

我們?cè)賮?lái)個(gè)convert_tokens_to_ids的例子：

token_ids = tokenizer.convert_tokens_to_ids(tokens)
print(token_ids)

輸出如下：

[1616, 32445, 62, 27471, 62, 22252, 796, 410, 1416, 1098, 13, 9503, 1746, 13, 30238, 21575, 10786, 2302, 3004, 13, 31629, 368, 16436, 13, 27471, 768, 5189, 28632, 3256, 198, 21084, 13, 27471, 768, 5189, 28632, 1776, 198, 1616, 32445, 62, 437, 62, 22252, 796, 410, 1416, 1098, 13, 9503, 1746, 13]

同樣，decode也是兩個(gè)操作的組合，分別為convert_ids_to_tokens和convert_tokens_to_string。相當(dāng)于：

self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))

添加新token

如果模型原有和詞表不夠大，我們希望增加新token，這當(dāng)然是可以的。
做法分兩步：第一步，通過(guò)add_tokens函數(shù)添加新token；第二步，使用resize_token_embeddings函數(shù)通知模型更新詞表大小。

我們來(lái)看個(gè)例子：

num_added_toks = tokenizer.add_tokens(['new_tok1', 'my_new-tok2'])
print('We have added', num_added_toks, 'tokens')
model.resize_token_embeddings(len(tokenizer))

除了普通token，還可以增加特殊token。這些特殊token的作用我們后面講原理的時(shí)候會(huì)進(jìn)一步介紹。
與普通token唯一不同的是，添加特殊token的函數(shù)add_special_tokens需要提供的是字典，因?yàn)橐付ㄊ切薷哪囊粋€(gè)特殊項(xiàng)。第二步的resize_token_embeddings函數(shù)還是一樣的。

我們看個(gè)例子：

special_tokens_dict = {'cls_token': '<CLS>'}
num_added_toks = tokenizer.add_special_tokens(special_tokens_dict)
print('We have added', num_added_toks, 'tokens')
model.resize_token_embeddings(len(tokenizer))
print(tokenizer.cls_token)

token的保存

我們添加了新token之后，就需要把我們添加之后的結(jié)果保存到持久存儲(chǔ)上。
這是通過(guò)save_pretrained函數(shù)來(lái)實(shí)現(xiàn)的。保存之后，我們可以通過(guò)from_pretrained函數(shù)加載回來(lái)。

例：

tokenizer.save_pretrained("./save/")

保存之后會(huì)生成下面一些文件：

• added_tokens.json: 保存了新增加的token和對(duì)應(yīng)的id:

{"new_tok1": 50257, "my_new-tok2": 50258, "<CLS>": 50259}

• special_tokens_map.json：保存了特殊token列表

{"bos_token": "<|endoftext|>", "eos_token": "<|endoftext|>", "unk_token": "<|endoftext|>", "cls_token": "<CLS>"}

• tokenizer_config.json: 保存了一些分詞器的配置信息

{"max_len": 1024, "init_inputs": []}

• vocab.json: 這個(gè)是真正的詞表，保存了所有的token和對(duì)應(yīng)的id值

{"!": 0, "\"": 1, "#": 2, "$": 3, "%": 4, "&": 5, "'": 6}

• merges.txt: 存放一份對(duì)應(yīng)表

#version: 0.2
? t
? a
h e
i n
r e
o n
?t he
e r
? s
a t
? w
? o
e n
? c
i t
i s
a n
o r
e s
? b
e d
? f
in g
? p
o u
?a n
a l
a r
?t o
? m
?o f
? in
? d
? h
?an d

另外，tokenizer還有一個(gè)save_vocabulary函數(shù)，不保存新增的token，所以只有vocab.json和merges.txt.

例：

tokenizer.save_vocabulary('./save2')