最近在嘗試用transformers做英漢翻譯,用的是opus-mt-en-zh。本來代碼已經(jīng)寫好了,但是在另一臺(tái)代腦上run的時(shí)候出現(xiàn)了如下錯(cuò)誤:
ValueError: This tokenizer cannot be instantiated. Please make sure you have `sentencepiece` installed in
order to use this tokenizer.
遇到這個(gè)問題,很明顯要檢查 sentencepiece 是不是已經(jīng)安裝了,開始我以為安裝transformers的時(shí)候會(huì)自動(dòng)安裝這個(gè)包,然而在我重裝了transformers之后這個(gè)問題并沒有解決,最后手動(dòng)安裝了這個(gè)包
pip install sentencepiece
最終解決。