兩個問題：
1. 加載預訓練模型文件夾名稱里面需要包含以下字符串"gpt2, gpt2-medium, gpt2-large, gpt2-xl, distilgpt2"，比如文件夾名稱為"openai_gpt2_base"；否則需要在config.json里面顯式指定model_type: gpt2。
2. 預訓練模型文件夾下面需要['vocab.json', 'merges.txt'] 文件，否則無法加載詞典。
Hugging Face的Transformers庫簡單用法1. 基本用法 Hugging face提供的transformers庫主要用于預訓練模型的載入，需要載入三個基本對象 BertConfig是該庫中模型配置的class。 B...
可以自己指定checkpoint_path參數(shù)
Tensor2Tensor使用入門1. 簡介 Tensor2Tensor是google出品的一個神仙級工具包，能大大簡化類似模型的開發(fā)調試時間。在眾多的深度學習工具中，個人認為這貨屬于那種門檻還比較高的工具。...
http://www.emeditor.org/en/faq_setup_setup_intermediate_certificates.html The digital s...
為了方便起見，推薦把fastcopy的目錄加入到用戶PATH變量中。 然后在TC的目錄下的usercmd.ini文件中加入以下配置： fastcopy的參數(shù)說明沒啥好說的，參...
第一種寫法，多進程的函數(shù)是沒有返回值的，需要放在Queue中來取值 join()用于等待子進程退出，輸出為 第二種寫法，線程池 輸出類似 其中這個pool.join()要不要...
1. 簡介 Tensor2Tensor是google出品的一個神仙級工具包，能大大簡化類似模型的開發(fā)調試時間。在眾多的深度學習工具中，個人認為這貨屬于那種門檻還比較高的工具。...
1. 基本用法 Hugging face提供的transformers庫主要用于預訓練模型的載入，需要載入三個基本對象 BertConfig是該庫中模型配置的class。 B...
Windows文檔使用的是\r\n作為換行符Linux中是使用\n作為換行符這時就遇到個問題了，如果使用的vim(:set ff=unix)等比較智能的程序打開文檔，一般不必...
PWI的那個例子計算感覺有些問題，公式中是詞出現(xiàn)的概率，用詞頻來做的時候應該是：log_2 \frac{10 * N}{15 * 20}, 其中N為語料總數(shù)或者詞的總數(shù)。
基于互信息和左右熵的新詞發(fā)現(xiàn)算法——python實現(xiàn)今天筆者來介紹一下新詞發(fā)現(xiàn)算法，顧名思義，新詞發(fā)現(xiàn)算法餓的目的就是幫助我們發(fā)現(xiàn)新詞。我們如果采用現(xiàn)在的分詞技術，有時候一下生僻詞或者專有詞匯經常會被分錯，而改進措施就是可以用...
srilm是著名的約翰霍普金斯夏季研討會（Johns Hopkins Summer Workshop）的產物，誕生于1995年，由SRI實驗室的Andreas Stolcke...
Github上BERT的README里面已經給出了相當詳細的使用說明，GOOGLE BERT地址。Fine-tuning就是載入預訓練好的Bert模型，在自己的語料上再訓練一...
問題場景 已知兩組向量為：現(xiàn)在要計算中每一個向量和中每一個向量的歐式距離。 解決思路一 把中向量使用tf.tile復制m次，把中向量復制n次。然后按照向量距離公式就可以得到的...
Tensorflow Session.run過程中的報錯，run的函數(shù)參數(shù)為： tensorflow在Session.run過程中會通過for_fetch(fetch)sta...
在tensorflow的feed_dict過程中報錯： 目前遇上這個錯誤，都是源于feed_dict中value值的問題。Tensorflow在session.run fee...
官方文檔 http://facelessuser.github.io/BracketHighlighter/customize/ 官方文檔不知道為什么這么多，如果只需要高亮下...
1. 映像劫持notepad HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Image Fi...
以下內容已在Win7和Win10系統(tǒng)中驗證，參考了VSCode安裝時使用的注冊表項目 在Windows系統(tǒng)中，文件右鍵菜單中的使用XX打開是由HKEY_LOCAL_MACHI...
??在使用Idea的時候，它的注釋模板很簡單，不夠詳細；所有大多數(shù)開發(fā)者都想設置一個比較詳細的注釋模板，我現(xiàn)在把我了解的創(chuàng)建類注釋模板和方法注釋模板的操作記錄下來，分享給大家...