寫(xiě)這篇的目的主要是記錄在使用huggingface的transformers的bert部分from_pretrained的一些細(xì)節(jié)，以下主要以文本分類(lèi)為例。 文檔：https...
發(fā)簡(jiǎn)信
IP屬地：浙江
-
from_pretrained的一個(gè)細(xì)節(jié) -
【NLP實(shí)戰(zhàn)筆記】對(duì)話系統(tǒng)開(kāi)放意圖檢測(cè)與發(fā)現(xiàn)算法總結(jié)本文主要用于歸納整理與對(duì)話系統(tǒng)相關(guān)的開(kāi)放意圖檢測(cè)與發(fā)現(xiàn)相關(guān)的3篇論文。 本文主要參考：https://hanleizhang.github.io/[https://hanle...
-
給大家分享一篇Python進(jìn)階 異常處理
作者：Vamei 出處：http://www.cnblogs.com/vamei 歡迎轉(zhuǎn)載，也請(qǐng)保留這段聲明。謝謝！ 異常處理 在項(xiàng)目開(kāi)發(fā)中，異常處理是不可或缺的。異常處理幫...
-
NLP中基于Bert的數(shù)據(jù)預(yù)處理
1.中文命名實(shí)體識(shí)別 1.原始數(shù)據(jù)格式 2.讀取數(shù)據(jù) 將數(shù)據(jù)中的文本和對(duì)應(yīng)的標(biāo)簽,讀取成下面的one-hot格式 3.處理數(shù)據(jù)成為Bert的輸入格式 首先創(chuàng)建一個(gè)標(biāo)簽的字典庫(kù)...
-
Additive Attention 和 Dot-product Attention
additive attention 和 dot-product attention 是最常用的兩種attention函數(shù)，都是用于在attention中計(jì)算兩個(gè)向量之間的相...
-
Python數(shù)據(jù)結(jié)構(gòu)-單調(diào)棧(Monotone Stack)
一、單調(diào)棧 一種特殊的棧，在棧的「先進(jìn)后出」規(guī)則基礎(chǔ)上，要求「從 棧頂 到 棧底 的元素是單調(diào)遞增（或者單調(diào)遞減）」。其中滿足從棧頂?shù)綏５椎脑厥菃握{(diào)遞增的棧，叫做「單調(diào)遞增...
-
單調(diào)遞增棧(monotonous increasing stack)
今天做leetcode時(shí)，發(fā)現(xiàn)兩道題均用到了單調(diào)遞增棧，遂進(jìn)行學(xué)習(xí)。 什么是單調(diào)遞增棧？ 簡(jiǎn)單來(lái)說(shuō)，單調(diào)遞增棧就是一個(gè)保持棧內(nèi)元素為單調(diào)遞增的棧。單調(diào)遞增棧的典型范式為 單調(diào)...
-
two sum / three sum / four sum
two sum 兩種常見(jiàn)方法 時(shí)間復(fù)雜度 O(n), 空間復(fù)雜度O(1) 時(shí)間復(fù)雜度 O(n), 空間復(fù)雜度O(n) three sum description: find ...
-
-
直觀理解 VAE（譯文）與上一篇譯文 “直觀理解 GAN[http://www.itdecent.cn/p/eef6c224e376]” 一樣，這篇文章的英文原文也出自 Joseph Rocca ...
-
-
通過(guò)改造BERT實(shí)現(xiàn)ERNIE并比較兩者差異
作者：WipenHan 由于BERT與ERNIE的預(yù)訓(xùn)練數(shù)據(jù)存在非常大的差異，因而無(wú)法知曉ERNIE在5個(gè)NLP任務(wù)上得到的提升是源于數(shù)據(jù)還是模型。 引用ERNIE的gith...
-
python threading.Lock一.介紹threading模塊中的Lock類(lèi)，Lock類(lèi)中包含的方法：1.acquire(blocking=True，timeout=-1)方法的含義：以阻塞或非阻塞的狀態(tài)獲...
-
互斥鎖mutex的簡(jiǎn)單實(shí)現(xiàn)
mutex一般用于為一段代碼加鎖，以保證這段代碼的原子性（atomic）操作，即：要么不執(zhí)行這段代碼，要么將這段代碼全部執(zhí)行完畢。 例如，最簡(jiǎn)單的并發(fā)沖突問(wèn)題就是一個(gè)變量自增...
-
判斷有向圖是否有環(huán)
方法一：拓?fù)渑判?時(shí)間復(fù)雜度O(n^2) 比較常用的是用拓?fù)渑判騺?lái)判斷有向圖中是否存在環(huán)。 什么是拓?fù)渑判蚰?？我們先定義一條u到v的邊e= ,u<v;滿足這樣要求的序列稱為拓...
-
12. 批標(biāo)準(zhǔn)化（Batch Normalization ）大綱：Tips for Training Deep Network Training Strategy: Batch Normalization Activation Fun...
-
Pytorch的優(yōu)化器總結(jié)本文是從網(wǎng)上的資料加上自己的總結(jié)而來(lái)的，要感謝 PyTorch 學(xué)習(xí)筆記（七）：PyTorch的十個(gè)優(yōu)化器： https://blog.csdn.net/u011995719...