寫這篇的目的主要是記錄在使用huggingface的transformers的bert部分from_pretrained的一些細節(jié)，以下主要以文本分類為例。 文檔：https...
發(fā)簡信
IP屬地：浙江
-
from_pretrained的一個細節(jié) -
【NLP實戰(zhàn)筆記】對話系統(tǒng)開放意圖檢測與發(fā)現(xiàn)算法總結本文主要用于歸納整理與對話系統(tǒng)相關的開放意圖檢測與發(fā)現(xiàn)相關的3篇論文。 本文主要參考：https://hanleizhang.github.io/[https://hanle...
-
給大家分享一篇Python進階 異常處理
作者：Vamei 出處：http://www.cnblogs.com/vamei 歡迎轉載，也請保留這段聲明。謝謝！ 異常處理 在項目開發(fā)中，異常處理是不可或缺的。異常處理幫...
-
NLP中基于Bert的數(shù)據(jù)預處理
1.中文命名實體識別 1.原始數(shù)據(jù)格式 2.讀取數(shù)據(jù) 將數(shù)據(jù)中的文本和對應的標簽,讀取成下面的one-hot格式 3.處理數(shù)據(jù)成為Bert的輸入格式 首先創(chuàng)建一個標簽的字典庫...
-
Additive Attention 和 Dot-product Attention
additive attention 和 dot-product attention 是最常用的兩種attention函數(shù)，都是用于在attention中計算兩個向量之間的相...
-
Python數(shù)據(jù)結構-單調(diào)棧(Monotone Stack)
一、單調(diào)棧 一種特殊的棧，在棧的「先進后出」規(guī)則基礎上，要求「從 棧頂 到 棧底 的元素是單調(diào)遞增（或者單調(diào)遞減）」。其中滿足從棧頂?shù)綏５椎脑厥菃握{(diào)遞增的棧，叫做「單調(diào)遞增...
-
單調(diào)遞增棧(monotonous increasing stack)
今天做leetcode時，發(fā)現(xiàn)兩道題均用到了單調(diào)遞增棧，遂進行學習。 什么是單調(diào)遞增棧？ 簡單來說，單調(diào)遞增棧就是一個保持棧內(nèi)元素為單調(diào)遞增的棧。單調(diào)遞增棧的典型范式為 單調(diào)...
-
two sum / three sum / four sum
two sum 兩種常見方法 時間復雜度 O(n), 空間復雜度O(1) 時間復雜度 O(n), 空間復雜度O(n) three sum description: find ...
-
-
直觀理解 VAE（譯文）與上一篇譯文 “直觀理解 GAN[http://www.itdecent.cn/p/eef6c224e376]” 一樣，這篇文章的英文原文也出自 Joseph Rocca ...
-
-
通過改造BERT實現(xiàn)ERNIE并比較兩者差異
作者：WipenHan 由于BERT與ERNIE的預訓練數(shù)據(jù)存在非常大的差異，因而無法知曉ERNIE在5個NLP任務上得到的提升是源于數(shù)據(jù)還是模型。 引用ERNIE的gith...
-
python threading.Lock一.介紹threading模塊中的Lock類，Lock類中包含的方法：1.acquire(blocking=True，timeout=-1)方法的含義：以阻塞或非阻塞的狀態(tài)獲...
-
互斥鎖mutex的簡單實現(xiàn)
mutex一般用于為一段代碼加鎖，以保證這段代碼的原子性（atomic）操作，即：要么不執(zhí)行這段代碼，要么將這段代碼全部執(zhí)行完畢。 例如，最簡單的并發(fā)沖突問題就是一個變量自增...
-
判斷有向圖是否有環(huán)
方法一：拓撲排序 時間復雜度O(n^2) 比較常用的是用拓撲排序來判斷有向圖中是否存在環(huán)。 什么是拓撲排序呢？我們先定義一條u到v的邊e= ,u<v;滿足這樣要求的序列稱為拓...
-
12. 批標準化（Batch Normalization ）大綱：Tips for Training Deep Network Training Strategy: Batch Normalization Activation Fun...
-
Pytorch的優(yōu)化器總結本文是從網(wǎng)上的資料加上自己的總結而來的，要感謝 PyTorch 學習筆記（七）：PyTorch的十個優(yōu)化器： https://blog.csdn.net/u011995719...