OCR技術(shù)作為機器視覺領(lǐng)域一個非常重要的研究反向，涉及的應(yīng)用領(lǐng)域多種多樣?，F(xiàn)今，各應(yīng)用領(lǐng)域已經(jīng)出現(xiàn)了非常多的產(chǎn)品，包括卡片證件類識別、票據(jù)類識別、文字信息結(jié)構(gòu)化視頻類識別、自...
發(fā)簡信
IP屬地：上海
-
Transformer訓(xùn)練注意點
權(quán)重共享 共享embedding層與softmax前的線性映射層的參數(shù)。兩層的參數(shù)矩陣在語義上是相通的，有共享的理論基礎(chǔ)。相對于，由于更接近損失計算層，不容易出現(xiàn)梯度消失的問...
-
變長序列 bucket 方法
自然語言處理中的大部分模型輸入都是變長的離散序列, 在tensorflow處理變長序列中介紹了tensorflow中如何循環(huán)神經(jīng)網(wǎng)絡(luò)如何處理變長序列. 目前深度學(xué)習(xí)的優(yōu)化算法...
-
tensorflow處理變長序列
深度學(xué)習(xí)中處理變長序列往往都是使用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)，其中RNN有很多變種，包括樸素RNN、LSTM、GRU等。目前的優(yōu)化...
-
緩解Exposure Bias的一種實現(xiàn)
介紹 seq2seq中的decoder是一個自回歸的生成模型，那么在訓(xùn)練階段，第t步輸入的前綴序列是來自真實數(shù)據(jù)分布的，這種學(xué)習(xí)方式稱為教師強制(Teacher Forcin...
-
Adaptive Softmax在自然語言處理中，當字典維度過大時，embedding 將占據(jù)模型大部分參數(shù)量。例如機器翻譯任務(wù)中，詞表維度大約是，embedding維度取1024，那么就會產(chǎn)生將近1億參數(shù)...
-
徹底理解cookie，session，token
作者：墨顏丶博客園： cnblogs.com/moyand/p/9047978.html 發(fā)展史 1、很久很久以前，Web 基本上就是文檔的瀏覽而已， 既然是瀏覽，作為服務(wù)器...
-
tensor2tensor 1.10--Modality
tensor2tensor中抽象出了一個Modality類，用來解耦模型主干和依賴任務(wù)的數(shù)據(jù)形式轉(zhuǎn)化。例如一個self-attention模塊既可以用于離散的字詞序列，也可以...
-
tensor2tensor 1.10--SubwordTextEncoder
如何構(gòu)建一個字典是基本所有自然語言任務(wù)都需要考慮的，當然也是根據(jù)具體任務(wù)因地制宜的。 基于單個字符的字典應(yīng)用于一些中文任務(wù)中，如NER，BERT，但是在英文任務(wù)中可能使學(xué)習(xí)任...
-
tensor2tensor 1.10 框架簡介
問題 深度學(xué)習(xí)煉丹師們大都在面對某項任務(wù)是都會在github上搜索SOTA的模型實現(xiàn)，clone下來，嘗試魔改一番以適應(yīng)當前任務(wù)，評測指標達標可能就準備上線了，然后遇到下一個...