發(fā)簡信
IP屬地：上海
-
OCR 概述
OCR技術(shù)作為機器視覺領(lǐng)域一個非常重要的研究反向，涉及的應(yīng)用領(lǐng)域多種多樣。現(xiàn)今，各應(yīng)用領(lǐng)域已經(jīng)出現(xiàn)了非常多的產(chǎn)品，包括卡片證件類識別、票據(jù)類識別...
-
Transformer訓練注意點
權(quán)重共享 共享embedding層與softmax前的線性映射層的參數(shù)。兩層的參數(shù)矩陣在語義上是相通的，有共享的理論基礎(chǔ)。相對于，由于更接近損失...
-
變長序列 bucket 方法
自然語言處理中的大部分模型輸入都是變長的離散序列, 在tensorflow處理變長序列中介紹了tensorflow中如何循環(huán)神經(jīng)網(wǎng)絡(luò)如何處理變長...
-
tensorflow處理變長序列
深度學習中處理變長序列往往都是使用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)，其中RNN有很多變種，包括樸素RNN、...
-
緩解Exposure Bias的一種實現(xiàn)
介紹 seq2seq中的decoder是一個自回歸的生成模型，那么在訓練階段，第t步輸入的前綴序列是來自真實數(shù)據(jù)分布的，這種學習方式稱為教師強制...
-
Adaptive Softmax在自然語言處理中，當字典維度過大時，embedding 將占據(jù)模型大部分參數(shù)量。例如機器翻譯任務(wù)中，詞表維度大約是，embedding維度取10...
-
tensor2tensor 1.10--Modality
tensor2tensor中抽象出了一個Modality類，用來解耦模型主干和依賴任務(wù)的數(shù)據(jù)形式轉(zhuǎn)化。例如一個self-attention模塊既...
-
tensor2tensor 1.10--SubwordTextEncoder
如何構(gòu)建一個字典是基本所有自然語言任務(wù)都需要考慮的，當然也是根據(jù)具體任務(wù)因地制宜的。 基于單個字符的字典應(yīng)用于一些中文任務(wù)中，如NER，BERT...
-
tensor2tensor 1.10 框架簡介
問題 深度學習煉丹師們大都在面對某項任務(wù)是都會在github上搜索SOTA的模型實現(xiàn)，clone下來，嘗試魔改一番以適應(yīng)當前任務(wù)，評測指標達標可...