發(fā)簡信
IP屬地：上海
-
OCR 概述
OCR技術(shù)作為機(jī)器視覺領(lǐng)域一個(gè)非常重要的研究反向，涉及的應(yīng)用領(lǐng)域多種多樣。現(xiàn)今，各應(yīng)用領(lǐng)域已經(jīng)出現(xiàn)了非常多的產(chǎn)品，包括卡片證件類識(shí)別、票據(jù)類識(shí)別...
-
Transformer訓(xùn)練注意點(diǎn)
權(quán)重共享 共享embedding層與softmax前的線性映射層的參數(shù)。兩層的參數(shù)矩陣在語義上是相通的，有共享的理論基礎(chǔ)。相對(duì)于，由于更接近損失...
-
變長序列 bucket 方法
自然語言處理中的大部分模型輸入都是變長的離散序列, 在tensorflow處理變長序列中介紹了tensorflow中如何循環(huán)神經(jīng)網(wǎng)絡(luò)如何處理變長...
-
tensorflow處理變長序列
深度學(xué)習(xí)中處理變長序列往往都是使用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)，其中RNN有很多變種，包括樸素RNN、...
-
緩解Exposure Bias的一種實(shí)現(xiàn)
介紹 seq2seq中的decoder是一個(gè)自回歸的生成模型，那么在訓(xùn)練階段，第t步輸入的前綴序列是來自真實(shí)數(shù)據(jù)分布的，這種學(xué)習(xí)方式稱為教師強(qiáng)制...
-
Adaptive Softmax在自然語言處理中，當(dāng)字典維度過大時(shí)，embedding 將占據(jù)模型大部分參數(shù)量。例如機(jī)器翻譯任務(wù)中，詞表維度大約是，embedding維度取10...
-
tensor2tensor 1.10--Modality
tensor2tensor中抽象出了一個(gè)Modality類，用來解耦模型主干和依賴任務(wù)的數(shù)據(jù)形式轉(zhuǎn)化。例如一個(gè)self-attention模塊既...
-
tensor2tensor 1.10--SubwordTextEncoder
如何構(gòu)建一個(gè)字典是基本所有自然語言任務(wù)都需要考慮的，當(dāng)然也是根據(jù)具體任務(wù)因地制宜的。 基于單個(gè)字符的字典應(yīng)用于一些中文任務(wù)中，如NER，BERT...
-
tensor2tensor 1.10 框架簡介
問題 深度學(xué)習(xí)煉丹師們大都在面對(duì)某項(xiàng)任務(wù)是都會(huì)在github上搜索SOTA的模型實(shí)現(xiàn)，clone下來，嘗試魔改一番以適應(yīng)當(dāng)前任務(wù)，評(píng)測指標(biāo)達(dá)標(biāo)可...