OCR技術(shù)作為機(jī)器視覺(jué)領(lǐng)域一個(gè)非常重要的研究反向，涉及的應(yīng)用領(lǐng)域多種多樣。現(xiàn)今，各應(yīng)用領(lǐng)域已經(jīng)出現(xiàn)了非常多的產(chǎn)品，包括卡片證件類識(shí)別、票據(jù)類識(shí)別、文字信息結(jié)構(gòu)化視頻類識(shí)別、自...
發(fā)簡(jiǎn)信
IP屬地：上海
-
Transformer訓(xùn)練注意點(diǎn)
權(quán)重共享 共享embedding層與softmax前的線性映射層的參數(shù)。兩層的參數(shù)矩陣在語(yǔ)義上是相通的，有共享的理論基礎(chǔ)。相對(duì)于，由于更接近損失計(jì)算層，不容易出現(xiàn)梯度消失的問(wèn)...
-
變長(zhǎng)序列 bucket 方法
自然語(yǔ)言處理中的大部分模型輸入都是變長(zhǎng)的離散序列, 在tensorflow處理變長(zhǎng)序列中介紹了tensorflow中如何循環(huán)神經(jīng)網(wǎng)絡(luò)如何處理變長(zhǎng)序列. 目前深度學(xué)習(xí)的優(yōu)化算法...
-
tensorflow處理變長(zhǎng)序列
深度學(xué)習(xí)中處理變長(zhǎng)序列往往都是使用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)，其中RNN有很多變種，包括樸素RNN、LSTM、GRU等。目前的優(yōu)化...
-
緩解Exposure Bias的一種實(shí)現(xiàn)
介紹 seq2seq中的decoder是一個(gè)自回歸的生成模型，那么在訓(xùn)練階段，第t步輸入的前綴序列是來(lái)自真實(shí)數(shù)據(jù)分布的，這種學(xué)習(xí)方式稱為教師強(qiáng)制(Teacher Forcin...
-
Adaptive Softmax在自然語(yǔ)言處理中，當(dāng)字典維度過(guò)大時(shí)，embedding 將占據(jù)模型大部分參數(shù)量。例如機(jī)器翻譯任務(wù)中，詞表維度大約是，embedding維度取1024，那么就會(huì)產(chǎn)生將近1億參數(shù)...
-
徹底理解cookie，session，token
作者：墨顏丶博客園： cnblogs.com/moyand/p/9047978.html 發(fā)展史 1、很久很久以前，Web 基本上就是文檔的瀏覽而已， 既然是瀏覽，作為服務(wù)器...
