姓名:崔少杰 ? ? ? 學(xué)號(hào):16040510021
轉(zhuǎn)載自:http://www.itdecent.cn/p/4fadf629895b=有修改
【嵌牛導(dǎo)讀】:CTC是序列標(biāo)志的一個(gè)重要算法,它主要解決了label對(duì)齊的問(wèn)題
【嵌牛鼻子】:OCR、CTC
【嵌牛提問(wèn)】:LSTM+CTC的實(shí)現(xiàn)有什么不一樣的功能?
【嵌牛正文】:假設(shè)我們要解決的是4位數(shù)字的識(shí)別,圖片是80*30的圖片。那么我們就將每張圖片按列切分成80個(gè)30維的向量。然后作為一個(gè)lstm的80個(gè)輸入。一個(gè)lstm的輸出和輸入數(shù)目應(yīng)該是相同的。而我們的預(yù)測(cè)目標(biāo)卻只有4個(gè)數(shù)字。而不是80個(gè)數(shù)字。在沒(méi)有用ctc時(shí)我想了兩個(gè)解決方案。第一個(gè)是用encode-decode模式。也就是80個(gè)輸入做encode,然后decode成4個(gè)輸出。實(shí)測(cè)效果很挫。第二個(gè)是把4個(gè)label每個(gè)copy20遍,從而變成80個(gè)label。實(shí)測(cè)也很挫。沒(méi)辦法,最后只能用ctc loss了。
用ctc loss的體會(huì)就是,如果input的長(zhǎng)度遠(yuǎn)遠(yuǎn)大于label的長(zhǎng)度,比如我這里是80和4的關(guān)系。那么一開(kāi)始的收斂會(huì)比較慢。在其中有一段時(shí)間cost幾乎不變。此刻一定要有耐心,最終一定會(huì)收斂的。在ocr識(shí)別的這個(gè)例子上最終可以收斂到95%的精度。
ctcStatus_t compute_ctc_loss(const float* const activations,
float* gradients,
const int* const flat_labels,
const int* const label_lengths,
const int* const input_lengths,
int alphabet_size,
int minibatch,
float *costs,
void *workspace,
ctcComputeInfo info);