9NER實戰(zhàn)-(4)IDCNN+CRF

對于序列標注來講,普通CNN有一個劣勢,就是卷積之后,末層神經(jīng)元可能只是得到了原始輸入數(shù)據(jù)中一小塊的信息。而對NER來講,整個句子的每個字都有可能都會對當前需要標注的字做出影響。為了覆蓋到輸入的全部信息就需要加入更多的卷積層, 導致層數(shù)越來越深,參數(shù)越來越多,而為了防止過擬合又要加入更多的Dropout之類的正則化,帶來更多的超參數(shù),整個模型變得龐大和難以訓練。因為CNN這樣的劣勢,大部分序列標注問題人們還是使用biLSTM之類的網(wǎng)絡結(jié)構(gòu),盡可能使用網(wǎng)絡的記憶力記住全句的信息來對單個字做標注。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容