數(shù)據(jù)預(yù)處理部分和上一篇一樣,就不啰嗦了。重點(diǎn)看一下模型構(gòu)造:1. Attention層:核心在于對encoder端隱層權(quán)重進(jìn)行計(jì)算 比如我們準(zhǔn)備...
1.加載數(shù)據(jù) 2.查看數(shù)據(jù) 3.數(shù)據(jù)預(yù)處理 3.1 構(gòu)造字典 3.2 增加特殊字符 3.3 word和id之間的映射表 3.4 text 轉(zhuǎn)換成...
決策樹 純度和信息熵:決策樹構(gòu)造的過程就是為尋找純凈劃分的過程,數(shù)學(xué)上的解釋,就是讓目標(biāo)變量分歧最小。比如有3個(gè)集合:集合1有6次去打球;集合2...
tf.nn.embedding_lookup的作用就是找到要尋找的embedding data中的對應(yīng)的行下的vector。 +CRF 用F1值...
對于序列標(biāo)注來講,普通CNN有一個(gè)劣勢,就是卷積之后,末層神經(jīng)元可能只是得到了原始輸入數(shù)據(jù)中一小塊的信息。而對NER來講,整個(gè)句子的每個(gè)字都有可...
用的是kaggle上的比賽“Quora Question Paris: Can you identify question pairs that...
兩個(gè)句子從一開始就交互,這樣就會獲得更準(zhǔn)確的關(guān)系。圖中可以將單詞與單詞之間的相似度看成是像素,那么對于兩個(gè)單詞數(shù)為M,N的句子,其相似度矩陣就是...
先看看seq2seq原理: encoder通過學(xué)習(xí)將輸入embedding后傳入rnn網(wǎng)絡(luò)形成一個(gè)固定大小的狀態(tài)向量S,并將S傳給Decoder...
比較:其 [aˉi,βi][aˉi,βi] 就是把兩部分concat起來(句子中第 i 個(gè)詞, 和另一個(gè)句子里所有詞與它比較的加權(quán)詞向量) im...