CBOW 周圍詞預(yù)測(cè)中心詞
skip gram 中心詞預(yù)測(cè)周圍詞

image.png

SkipGram模型講解

1.目標(biāo)函數(shù)
2.具備條件 兩個(gè)詞越相似，P(c,w;θ) 越大

image.png

3.表示方法：中心詞有個(gè)embedding V，上下文詞有embedding U 注意是兩個(gè)矩陣！大小為 詞庫(kù)size×embedding_size

image.png

得到了SkipGram目標(biāo)函數(shù)之后，發(fā)現(xiàn)了這個(gè)目標(biāo)函數(shù)其實(shí)不好優(yōu)化。所以需要換一種方式去優(yōu)化，其中比較流行的方法是使用負(fù)采樣