Word2Vec 是一種用于將單詞映射到連續(xù)向量空間的技術(shù)，最早由 Google 的研究團(tuán)隊(duì)在 2013 年提出。它通過分析大規(guī)模文本數(shù)據(jù)生成單詞嵌入（word embeddings），捕捉單詞之間的語義關(guān)系。以下是 Word2Vec 的詳細(xì)講解，包括其原理、模型、實(shí)現(xiàn)和應(yīng)用等方面。
1. Word2Vec 的基本原理
Word2Vec 通過上下文來學(xué)習(xí)單詞的表示。基本思想是，如果兩個(gè)單詞在許多上下文中出現(xiàn)得很相近，那么它們的語義和用法就可能相似。通過這一方法，Word2Vec 能夠生成高維向量（通常為100到300維），并保留單詞之間的距離關(guān)系。
2. Word2Vec 模型
Word2Vec 實(shí)現(xiàn)了兩種主要的模型：
2.1 Continuous Bag of Words (CBOW)
原理：CBOW 模型使用上下文單詞來預(yù)測中心單詞。上下文單詞組成一個(gè)窗口，CBOW 模型通過對這些上下文單詞的向量表示求平均或加權(quán)平均來預(yù)測目標(biāo)中心單詞。
示例：
如果句子是：“The cat sat on the mat”，當(dāng)上下文窗口為 2 時(shí)，上下文可能是 “The”, “cat”, “on”, “the” 而目標(biāo)中心詞是 “sat”。訓(xùn)練過程：CBOW 模型通過最大化概率來學(xué)習(xí)參數(shù)，將每個(gè)上下文單詞的向量累加并經(jīng)過一個(gè) softmax 輸出目標(biāo)單詞的概率分布。
2.2 Skip-Gram
原理：Skip-Gram 模型的工作方式正好相反，它用中心單詞來預(yù)測上下文單詞。輸入一個(gè)中心單詞，模型嘗試預(yù)測在該中心詞周圍的上下文單詞。
示例：
對于同樣的句子 “The cat sat on the mat”，如果中心詞是 “sat”，則要預(yù)測上下文詞 “The”, “cat”, “on”, “the”, "mat"。訓(xùn)練過程：Skip-Gram 模型通過最大化上下文單詞概率來進(jìn)行訓(xùn)練。
3. 訓(xùn)練過程
Word2Vec 通常使用負(fù)采樣和層次 softmax 進(jìn)行高效訓(xùn)練。
3.1 負(fù)采樣
- 負(fù)采樣是一種有效的訓(xùn)練方法，可以減少計(jì)算的復(fù)雜度。模型僅更新一小部分詞匯表中的單詞，從而加速訓(xùn)練過程。具體來說，對于每個(gè)的訓(xùn)練樣本，模型不僅預(yù)測真實(shí)的上下文單詞，還隨機(jī)選擇一些負(fù)樣本進(jìn)行訓(xùn)練。
3.2 層次 softmax
- 由于詞匯表可能非常大，傳統(tǒng)的 softmax 計(jì)算量龐大，因此出現(xiàn)了層次 softmax 的概念。邏輯是將詞匯表建成樹形結(jié)構(gòu)，每個(gè)單詞的概率通過路徑上的節(jié)點(diǎn)表示，從而減少計(jì)算。
4. 實(shí)現(xiàn) Word2Vec
使用 Python 的 gensim 庫可以非常方便的實(shí)現(xiàn) Word2Vec。以下是一個(gè)簡單的示例：
from gensim.models import Word2Vec
# 準(zhǔn)備語料數(shù)據(jù)
sentences = [
['the', 'dog', 'barked'],
['the', 'cat', 'meowed'],
['the', 'mouse', 'squeaked'],
['the', 'dog', 'and', 'cat', 'played'],
]
# 訓(xùn)練 Word2Vec 模型
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
# 獲取單詞向量
word_vector = model.wv['dog']
print("Word vector for 'dog':", word_vector)
# 相似單詞
similar_words = model.wv.most_similar('dog')
print("Most similar words to 'dog':", similar_words)
# 詞關(guān)系
result_vector = model.wv['king'] - model.wv['man'] + model.wv['woman']
similar_words_to_result = model.wv.most_similar(positive=[result_vector])
print("Result from king - man + woman:", similar_words_to_result)
5. 應(yīng)用場景
Word2Vec 在多種自然語言處理任務(wù)中都有應(yīng)用，包括但不限于：
- 文本分類：通過將單詞嵌入傳遞給下游模型（如 RNN、CNN）進(jìn)行分類。
- 情感分析：分析文本情感時(shí)，可以使用 Word2Vec 提供的向量作為特征。
- 推薦系統(tǒng)：根據(jù)用戶行為的文本數(shù)據(jù)進(jìn)行用戶特征建模。
- 語義相似度計(jì)算：通過計(jì)算向量之間的余弦相似度，判斷單詞或句子之間的相似性。
6. 優(yōu)點(diǎn)
優(yōu)點(diǎn)
- 捕捉語義關(guān)系：能夠有效捕捉單詞之間的語義關(guān)系和上下文。
- 高效率：在大規(guī)模數(shù)據(jù)集上訓(xùn)練時(shí)效率較高，特別是在使用負(fù)采樣。
- 可用于下游任務(wù)：嵌入的向量可以用于多種任務(wù)中，便于遷移學(xué)習(xí)。
