資料來源：https://www.bilibili.com/video/av9258966
Paper：
論文網(wǎng)頁：https://arxiv.org/pdf/1301.3781.pdf
基于次數(shù)的方法不能很好的代表向量的語意。如one-hot，TF-IDF。
語意：語言邏輯中的含義。
從理論上理解什么是word2vec
資料：http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/
給定滑窗和中心詞，去猜測(cè)滑窗有可能出現(xiàn)單詞的概率。
滑窗的大小 3，5，7...
語意的體現(xiàn)：一個(gè)單詞的語言可定和它和什么單詞一起出現(xiàn)有關(guān)呀。
如何做到這一點(diǎn)呢
1.首先對(duì)每個(gè)單詞進(jìn)行one-hot encoding
2.兩層的神經(jīng)網(wǎng)絡(luò)，只有兩層的權(quán)重矩陣。
3.有多個(gè)label就比較多次，每一次都去調(diào)整權(quán)重，比如第3組， brown-> the brown-> quick brown-> fox brown-> jumps,一個(gè)brown去預(yù)測(cè)多個(gè)單詞。
4.每一個(gè)滑窗都會(huì)，調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)重。
5.詞向量是輸入層到隱藏層的權(quán)重矩陣。每一個(gè)詞都會(huì)對(duì)應(yīng)一個(gè)300長(zhǎng)的向量。
6.非監(jiān)督學(xué)習(xí)
我們學(xué)習(xí)的不是一個(gè)最終的目標(biāo)，我們學(xué)習(xí)的是每一個(gè)單詞的特征（向量表示）。
非監(jiān)督學(xué)習(xí)
常見：
1.維度降解
- PCA 非監(jiān)督學(xué)習(xí) 做維度降解 Dimension Redaction
- T-ISE
2.聚類
- k-mean
- DB-scan
3.特征提取
- Feature learning
- Feature Extration
沒有一個(gè)具體目的，你就讓它自己干就行了，給他什么他就學(xué)習(xí)什么。
定義：
Supervised Learning：
X Y 找到 f(x) ---> y
Unsupervised Learning 無監(jiān)督學(xué)習(xí)
X f(x) ----descripes--> S
S = {x1,x2,x3,...}
DeepLeaning 就是一種特征提取,深度學(xué)習(xí)非監(jiān)督學(xué)習(xí)的一種方法。
Autoencoder 逐層抽象，提取圖片信息。
word2vec 是一種特征提取
TextSpace -------》 VectorSpace
每一個(gè)向量對(duì)應(yīng)文字或者單詞。
