人工神經(jīng)網(wǎng)絡，借鑒生物神經(jīng)網(wǎng)絡工作原理數(shù)學模型。

由n個輸入特征得出與輸入特征幾乎相同的n個結果，訓練隱藏層得到意想不到信息。信息檢索領域，模型訓練合理排序模型，輸入特征，文檔質量、文檔點擊歷史、文檔前鏈數(shù)目、文檔錨文本信息，為找特征隱藏信息，隱藏層神經(jīng)元數(shù)目設置少于輸入特征數(shù)目，經(jīng)大量樣本訓練能還原原始特征模型，相當用少于輸入特征數(shù)目信息還原全部特征，壓縮，可發(fā)現(xiàn)某些特征之間存在隱含相關性，或者有某種特殊關系。讓隱藏層神經(jīng)元數(shù)目多余輸入特征數(shù)目，訓練模型可展示特征之間某種細節(jié)關聯(lián)。輸出輸入一致，自編碼算法。

人工神經(jīng)網(wǎng)絡模型，多層神經(jīng)元結構建立，每一層抽象一種思維過程，經(jīng)多層思考，得出結論。神經(jīng)網(wǎng)絡每一層有每一層專做事情，每一層神經(jīng)元添加特殊約束條件。多層提取特定特征做機器學習是深度學習。

卷積，在一定范圍內做平移并求平均值。卷積積分公式，對τ積分，對固定x，找x附近所有變量，求兩個函數(shù)乘積，并求和。神經(jīng)網(wǎng)絡里面，每個神經(jīng)元計算輸出卷積公式，神經(jīng)網(wǎng)絡每一層輸出一種更高級特征。自然語言，較近上下文詞語之間存在一定相關性，標點、特殊詞等分隔使、傳統(tǒng)自然語言處理脫離詞與詞之間關聯(lián)，丟失部分重要信息，利用卷積神經(jīng)網(wǎng)絡可以做多元(n-gram)計算，不損失自然語言臨近詞相關性信息。

自動問答系統(tǒng)深度學習應用RNN，利用時序建模。

卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)，二維離散卷積運算和人工神經(jīng)網(wǎng)絡結合深度神經(jīng)網(wǎng)絡。自動提取特征。

手寫數(shù)字識別。http://yann.lecun.com/exdb/mnist/手寫數(shù)據(jù)集，文件是二進制像素單位保存幾萬張圖片文件，https://github.com/warmheartli/ChatBotCourse。

多層卷積網(wǎng)絡，第一層一個卷積和一個max pooling，卷積運算“視野”5×5像素范圍，卷積使用1步長、0邊距模板(保證輸入輸出同一個大小)，1個輸入通道(圖片灰度，單色)，32個輸出通道(32個特征)。每張圖片28×28像素，第一次卷積輸出28×28大小。max pooling采用2×2大小模板，池化后輸出尺寸14×14，一共有32個通道，一張圖片輸出是14×14×32=6272像素。第二層一個卷積和一個max pooling，輸入通道32個(對應第一層32個特征)，輸出通道64個(輸出64個特征)，輸入每張大小14×14，卷積層輸出14×14，經(jīng)過max pooling，輸出大小7×7，輸出像素7×7×64=3136。第三層一個密集連接層，一個有1024個神經(jīng)元全連接層，第二層輸出7×7×64個值作1024個神經(jīng)元輸入。神經(jīng)元激活函數(shù)為ReLu函數(shù)，平滑版Softplus g(x)=log(1+e^x))。最終輸出層，第三層1024個輸出為輸入，設計一個softmax層，輸出10個概率值。

# coding:utf-8

import sys
import importlib
importlib.reload(sys)

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf

flags = tf.app.flags
FLAGS = flags.FLAGS
flags.DEFINE_string('data_dir', './', 'Directory for storing data')

mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)

# 初始化生成隨機的權重(變量)，避免神經(jīng)元輸出恒為0
def weight_variable(shape):
    # 以正態(tài)分布生成隨機值
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

# 初始化生成隨機的偏置項(常量)，避免神經(jīng)元輸出恒為0
def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

# 卷積采用1步長，0邊距，保證輸入輸出大小相同
def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

# 池化采用2×2模板
def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
        strides=[1, 2, 2, 1], padding='SAME')

# 28*28=784
x = tf.placeholder(tf.float32, [None, 784])
# 輸出類別共10個：0-9
y_ = tf.placeholder("float", [None,10])

# 第一層卷積權重，視野是5*5，輸入通道1個，輸出通道32個
W_conv1 = weight_variable([5, 5, 1, 32])
# 第一層卷積偏置項有32個
b_conv1 = bias_variable([32])

# 把x變成4d向量，第二維和第三維是圖像尺寸，第四維是顏色通道數(shù)1
x_image = tf.reshape(x, [-1,28,28,1])

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)

# 第二層卷積權重，視野是5*5，輸入通道32個，輸出通道64個
W_conv2 = weight_variable([5, 5, 32, 64])
# 第二層卷積偏置項有64個
b_conv2 = bias_variable([64])

h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)

# 第二層池化后尺寸編程7*7，第三層是全連接，輸入是64個通道，輸出是1024個神經(jīng)元
W_fc1 = weight_variable([7 * 7 * 64, 1024])
# 第三層全連接偏置項有1024個
b_fc1 = bias_variable([1024])

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

# 按float做dropout，以減少過擬合
keep_prob = tf.placeholder("float")
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

# 最后的softmax層生成10種分類
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])

y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv))
# Adam優(yōu)化器來做梯度最速下降
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

sess = tf.InteractiveSession()
sess.run(tf.global_variables_initializer())

for i in range(20000):
    batch = mnist.train.next_batch(50)
    if i%100 == 0:
        train_accuracy = accuracy.eval(feed_dict={
            x:batch[0], y_: batch[1], keep_prob: 1.0})
        print("step %d, training accuracy %g"%(i, train_accuracy))
    train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

print("test accuracy %g"%accuracy.eval(feed_dict={
    x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))

詞向量。自然語言需要數(shù)學化才能被計算機認識計算。為每個詞分配一個編號，不能表示詞與詞關系。每一個詞對應一個向量，詞義相近詞，詞向量距離越近(歐氏距離、夾角余弦)。詞向量，維度一般較低，一般是50維或100維，可避免維度災難，更容易深度學習。

語言模型表達已知前n-1個詞前提下，預測第n個詞的概率。詞向量訓練，無監(jiān)督學習，沒有標注數(shù)據(jù)，給n篇文章，可訓練出詞向量?；谌龑由窠?jīng)網(wǎng)絡構建n-gram語言模型。最下面w是詞，上面C(w)是詞向量，詞向量一層是神經(jīng)網(wǎng)絡輸入層(第一層)，輸入層是一個(n-1)×m矩陣，n-1是詞向量數(shù)目，m是詞向量維度。第二層(隱藏層)是普通神經(jīng)網(wǎng)絡，H為權重，tanh為激活函數(shù)。第三層(輸出層)有|V|個節(jié)點，|V|是詞表大小，輸出U為權重，softmax作激活函數(shù)實現(xiàn)歸一化，最終輸出某個詞概率。增加一個從輸入層到輸出層直連邊(線性變換)，可提升模型效果，變換矩陣設為W。假設C(w)是輸入x，y計算公式是y = b + Wx + Utanh(d+Hx)。模型訓練變量C、H、U、W。梯度下降法訓練得出C是生成詞向量所用矩陣，C(w)是所需詞向量。

詞向量應用。找同義詞。案例google word2vec工具，訓練好詞向量，指定一個詞，返回cos距離最相近詞并排序。詞性標注和語義角色標注任務。詞向量作神經(jīng)網(wǎng)絡輸入層，通過前饋網(wǎng)絡和卷積網(wǎng)絡完成。句法分析和情感分析任務。詞向量作遞歸神經(jīng)網(wǎng)絡輸入。命名實體識別和短語識別。詞向量作擴展特征使用。詞向量 C(king)-C(queue)≈C(man)-C(woman)，減法是向量逐維相減，C(king)-C(man)+C(woman)最相近向量是C(queue)，語義空間線性關系。

詞向量是深度學習應用NLP根基，word2vec是使用最廣泛最簡單有效詞向量訓練工具。

一個記憶單元識別一個事物，叫l(wèi)ocalist representation。幾個記憶單元分別識別基礎信息，通過這幾個記憶單元輸出，表示所有事物，叫distributed representation，詞向量。localist representation 稀疏表達，one hot vector，每一類型用向量一維來表示。distributed representation 分布式表達，增加表達只需要增加一個或很少特征維度。

word embedding，詞嵌入，范疇論，morphism(態(tài)射)，態(tài)射表示兩個數(shù)學結構中保持結構過程抽象，一個域和另一個域之間關系。范疇論中嵌入(態(tài)射)保持結構，word embedding表示“降維”嵌入，通過降維避免維度災難，降低計算復雜度，更易于深度學習應用。

word2vec本質，通過distributed representation表達方式表示詞，通過降維word embedding減少計算量。

word2vec訓練神經(jīng)概率語言模型。word2vec CBOW和Skip-gram模型。CBOW模型。Continuous Bag-of-Words Model，已知當前詞上下文預測當前詞。CBOW模型神經(jīng)網(wǎng)絡結構，輸入層，詞w上下文2c個詞的詞向量。投影層，輸入層2c個向量做求和累加。輸出層，霍夫曼樹，葉子節(jié)點是語料出現(xiàn)過詞，權重是出現(xiàn)次數(shù)。神經(jīng)網(wǎng)絡模型首尾相接改成求和累加，減少維度。去掉隱藏層，減少計算量。輸出層softmax歸一化運算改成霍夫曼樹。

基于霍夫曼樹Hierarchical Softmax技術?；谟柧氄Z料得到每一個可能w概率。霍夫曼樹，非根節(jié)點θ表示待訓練參數(shù)向量，當投射層產出新向量x，邏輯回歸公式 σ(xTθ) = 1/(1+e^(-xTθ))，可得每一層被分到左節(jié)點(1)還是右節(jié)點(0)概率p(d|x,θ) = 1-σ(xTθ)和p(d|x,θ) = σ(xTθ)。以對數(shù)似然函數(shù)為優(yōu)化目標，假設兩個求和符號部分記作L(w, j)，θ更新公式，x梯度公式，x多個v累加，word2vec中v更新方法。Skip-gram模型，Continuous Skip-gram Model，已知當前詞情況預測上下文。Skip-gram模型神經(jīng)網(wǎng)絡結構。輸入層，w詞向量v(w)。投影層，v(w)。輸出層，霍夫曼樹。θ和v(w)更新公式，符號名從x改v(w)。

word2vec，下載源碼，https://github.com/warmheartli/ChatBotCourse/tree/master/word2vec)，執(zhí)行make編譯(mac系統(tǒng)代碼所有#include <malloc.h>替換成#include <sys/malloc.h>)。編譯生成word2vec、word2phrase、word-analogy、distance、compute-accuracy二進制文件。訓練，語料，已切好詞(空格分隔)文本。執(zhí)行 ./word2vec -train train.txt -output vectors.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -thread 12 -binary 1 。生成vectors.bin文件，訓練好詞向量二進制文件，求近義詞了，執(zhí)行 ./distance vectors.bin 。

參考資料：
《Python 自然語言處理》
http://www.shareditor.com/blogshow?blogId=92
http://www.shareditor.com/blogshow?blogId=97
http://www.shareditor.com/blogshow?blogId=99
http://www.shareditor.com/blogshow?blogId=100

歡迎推薦上海機器學習工作機會，我的微信：qingxingfengzi