DSSM 的原理很簡單，通過搜索引擎里 Query 和 Title 的海量的點擊曝光日志，用 DNN 把 Query 和 Title 表達(dá)為低緯語義向量，并通過 cosine 距離來計算兩個語義向量的距離，最終訓(xùn)練出語義相似度模型。該模型既可以用來預(yù)測兩個句子的語義相似度，又可以獲得某句子的低緯語義向量表達(dá)。

論文原文

模型結(jié)構(gòu)：

第一層是一個簡單的映射層，使用word hashing 方法將句子50W的one-hot表示降低到了3W，原理是對句子做letter level 的trigrim 并累加。
如下圖： #boy#會被切分成#-b-o, b-o-y, o-y-#。

選用trigrim而不用bigrim或者unigrim的原因是為了權(quán)衡表示能力和沖突，兩個單詞沖突表示兩個單詞編碼后的表示完全相同。

第二層到第四層是典型的MLP網(wǎng)絡(luò)，最終得到128維的句子表示

激活函數(shù)是tanh

對正負(fù)樣本計算cosine距離

再利用平滑后的softmax得到概率

論文中實現(xiàn)的一些細(xì)節(jié)：

下面用tensorflow實現(xiàn)這個經(jīng)典的model
導(dǎo)包

import tensorflow as tf

定義基于語料的letter trigrim維度和輸入的query batch 和 doc batch

#TRIGRAM_D  表示letter trigrim 之后的維度
TRIGRAM_D = 1000

#定義query輸入和doc輸入
query_batch = tf.sparse_placeholder(tf.float32, 
                                    shape=[None,TRIGRAM_D], 
                                    name='QueryBatch')
doc_batch = tf.sparse_placeholder(tf.float32, 
                                    shape=[None, TRIGRAM_D], 
                                    name='DocBatch')

初始化第一層的參數(shù)，L1_N表示輸出的維度，參考的是論文中的初始化方法

#第一層輸出維度
L1_N = 300
l1_par_range = np.sqrt(6.0 / (TRIGRAM_D + L1_N))
weight1 = tf.Variable(tf.random_uniform([TRIGRAM_D, L1_N], 
                                        -l1_par_range, 
                                        l1_par_range))
bias1 = tf.Variable(tf.random_uniform([L1_N], 
                                       -l1_par_range, 
                                       l1_par_range))

#因為數(shù)據(jù)比較稀疏，所以用sparse_tensor_dense_matmul
query_l1 = tf.sparse_tensor_dense_matmul(query_batch, weight1) + bias1
doc_l1 = tf.sparse_tensor_dense_matmul(doc_batch, weight1) + bias1

#激活層，也可以換成別的激活函數(shù)
query_l1_out = tf.nn.tanh(query_l1)
doc_l1_out = tf.nn.tanh(doc_l1)

接下來構(gòu)造第二三層

#第二層的輸出維度
L2_N = 300
l2_par_range = np.sqrt(6.0 / (L1_N+ L2_N))
weight2 = tf.Variable(tf.random_uniform([L1_N, L2_N], 
                                        -l2_par_range, 
                                        l2_par_range))
bias2 = tf.Variable(tf.random_uniform([L2_N], 
                                       -l2_par_range, 
                                       l2_par_range))

query_l2 = tf.sparse_tensor_dense_matmul(query_l1_out , weight2) + bias2
doc_l2 = tf.sparse_tensor_dense_matmul(doc_l1_out , weight2) + bias2

query_l2_out = tf.nn.tanh(query_l2)
doc_l2_out = tf.nn.tanh(doc_l2)

#第三層
L3_N = 128
l3_par_range = np.sqrt(6.0 / (L2_N+ L3_N))
weight3 = tf.Variable(tf.random_uniform([L2_N, L3_N], 
                                        -l3_par_range, 
                                        l3_par_range))
bias3 = tf.Variable(tf.random_uniform([L3_N], 
                                       -l3_par_range, 
                                       l3_par_range))

query_l3 = tf.sparse_tensor_dense_matmul(query_l2_out , weight3) + bias3
doc_l3 = tf.sparse_tensor_dense_matmul(doc_l2_out , weight3) + bias3

query_l3_out = tf.nn.tanh(query_l3)
doc_l3_out = tf.nn.tanh(doc_l3)

計算相似度

#NEG表示負(fù)樣本的個數(shù)
NEG  = 4

# ||yq||
query_norm = tf.tile(tf.sqrt(tf.reduce_sum(tf.square(query_l3_out ), 1, True)), 
                     [NEG + 1, 1])
# ||yd||
doc_norm = tf.sqrt(tf.reduce_sum(tf.square(doc_l3_out), 1, True))

# yqT yd
prod = tf.reduce_sum(tf.mul(tf.tile(query_l3_out , [NEG + 1, 1]), doc_l3_out), 1, True)
norm_prod = tf.mul(query_norm, doc_norm)

# cosine
cos_sim_raw = tf.truediv(prod, norm_prod)
cos_sim = tf.transpose(tf.reshape(tf.transpose(cos_sim_raw), [NEG + 1, BS])) * Gamma

計算loss

#BS為batch_size，計算batch平均損失

prob = tf.nn.softmax((cos_sim))

#正例的softmax值
hit_prob = tf.slice(prob, [0, 0], [-1, 1])

#最小化loss，計算batch的平均損失
loss = -tf.reduce_sum(tf.log(hit_prob)) / BS

定義優(yōu)化方法，訓(xùn)練

#定義優(yōu)化方法和學(xué)習(xí)率
train_step = tf.train.GradientDescentOptimizer(FLAGS.learning_rate).minimize(loss)

with tf.Session(config=config) as sess:
    sess.run(tf.initialize_all_variables())
    for step in range(FLAGS.max_steps):
        sess.run(train_step, feed_dict={query_batch : ...
                                        doc_batch   : ...}})

實現(xiàn)過程中的一些細(xì)節(jié)：

1. doc和query是share hash embedding和mlp層的；
2. 損失函數(shù)只包含了正例，但是在計算softmax值的時候考慮了反例，這也是反例存在的意義；