文章

• Sentence Embedding
• 干貨 | NIPS 2015 Deep Learning Symposium(二）
• 干貨 | NIPS 2015 Deep Learning Symposium(一）
• 干貨 | Sentence Vector 的一些進展
• 干貨 | Applied Attention-Based Models (二）
• 干貨 | Applied Attention-based Models in NLP
• CS224n: Natural Language Processing with Deep Learning
• cs224n-2017-lecture10.pdf
• 一文讀懂Attention：Facebook曾拿CNN秒殺谷歌，現(xiàn)如今谷歌拿它秒殺所有人
• 理解LSTM/RNN中的Attention機制
• TensorFlow 自動句子語義編碼，谷歌開源機器學習模型 Skip-Thoughts
• 一個簡單但很難超越的Sentence Embedding基線方法

LDA

• http://blog.sina.com.cn/s/blog_6a1b8c6b0101hgxg.html
• http://lib.csdn.net/article/machinelearning/1074
• https://www.zhihu.com/question/22760487
• https://seofangfa.com/baidu-tech/calculation-of-semantic-topic.html

DSSM

• http://kubicode.me/2017/04/21/Deep%20Learning/Study-With-Deep-Structured-Semantic-Model/
• https://boweihe.me/2016/08/26/dssm%E4%B8%8Elstm/
• https://mp.weixin.qq.com/s/nbT4GSUbgh-5d1J79IqeDA

SimNet

• https://mp.weixin.qq.com/s/PxyazOPKV3eB-qat8hM9ZQ

CLSM

• http://www.debugrun.com/a/oPtRZAi.html
• http://blog.csdn.net/kaka19880812/article/details/62424070
• https://github.com/airalcorn2/Deep-Semantic-Similarity-Model

CNN

• https://www.zhihu.com/question/52668301
• http://www.jeyzhang.com/tensorflow-learning-notes-2.html
• http://www.jeyzhang.com/cnn-learning-notes-1.html

評測比賽

• 斯坦福自然語言推理任務
• STSbenchmark

工具

• sentence2vec
• skip-thoughts
• skip_thoughts
• Familia

PPT

• Deep Learning for Sentence Representation

論文

Convolutional Neural Networks for Sentence Classification (EMNLP 2014)

n*k表示句子（k是詞向量維度） -> 多channel卷積層 -> max-over-time pooling -> 全連接

Neural Machine Translation by Jointly Learning to Align and Translate (arxiv 2014, ICLR 2015）

最早的一篇，應用在翻譯上，動機是告訴decoder現(xiàn)在翻譯哪一部分，因為大體上兩個句子語義上有對應關系　soft alignment?

采用biRNN

Encoding Source Language with Convolutional Neural Network for Machine Translation (ACL 2015)

tagCNN & inCNN

A Hierarchical Neural Autoencoder for Paragraphs and Documents (ACL 2015) note!!

LSTM auto-encoder + Attention

分層結構，捕捉句子組成成分或結構

中間層有句子狀態(tài)表示，句子向量？

A Neural Attention Model for Abstractive Sentence Summarization (EMNLP 2015)
Abstractive Sentence Summarization with Attentive Recurrent Neural Networks (NAACL 2016)

姊妹篇, Facebook團隊

兩篇paper的模型框架都是seq2seq+attention，最大的區(qū)別在于選擇encoder和decoder的模型，第一篇的模型偏容易一些，第二篇用了rnn來做。論文解讀

Teaching Machines to Read and Comprehend (NIPS 2015)

Google DeepMind團隊

有監(jiān)督訓練，兩個attention模型: Attentive Reader 和 Impatient Reader,后者每個token都和query構成一組輸入，相當于反復讀取，逐漸理解文章

Skip-Thought Vectors(NIPS 2015) note!!

無監(jiān)督，句子encoder

通過１萬多本書中連續(xù)的句子來訓練

借鑒了word2vec中skip-gram模型，通過一句話來預測這句話的上一句和下一句

采用了GRU-RNN作為encoder和decoder，encoder部分的最后一個詞的hidden state作為decoder的輸入來生成詞。這里用的是最簡單的網絡結構，并沒有考慮復雜的多層網絡、雙向網絡等提升效果。decoder部分也只是一個考慮了encoder last hidden state的語言模型，并無其他特殊之處，只是有兩個decoder，是一個one maps two的情況，但計算方法一樣。論文解讀

Deep Learning for Semantic Similarity（實驗報告 2015）

有監(jiān)督，衡量兩個句子的相似性

實驗數(shù)據(jù)：SemEval-2015 Task 2, RNN效果最好

Learning Natural Language Inference using Bidirectional LSTM model and Inner-Attention

Context Aware Document Embedding (arxiv 2017)

CNN+GRU STS任務上取得與doc2vec相似的效果，但是更有效率，不需要大量外部語料？一種加強的idf權重，可以捕捉文檔子主題層的關鍵詞

A Structured Self-attentive Sentence Embedding (ICLR 2017) note!!

雙向LSTM+Attention

三個實驗：預測年齡，情感分析，文本蘊含

提出了一種句子表示學習的”internal attention”的方式，并且采用了懲罰項來保證從不同方面來學習attention矩陣，使每個維度的attention向量的相關性降低，并采用了可視化方式來說明模型效果, 可以應用到各種序列化學習的問題當中。論文解讀

[Efficient Summarization with Read-Again and Copy Mechanism] (arxiv 2016, ICLR 2017)

生成式摘要任務 論文解讀

兩個問題：

• 一是在encoder的過程中在計算每一個詞的向量表示或者隱層狀態(tài)時僅僅考慮了該詞之前的一些詞，導致了次優(yōu)化
• 二是UNK的問題（就是不在詞表范圍的詞）

兩個改進：

• 首先提出一個read-again機制，就是在encoder計算每一個詞的表示之前先閱讀一遍輸入序列，該想法的出發(fā)點也符合人的大腦機制，在閱讀一篇文章時，要讀完一遍才能去確認文中哪些詞是重點。
• 采用copy機制來處理OOV問題，同時可以使用非常小的詞庫，提高了解碼的效率。

Learning Natural Language Inference using Bidirectional LSTM model and Inner-Attention (arxiv 2016）

有監(jiān)督，識別文本蘊含，biLSTM average pooling, Inner-Attention
論文解讀