文章地址：https://arxiv.org/pdf/1602.07416v2.pdf

文章的作者來自于清華的Chongxuan Li，Jun Zhu和Bo Zhang。

這篇文章的核心內(nèi)容是想在Deep Generative Model（DGM）的基礎(chǔ)上加上Memory機制。Motivation的點是，傳統(tǒng)的DGM比較能夠抓住數(shù)據(jù)的High-level Feature。但是利用這些High Level Feature，還是不能很好得產(chǎn)生實際的數(shù)據(jù)。作者們認(rèn)為，部分原因是因為缺少機制能夠把一些細(xì)節(jié)給記下來。這篇文章就是想能否利用Memory，外加Attention的機制，使得數(shù)據(jù)的部分細(xì)節(jié)能夠在每一層得到保存。

作者們在傳統(tǒng)的DGM層與層之間加入了Memory和Attention機制。具體來說，就是每一層的單一Hidden Layer，被兩個不同的Hidden Layer所替代。模型首先從Input Layer產(chǎn)生H1，然后利用一個每一層特有的Memory外加每一層特有的Attention，產(chǎn)生一個H2。最后的輸出H，是這兩個H1和H2的一個函數(shù)。

學(xué)習(xí)過程來講，文章主要還是擴展了Variational Approximation的方法。

從實驗效果來說，特別是隨機產(chǎn)生數(shù)據(jù)，提出的模型明顯能夠產(chǎn)生更加真實的數(shù)據(jù)。

更多關(guān)于聊天機器人（Chatbots）的技術(shù)和產(chǎn)品的分享可以關(guān)注ChatbotsChina微博，每日都會有干活分享！