如何在Deep Generative Model中加入Memor

文章地址：https://arxiv.org/pdf/1602.07416v2.pdf

文章的作者来自于清华的Chongxuan Li，Jun Zhu和Bo Zhang。

这篇文章的核心内容是想在Deep Generative Model（DGM）的基础上加上Memory机制。Motivation的点是，传统的DGM比较能够抓住数据的High-level Feature。但是利用这些High Level Feature，还是不能很好得产生实际的数据。作者们认为，部分原因是因为缺少机制能够把一些细节给记下来。这篇文章就是想能否利用Memory，外加Attention的机制，使得数据的部分细节能够在每一层得到保存。

作者们在传统的DGM层与层之间加入了Memory和Attention机制。具体来说，就是每一层的单一Hidden Layer，被两个不同的Hidden Layer所替代。模型首先从Input Layer产生H1，然后利用一个每一层特有的Memory外加每一层特有的Attention，产生一个H2。最后的输出H，是这两个H1和H2的一个函数。

学习过程来讲，文章主要还是扩展了Variational Approximation的方法。

从实验效果来说，特别是随机产生数据，提出的模型明显能够产生更加真实的数据。

更多关于聊天机器人（Chatbots）的技术和产品的分享可以关注ChatbotsChina微博，每日都会有干活分享！