来源: AINLPer 微信公众号（点击了解一下吧）
编辑: ShuYini
校稿: ShuYini
时间: 2020-03-09
引言： 下面是作者整理的自然语言生成(NLG)论文速递系列的第二篇，该篇主要看点有：摘要生成、文本生成，标题生成，手写生成，机器翻译等，如果你对NLG感兴趣或者也在找一些相关的文章，希望能够帮助你~~
如果你一篇篇的论文下载不方便，你也可以关注 AINLPer 回复：NLG002 进行打包下载。
1、TILE: A Deep Reinforced Model for Abstractive Summarization【摘要生成】
Author: Romain Paulus, Caiming Xiong, Richard Socher
Paper: https://openreview.net/pdf?id=HkAClQgA-
论文简述： 本文提出了一种基于内部注意力机制的神经网络模型，该模型可以分别关注输入和连续的输出；以及一种新的训练方法，该训练方法结合了标准的单词预测和强化学习。
2、TILE: Simulating Action Dynamics with Neural Process Networks【文本生成】
Author: Antoine Bosselut, Omer Levy, Ari Holtzman, Corin Ennis, Dieter Fox, Yejin Choi
Paper:https://openreview.net/pdf?id=rJYFzMZC-
论文简述： 本文提出的模型能够对未知的联系进行推理，为理解和生成程序化文本提供更准确的上下文信息，同时比现有的替代方案提供更多可解释的内部表示。
3、TILE: Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Modeling【上下文生成表示】
Author: Tao Shen, Tianyi Zhou, Guodong Long, Jing Jiang, Chengqi Zhang
Paper:https://openreview.net/pdf?id=H1cWzoxA-
论文简述： 本文提出了 “双向块自注意网络(Bi-BloSAN)” 模型，用于RNN/CNN-free序列编码。它需要的内存和RNN一样少，但具有SAN的所有优点。Bi-BloSAN将整个序列分割为块，并对每个块应用一个块内SAN来建模本地上下文，然后对所有块的输出应用一个块间SAN来捕获远程依赖关系。
4、TILE: An Actor-Critic Algorithm for Sequence Prediction【MT、标题生成、会话模型】
Author: Dzmitry Bahdanau, Philemon Brakel, Kelvin Xu, Anirudh Goyal, Ryan Lowe, Joelle Pineau, Aaron Courville, Yoshua Bengio
Paper:https://openreview.net/pdf?id=SJDaqqveg
论文简述： 本文提出了一种利用强化学习中的actor-critic法训练神经网络生成序列的方法。当前的对数似然训练方法受到训练模式和测试模式之间差异的限制，因为模型生成必须基于其先前猜测的标记，而不是基于真实标记。我们通过引入一个textit{critic}网络来解决这个问题，该网络经过训练，可以预测输出token的值，给定textit{actor}网络的策略。
5、TILE: Hierarchical Multiscale Recurrent Neural Networks【手写生成】
Author: Junyoung Chung, Sungjin Ahn, Yoshua Bengio
Paper:https://openreview.net/pdf?id=S1di0sfgl
论文简述： 提出了一种新的多尺度递归神经网络，该神经网络利用一种新的更新机制对不同时间尺度的时间依赖性进行编码，从而捕获序列中潜在的层次结构。结果表明，该模型可以在不使用显式边界信息的情况下发现序列的层次结构。
6、TILE: HyperNetworks【手写生成、NMT、Level-Language】
Author: David Ha, Andrew M. Dai, Quoc V. Le
Paper:https://openreview.net/pdf?id=rkpACe1lx
论文简述： 本文训练一个小的RNN为一个大的RNN生成权重，并通过端到端的方式对系统进行训练。我们在各种序列建模任务(包括字符级语言建模、手写生成和神经机器翻译)上获得最新的结果。
Attention
更多自然语言处理相关知识，还请关注AINLPer公众号，极品干货即刻送达。
网友评论