注意力机制（Attention Mechanism）

• 本篇为翻译文章，原文https://blog.heuritech.com/2016/01/20/attention-mechanism/

继2015年的深度学习和人工智能进展之后，许多研究人员对神经网络中的“注意力机制”非常感兴趣。这篇文章旨在对深度学习中注意力机制进行高层次的解释，并详细介绍计算attention的一些技术步骤。 如果你正在寻找这方面更多的方程或例子，参考文献给出了大量的细节，特别是Cho等人[3]最近的综述。 不幸的是，这些模型并不总是直接由你自己来实现，到目前为止也仅有少数几个项目发布了开源实现。

Attention

在神经学和计算神经学中已经广泛研究了涉及attention的神经过程[1,2]。视觉attention是他们特别研究的方面之一: 许多动物专注于其看到的特定区域以获得适当的反应。这个原则对神经计算有很大的影响，因为我们需要选择最相关的信息，而不是使用所有可用的信息，其中很大一部分信息对于计算神经反应来说是无关的。专注于输入的特定部分这种类似的想法,已经应用于深度学习，比如语音识别，机器翻译，机器推理和物体的视觉识别。

Attention for Image Captioning

我们用一个例子来解释attention机制。 我们要实现的任务是图像描述--为给定图像生成描述语句。
一个经典图像描述系统将使用预先训练的会产生隐藏状态h的卷积神经网络（CNN）对图像进行编码。 然后，通过使用递归神经网络（RNN）来解码该隐藏状态，并且递归地生成描述序列中的每个字。这种方法已被多个组织应用，包括[11] (见下图) :

参考文献：
[1] Itti, Laurent, Christof Koch, and Ernst Niebur. « A model of saliency-based visual attention for rapid scene analysis. » IEEE Transactions on Pattern Analysis & Machine Intelligence 11 (1998): 1254-1259.
[2] Desimone, Robert, and John Duncan. « Neural mechanisms of selective visual attention. » Annual review of neuroscience 18.1 (1995): 193-222.
[3] Cho, Kyunghyun, Aaron Courville, and Yoshua Bengio. « Describing Multimedia Content using Attention-based Encoder–Decoder Networks. » arXiv preprint arXiv:1507.01053 (2015)

[4] Xu, Kelvin, et al. « Show, attend and tell: Neural image caption generation with visual attention. » arXiv preprint arXiv:1502.03044 (2015).

[5] Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. « Neural machine translation by jointly learning to align and translate. » arXiv preprint arXiv:1409.0473 (2014).

[6] Sukhbaatar, Sainbayar, Jason Weston, and Rob Fergus. « End-to-end memory networks. » Advances in Neural Information Processing Systems. (2015).

[7] Graves, Alex, Greg Wayne, and Ivo Danihelka. « Neural Turing Machines. » arXiv preprint arXiv:1410.5401 (2014).

[8] Joulin, Armand, and Tomas Mikolov. « Inferring Algorithmic Patterns with Stack-Augmented Recurrent Nets. » arXiv preprint arXiv:1503.01007 (2015).

[9] Hermann, Karl Moritz, et al. « Teaching machines to read and comprehend. » Advances in Neural Information Processing Systems. 2015.

[10] Raffel, Colin, and Daniel PW Ellis. « Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems. » arXiv preprint arXiv:1512.08756 (2015).

[11] Vinyals, Oriol, et al. « Show and tell: A neural image caption generator. » arXiv preprint arXiv:1411.4555 (2014).