Attention for ASR

作者: 静一下1 | 来源:发表于2020-12-04 00:07 被阅读0次

1 基于 Attention 的模型

Attention机制最先应用于机器翻译中，并在机器翻译中取得了最好的效果。其主要思想就是通过编码器(Encoder)将原序列转换成一个固定长度的隐层表示，然后解码器(Decoder)再根据这个隐层表示生成解码序列，生成解码序列过程中考虑当前解码输出与隐层表示中哪一部分最相关，这部分就是注意力机制。

在这个模型结构中，每一个条件概率输出定义为：

其中 $y_i$ 表示第i时刻解码输出标记，X表示Encoder输入， $y_{i-1}$ 表示上一时刻解码输出， $s_i$ 表示i时刻的隐层状态， $c_i$ 表示上下文向量。其中 $s_i$ 计算公式为

上下文向量 $c_i$ 是Encoder输出隐变量 $h_i$ 的加权和。

其中 $\alpha_{ij}$ 即注意力权重。其计算过程如下：

其中

上式中的 $e_{ij}$ 表示注意力机制的打分结果，实际上相当于一个相关性计算，具体的分数计算有多种方式，其反映了上一时刻隐层状态 $s_{i-1}$ 与向量表示 $h_j$ 之间的相关性。基本的Attention结构就是这样，接下来分析最近几年在这个结构基础上面的发展。

2 不同的 Attention 机制

Encoder-Decoder结构能够获得飞速发展的一个重要原因就是采用了Attention机制。探索不同的attention机制也是一个重要的研究方向。

2.1 不同的打分机制

Attention的核心思想就是计算当前要解码序列需要的输入信息与上下文信息之间的相关性。相关性的计算就是：

$e_{ij} = score (s_{i-1}，h_j)$

其计算方式有多种：

(1)计算余弦距离

LAS模型就是采用了这种方式，由于隐层状态 $s_{i-1}$ 和上下文向量 $h_j$ 并不在同一个特种空间中，要计算余弦距离，首先应该将他们转换到同一个空间中，因此文章中首先将他们各自输入到一个前馈网络中，计算网络输出的余弦距离，即实现了相关性计算。不同于其他模型，LAS中使用的是状态。

$e_{ij} = < \Phi (s_i),\Phi(h_j)>$

其中 $\Phi$ (·)即表示特征变换网络，其实就是前馈网络结构。

(2)直接进行计算

这种方式没有考虑两个向量位于不同的特征空间，直接计算打分结果。常见的有以下几种方式：

(3)打分过程中考虑上一时刻注意力权重

那么打分过程变成 $score(s_{u-1},\alpha_{u-1},h_t)$ 具体计算公式如下：

其中 $f_{ut} = F \ast \alpha_{u-1},\ast$ 表示卷积操作。 $U,W,V,F,b,v$ 都是被学习的参数矩阵。

2.2 Hard-Attention

Hard-Attention是在Image Caption Generation任务中提出的。常见的注意力机制是经过softmax层输出之后有不同的权重。α是一个向量，里面元素都是范围在[0,1]之间的小数，和为1。而采用Hard-Attention之后，注意力向量α中的元素只有一个是1，其余的都是0，也就是在每一个时间步，模型只关注一个位置。向量α是One-hot形式。

$\hat z_t = \sum_i s_{t,i}h_i$

其中 $s_{t,i}$ 表示在第 $t$ 时刻的attention是否关注位置 $i$ 。

2.3 Soft-Attention

常见的注意力机制都是Soft-Attention。即注意力向量α中的不同位置的权重值不同，这样的soft attention是光滑的且是可微的。"Show, Attend and Tell: Neural Image CaptionGeneration with

Visual Attention" 中还对注意力机制进行了微调。

$\hat z_t =\beta \sum_i \alpha_{t,i} h_i$

其中 $\beta = \sigma (f_{\beta} (s_{u-1}))$ ，用来调节上下文向量在LSTM中的比重。

在上面所讲的注意力权重α u,t 都是标量权重，这意味着向量h u 中的每个元素都给了相同的权重。"Advancing Connectionist TemporalClassification With Attention Modeling"中考虑为了使得hu 中的元素更加具有区分性，可以考虑把权重换成矢量 $\alpha _{u,t}$ 。

那么：

2.4 Global-Attention

global attention就是在Decoder计算注意力权重的每一时刻都考虑全部的上下文信息，赋予不同位置的上下文信息不同的权重，并加权求和。其计算方式就是与通常的计算方式一致。

2.5 Local-Attention

Global方式关注全局上下文信息，一方面这样有很大的计算量，另一方面在像语音识别这样的任务中，由于两种序列时序一致，注意力主要集中的位置是在时序对应的位置，其他位置的不需要特别关注。并且采用local-attention有助于推进Sequence-to-Sequence这里的上下文向量的计算每次都只focus窗口 $[p_t -D , p_t +D ]$ 内的 $2D+1$ 个source hidden states。 $D$ 是经验选择的，文章中使用的是10。

这个方法像hard-attention,但是local-attention是可微的，因此更加容易训练。有人提出了local-m(local monotonic alignment)和local-p(local predictive alignment)两种local attention计算方式。 $p_t$ 是source position index，可以理解为attention关注的焦点.在local-m中 $p_t =t$

在local-p中，

其中 $W_p$ 和 $v_p$ 都是模型的参数， $S$ 是source sentence的长度，那么 $p_t \in [0,S]$ 。则权重计算如下：

我们很容易看出，距离中心 $p_t$ 越远，其位置上的source hidden state对应的权重则被压缩的越厉害。

2.6 Multi-Head Attention

Multi-Head Attention(MHA)最初出现在Google的工作中。MHA在传统注意力机制的基础上扩展了多个head，每个head能够生成不同的注意力分布。这个允许每个head在focus编码器输出的时候，可以扮演不同的角色。这种方式能够帮助解码器更容易的从编码输出中检索出所需要的信息。传统的single-head attention更加依赖于编码器提供清晰的隐层表示以使得Decoder能够挑选出重要的信息。文章观察到MHA趋向于分配一个head去关注语句的开头，语句的开头往往包含大部分的背景噪声。因此可以猜测，在编码器输出不理想的情况下，MHA结构能够从噪声中区分语音信息。为了确保MHA在训练过程中确定能够关注到不同的位置，有文章研究在损失函数中增加正则项，以确保多个MHA之间存在差异。

3. CTC 与 Attention 混合结构

纯Attention方法虽然取得了不错的效果，但是在训练过程中存在着明显的收敛速度慢，震荡幅度大等问题。这很大程度上在于一开始Attention注意范围太广，难以收敛。因此有文章提出使用CTC辅助attention模型的训练，实验表明这种方法能够极大的提高模型的收敛速度。模型结构如图所示。模型成功的关键在于在损失函数中引入CTC Loss。

$Loss = \lambda L_{CTC} + (1-\lambda)L_{Attention}$

也可以理解为CTC帮助模型的Encoder获得了更加清晰的隐层表示。实验表明没有CTC辅助训练的结构在迭代9个epoch后仍然没有收敛，但是在CTC辅助训练的情况下，模型在5个epoch的时候已经收敛了。

Attention结构在采用大的建模单元时候往往能够获得很好的性能，但是建模单元越大，OOV问题也就越严峻，可以采用CTC与Attention共同解码来实现。模型中CTC部分使用Charcter-Level的建模单元，Attention部分使用Word-Level的建模单元。两种模型结构公用一个Encoder部分。模型结构如图所示。