前段时间在做命名实体识别项目，用到了Bert模型，最终的效果非常好。看了Bert的论文，知道Bert用到了双向Transformer作为特征提取器，效果远比RNN和LSTM要好。一直没有时间看看这个黑盒子里面到底长什么样，最近有时间把这些内容整理下。
1. RNN中的encoder-decoder
1.1 流程
- encoder 将一句话的每个词进行embedding，可以是word2vec或是Glove，将每个embedding作为每个阶段的输入，使用上个阶段的hidden state及当前阶段的输入计算当前阶段的hidden state。
-
decoder 阶段的起始输入是encoder阶段最后一个hidden state，然后利于其计算输出y值
encoder_decoder.png
1.2 缺点
- 由于RNN机制在处理较长序列会存在梯度消失或梯度爆炸的情况，所以随着长度较长会导致精度的损失
- RNN训练每一个step都依赖上个step，无法做到并行计算，所以计算速度较慢
1.3 attention机制的加入
一句话概括attention，就是在解码阶段，当前位置单词yj与编码阶段哪个单词xi的相关性最大。这种方式相对于RNN来讲，不仅仅将encoder的内容都存在定长的hiden state中，其对于长距离的捕获效果要更好。
# 很直观能感受到 【china】和【中 国】的相关性更大
我 爱 中 国 -> I love china
1.4 具体计算流程
image.png
- 计算encoder阶段每个hidden state(h1,h2,...hT)
- 设eti=a(hi,st)表示解码第t个阶段与编码第i个阶段的相关性。向量形式
- 对
进行softmax，将权重值归一化
=softmax(
- 计算上下文向量
- 由此，
,
,与原始的RNN中的h相比，又增加了上下文向量ci
2. 从attention到Transformer
2.1 模型拆解
整体结构如下图
image.png
-
以机器翻译为例，我们已知输入，希望得到输出
image.png
-
模型是由encoder和decoder两部分构成
image.png
-
encoders和decoders是由encoder和decoder堆叠而成
image.png
-
每个encoder的结构是由self-attention及前馈神经网络
image.png
-
每个decoder有三层结构：最下面一层是self-attention，中间是encoder-decoder attention，最上层是前馈神经网络
2.2 self-attention自注意力机制
是一种方法，可以捕获当前句子中每个词与句子中其他词的关联关系
# it指代的是animal，所以两者的相关性较高
The animal didn't cross the street because it was too tired
2.3 self-attention计算细节
假设我们输入的序列是Thinking和Machines，其中他们的embedding分别为和
，根据
,
,
(这三个矩阵是训练得到的)计算得到Q，K，V。
Q，K，V是抽象概念，个人理解就是q相当于待查询的词，k相当于待查询的所有词，v就是真实值。
image.png
attention计算公式如下，其中是
具体例子如下：
分别计算q与k的内积得到score，然后除以8(论文上的参数，可以修改)
image.png
将score/8的结果计算softmax
image.png
对softmax后的概率对所有时刻的v加权平均得到z，这就是第1时刻的结果
image.png
2.4 矩阵方式进行计算
上面方法是逐条进行遍历的，效率会低，实际的计算过程如下。
X的每一行代表一个词的embedding，Q，K，V的每一行代表任何一个时刻的输入
image.png
得到Q，K，V矩阵之后计算Q和K的score，然后除以再进行softmax,最后加权平均得到输出
image.png
2.5 多头注意力机制
上面是一组self-attention，多头这个翻译总感觉怪怪的。“多头”其实是copy了多份QKV，这样做可以关注不同的上下文，计算方式是一样的。
image.png
每个头都会生成一个z矩阵
image.png
由于后面前馈神经网络的输入还是z，所以需要将其concat之后再乘以一个矩阵
image.png
将上面的串连起来
image.png
2.6 decoder部分
decoder第一级输入的q，k，v均来自于上一层的输出，但是加入了Mask操作，即防止特征穿越。
第二级的query来自于前一级decoder的输出，但是key和value来自于encoder的输出。
2.7 位置编码
对于输入向量，Transformer其实考虑到了位置参数，因为完全相同的词出现在不同的位置意思有可能会截然相反，所以对于encoder和decoder第一层输入是由embedding+position embedding得到的，位置编码不同的奇偶数编码方式也是不一样的,偶数使用正弦函数，奇数使用余弦函数
image.png
参考
- [1] Attention机制详解
- [2] Attention学习_强化篇
网友评论