Transformer系列：快速通俗理解Transformer的

关键词：Transformer，位置编码

内容提要

• 位置编码的目的
• 位置编码的多种方式
• 从代码理解sin-cos位置编码特性
• sin-cos位置编码如何表达相对位置信息

---

位置编码的目的

注意力Attention这种操作具有排列不变性，输入元素位置的变动不会对注意力结果产生影响，从而模型无法感知位置信息，而在自然语言处理场景，字/词的顺序位置关系信息尤为重要，同样的字词不同的顺序可能导致句子的语言完全不一样。
Transformer中采用Self-Attention，每个词和整个句子所有词两两一对计算相似度权重，词与词的位置随意变动一下不会导致最终计算该对词的注意力权重产生变化，进一步导致注意力层的整个结果不变，严格来说是结果中每一个词向量计算完全一致，仅仅是词向量在输出矩阵的排列随着词和词位置互换而对应调整了一下，举个例子

                                         [ [0.3, 0.2, 0.1, 0.5]
[我，爱，你]  => self attention layers =>    [0.1, -0.1, -0.2, 0.3], 
                                           [0.5, 0.5, 0.1, -0.1] ]

                                         [  [0.5, 0.5, 0.1, -0.1]
[你，爱，我]  => self attention layers =>    [0.1, -0.1, -0.2, 0.3], 
                                         　 [0.3, 0.2, 0.1, 0.5] ]

将[我，爱，你]输入一组Q，K，V组成的Self-Attention产出的向量，和[你，爱，我] 输入同一组Q，K，V组成的Self-Attention产出的向量，两者的结果每个词/字的embedding输出一致，仅仅是在矩阵的位置调换了一下（1和3对调）。
而此时如果下游网络是聚合池化操作，则池化后的结果完全一致，彻底失去位置信息，比如transformer之后使用均值池化去做文本分类，如果不做池化做flatten输出，也仅仅是特征列和特征列交换位置，对下游是全连接Dense结构而言是一致的效果。
因此需要引入位置编码表达出每个句子中字/词的位置信息，配合字/词本身的embedding一起加入模型进行训练。

---

位置编码的多种方式

位置编码是需要设计的，主要有绝对位置编码和相对位置编码

• 绝对位置编码：在输入层做文章，为每个输入的字/词增加一个对应位置编码，该位置编码只与位置k相关，每个字/词的输入是自身编码和位置编码的融合。绝对位置编码包括可学习式，固定式等方法，比如BERT、GPT采用可学习式将位置编码当作可训练参数，本文的Transformer采用的是无参数的固定式三角函数计算。
• 相对位置编码：在模型网络层做文章，使得模型的Self-Attention能够考虑词和词之间的相对距离，而非每个词都单独标注位置和距离，让模型通过数据自己学习位置信息。

本文主要介绍Transformer中的sin-cos位置编码

---

从代码理解sin-cos位置编码

先给到Transformer的sin-cos位置编码公式

位置编码公式

其中pos代表句子中词的位置，2i或者2i+1代表位置编码向量的一个分量，2i代表偶数，2i+1代表奇数，由此可见某个词的位置编码是一个向量不是一个值，它由词的位置，以及分量位置两个共同决定的。
进一步看代码实现，从结果看sin-cos位置编码在做什么

def GetPosEncodingMatrix(max_len, d_emb):
    # 位置编码
    pos_enc = np.array([
        [pos / np.power(10000, 2 * (j // 2) / d_emb) for j in range(d_emb)]
        if pos != 0 else np.zeros(d_emb)
        for pos in range(max_len)
    ])
    pos_enc[1:, 0::2] = np.sin(pos_enc[1:, 0::2])  # dim 2i
    pos_enc[1:, 1::2] = np.cos(pos_enc[1:, 1::2])  # dim 2i+1
    return pos_enc

设置max_len为每个句子的最大长度为50，d_emb为每个词的embedding的维度为256，最终得到一个[50, 256]的位置编码矩阵，每一行代表一个位置的位置编码结果，每一列代表某个词在某个位置编码分量上的值。所有句子共享这个位置编码矩阵，也就是说所有句子相同位置的字/词的位置编码结果是一致的，位置编码矩阵里面每个值用热力图画出来如下

位置编码矩阵热力图

进一步深入代码，我们重新设置参数max_len=6，d_emb=4把计算结果全部列出来观察

一个6*4的位置矩阵计算过程

其中矩阵第一行是全0向量，当输入序列的元素id是0时直接映射为这个全0向量来表示位置，我们进一步结合源码看下原始序列id映射为位置矩阵的代码

class PosEncodingLayer:
    def __init__(self, max_len, d_emb):
        # 位置编码不跟随训练
        self.pos_emb_matrix = Embedding(max_len, d_emb, trainable=False, weights=[GetPosEncodingMatrix(max_len, d_emb)])

    def get_pos_seq(self, x):
        mask = K.cast(K.not_equal(x, 0), 'int32')
        # 这个cumsum在拿pos位置
        pos = K.cumsum(K.ones_like(x, 'int32'), 1)
        return pos * mask

    def __call__(self, seq, pos_input=False):
        x = seq
        if not pos_input:
            # 排除掉padding的，padding的置为0
            x = Lambda(self.get_pos_seq)(x)
        return self.pos_emb_matrix(x)

其中K.cumsum在将所有序列元素从1开始自增转化为数字id，同时mask判断得到padding为0的位置，将K.cumsum的结果改为0，因此输入序列id中所有padding位置都以全0向量作为位置编码。
除了第一行以外，位置矩阵的所有值都是三角函数sin，cos的结果，因此所有位置和各分量上的结果都是介于-1到1之间的，使得位置编码值固定在一个区间内不会太大或者太小，从而使得位置编码和词原始embedding相加存在可行性。
进一步横向观察表格，每个分量上是sin，cos轮流交替的，一对相邻的偶数和奇数分量形成一对，该对的三角函数输入相同，每一行的POS相同，因此三角函数输入的分母相同，差异在分母。
再从纵向看，每个分量位置相同，因此差异在三角函数的输入分子，此时POS不同，POS不断自增加1。

总结

• 位置编码将词的位置信息表征为向量，该向量由词位置和分量位置共同确定
• 位置编码矩阵所有句子共享，因此不同句子第n个词的位置编码结果相同
• 对输入padding的位置采用全0向量作为位置编码
• 采用sin-cos位置编码保证了位置向量值在-1~1之间，稳定可控
• 在单个词的位置向量上，sin和cos形成一对交替出现
• 所有POS相同分量上的三角函数相同（偶数都是sin，奇数都是cos），差别仅是POS值不同

---

sin-cos位置编码如何表达相对位置距离

从上一节仅能看出sin-cos位置编码能够对位置不同进行差异化刻画，同时输出结果稳定在-1到1之间，使得和原始embedding相加存在可行性，并没有什么了不起的地方，实际上由于三角函数公式的特性，sin-cos位置编码具有表达相对位置的能力，给定距离，任意位置的位置编码都可以表达为一个已知位置的位置编码的关于距离的线性组合。
三角函数具有如下特性

三角函数公式

令一个已知位置pos，要表达距离该pos距离为k的另一个pos的位置编码，套用三角函数公式如下

已知pos和距离

求解这组权重u，v即可通过已知pos的位置编码计算出距离k的位置编码

u and v

下面举例进行说明

1.通过位置2计算出位置3的位置编码

通过位置2计算位置3(1)

根据公式，POS=3位置的第i=0的分量可以由POS=2位置的第i=0和i=1两个结果的线性组合而计算得到

>>> # 线性组合的结果
>>> np.cos(1) * np.sin(2 / np.power(10000, 0 / 4)) + np.sin(1) * np.cos(2 / np.power(10000, 0 / 4))
0.1411200080598673
>>> # 直接生成的结果
>>> np.sin(3 / np.power(10000, 0 / 4))
0.1411200080598672

其中u=cos(1)，v=sin(1)，线性组合的结果和直接生成的结果相同。
同理看一下POS=3的第2个位置分量

通过位置2计算位置3(2)

>>> np.cos(1 / 10000 ** (2 / 4)) * np.sin(2 / np.power(10000, 2 / 4)) + np.sin(1 / 10000 ** (2 / 4)) * np.cos(2 / np.power(10000, 2 / 4))
0.02999550020249566
>>> np.sin(3 / np.power(10000, 2 / 4))
0.02999550020249566

2.通过位置2计算出位置4的位置编码

通过位置2计算位置4

>>> np.cos(1 / 10000 ** (2 / 4) * 2) * np.sin(2 / np.power(10000, 2 / 4)) + np.sin(1 / 10000 ** (2 / 4) * 2) * np.cos(2 / np.power(10000, 2 / 4))
0.03998933418663416
>>> np.sin(4 / np.power(10000, 2 / 4))
0.03998933418663416

计算结果一致，结论是sin-cos这种位置编码方式，任意位置的位置编码都可以表达为一个已知位置的位置编码的关于距离的线性组合。也是因为有这个特质采用三角函数表征位置信息，同时由于padding的词不需要存在这种相对位置表达性质，因此对padding的位置向量做了全0处理。