Transformer结构

image.png

Self-Attention

image.png

上图是论文中 Transformer 的内部结构图，左侧为 Encoder block，右侧为 Decoder block。红色圈中的部分为 Multi-Head Attention，是由多个 Self-Attention组成的，可以看到 Encoder block 包含一个 Multi-Head Attention，而 Decoder block 包含两个 Multi-Head Attention (其中有一个用到 Masked)。Multi-Head Attention 上方还包括一个 Add & Norm 层，Add 表示残差连接 (Residual Connection) 用于防止网络退化，Norm 表示 Layer Normalization，用于对每一层的激活值进行归一化。

Bert模型结构

image.png

• 干了啥事？

  
  image.png

输入部分：

image.png

Input=token emb + segment emb+ position emb
CLS向量+句子+sep分割

image.png

cls向量是啥：

image.png

预训练如何做

// MLM-掩码语言模型
无监督

• AR，也就是autoregressive，我们称之为自回归模型；只能考虑单侧的信息，典型的就是GPT
  P(我爱吃饭) = P(我)P(爱|我)P(吃|我爱)P(饭|我爱吃)；

• AE，也就是autoencoding，我们称之为自编码模型；从损坏的输入数据中预测重建原始数据。可以使用上下文的信息
  mask之后：【我爱mask饭】文本重建之后预测，前提假设，mask目标相互独立
  P(我爱吃饭|我爱mask饭)=P(吃|我爱饭)

image.png

随机mask15%单词，10%替换成其他，10%保持不变，80%替换为mask。

image.png

// NSP任务
为了做下一句预测。
NSP样本如下:

• 从训练语料库中取出两个连续的段落作为正样本
• 从不同的文档中随机创建一对段落作为负样本
  缺点：主题预测和连贯性预测合并为一个单项任务

微调的玩法？

image.png

代码读一读

https://zhuanlan.zhihu.com/p/360988428

仅供学习 无关利益

https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=61
https://zhuanlan.zhihu.com/p/338817680
https://arxiv.org/pdf/1810.04805.pdf
https://www.bilibili.com/video/BV1Ey4y1874y?from=search&seid=10522068071476269918&spm_id_from=333.337.0.0
https://zhuanlan.zhihu.com/p/51413773