Microsoft在2020年提出了TwinBERT: Distilling Knowledge to Twin-Structured Compressed BERT Models for Large-Scale Retrieval这篇论文。今天有幸看了看，简单的跟大家分享下。

解决问题

论文主要解决的问题是：性能~ 性能~ 性能~~~

Online Server需要快速处理，尤其是在召回阶段，面对上亿级Doc，为此减少在线计算大势所趋。

架构原理

TwinBert就是在这种背景下应运而生的，如下图结构：

image.png

主要讲下上面这张图：

• 整体：

1. 两个对称的Bert， 左边的Bert用于Query建模，右边的Bert用于Title keyword建模（或者Doc Context keyword建模）。
2. 两个Bert走完后，再各自经过一个Pooling Layer，池化层，听起来很高大上，其实很简单，主要是将序列中每个token的向量搞在一起，做成一个向量。 Query做成一个向量， keyword做成一个向量，以方便进行后面的Cross Layer的交互。 池化层有两个操作二选一，【用CLS】 或者 【所有tokens向量平均加权起来】，其中后者权重是学出来的。

• 输入 ： 均为Word Embeding + Position Embeding。 因为两边都是一句话，所以就没有了Segment Embeding了。
  值得提一下是，论文中是训练的英文的模型，所对输入进行了Word Hashing，具体说是使用了Tri-letter, 至于什么是Word Hashing ,见本人的另外一文章Word Hashing。

*Transformer Encoder
这里不多说，其中L用的是6层。

• 池化层
  见整体部分，已说明。

*Cross Layer
Query做成一个向量q, keyword做成一个向量k，二者进行距离计算，有两种方式，一种是余弦相似度，如下图：

image.png

另一种是Residual network， 这里不多讲，有兴趣，自身翻阅。

如何训练？

蒸馏方法训练。

• teacher model
  所以要搞一个teacher model，文章用的12层的 query和title关键词的训练的。二分类，分为相关和不相关。最后输出一个概率。

• student model
  有了teacher model， 现在就开始teach学生把，将上面讲的Cross layer做的输出通过LR压缩到区间（0,1）， 因为余弦的值域是[-1，1].

然后做一个做交叉熵 cross entropy。如下面公式：

image.png

优点

节省性能，Query在线用Bert预测， Doc提前离线算好刷到索引。在线只需要做一次Query Bert预测，以及与Doc的向量计算。