BERT 项目

image.png

1. SQuAD 简介

• SQuAD 是由 Rajpurkar 等人[1]提出的一个最新的阅读理解数据集。该数据集包含 10 万个（问题，原文，答案）三元组，原文来自于 536 篇维基百科文章，而问题和答案的构建主要是通过众包的方式，让标注人员提出最多 5 个基于文章内容的问题并提供正确答案，且答案出现在原文中。SQuAD 和之前的完形填空类阅读理解数据集如 CNN/DM[2]，CBT[3]等最大的区别在于：SQuAD 中的答案不在是单个实体或单词，而可能是一段短语，这使得其答案更难预测。SQuAD 包含公开的训练集和开发集，以及一个隐藏的测试集，其采用了与 ImageNet 类似的封闭评测的方式，研究人员需提交算法到一个开放平台，并由 SQuAD 官方人员进行测试并公布结果。

  
  image.png

• 自从 SQuAD 数据集公布以来，大量具有代表性的模型纷纷涌现，极大地促进了机器阅读理解领域的发展，下面就 SQuAD 榜单上代表性的模型进行介绍。总的来说，由于 SQuAD 的答案限定于来自原文，模型只需要判断原文中哪些词是答案即可，因此是一种抽取式的 QA 任务而不是生成式任务。几乎所有做 SQuAD 的模型都可以概括为同一种框架：Embed 层，Encode 层，Interaction 层和 Answer 层。

  1. Embed 层负责将原文和问题中的 tokens 映射为向量表示；
  2. Encode 层主要使用 RNN 来对原文和问题进行编码，这样编码后每个 token 的向量表示就蕴含了上下文的语义信息；
  3. Interaction 层是大多数研究工作聚焦的重点，该层主要负责捕捉问题和原文之间的交互关系，并输出编码了问题语义信息的原文表示，即 query-aware 的原文表示；
  4. 最后 Answer 层则基于 query-aware 的原文表示来预测答案范围。

image.png

• 参考文献
  https://zhuanlan.zhihu.com/p/27015318

2. 详解Transformer （Attention Is All You Need）

1. https://zhuanlan.zhihu.com/p/48508221

3. BERT 文章详解

1. NLP突破性成果 BERT 模型详细解读
2. 【NLP】Google BERT详解
3. 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史（神作）
4. The Illustrated Transformer
5. The Annotated Transformer.