这篇文章提出了一个语言模型ERNIE。（我怎么记得百度也有一个这个名字的，这篇是清华的）
BERT等PreLM很少考虑和合并KG，KG中的信息实体可以通过外部知识增强语言表示。
大规模文本语料库和KG来训练增强语言模型ERNIE（充分利用词汇&语法&知识信息）
introduction里面前两段说了现有的预训练语言模型好，但没考虑知识，而考虑知识很关键。所以就提出了ERNIE。
其中，为了将外部知识整合到语言表示模型中，有两个主要挑战。 (1) Structured Knowledge Encoding：对于给定的文本，如何在KGs中有效地提取和编码其相关的信息事实，用于语言表示模型是一个重要的问题； (2)异构信息融合：语言表示的预训练过程与知识表示过程有很大不同，导致两个独立的向量空间。如何设计一个特殊的预训练目标来融合词法、句法和知识信息是另一个挑战。
然后就说了步骤：
1、首先识别提及的命名实体；
2、识别的实体与KG中的实体对齐；
3、
网友评论