阅读笔记：知识表示学习研究进展——知识表示学习的主要方法

论文作者

论文链接：http://nlp.csai.tsinghua.edu.cn/~xrb/publications/JCRD-16_knowledge.pdf

本文将介绍几种知识表示学习的代表方法。首先定义几种表示符号，将知识库表示为G=(E,R,S)，其中E={e₁,e₂,…,e_|E|}是知识库中的实体集合，其中包含|E|种不同实体；R={r₁,r₂,…,r_|E|}是知识库中的关系集合，其中包含|R|种不同关系；而S⊆ERE则代表知识库中的三元组集合，我们一般表示为(h,r,t)，其中h和t表示头实体和尾实体，而r表示h和t之间的关系。例如元组（史蒂夫·乔布斯,创始人,苹果公司）就代表实体“史蒂夫·乔布斯”和“苹果公司”之间存在“创始人”的关系。

接下来我们介绍知识表示学习的几个代表模型，包括距离模型、单层神经网络模型、能量模型、双线性模型、张量神经网络模型、矩阵分解模型和翻译模型等。

2.1 距离模型

结构表示(structured embedding，SE)是较早的几个表示方法之一，在SE中每个实体用d维的向量表示，所有试题被投影到同一个d维向量空间中。同时，SE还为每个关系r定义了2个矩阵M_r,1，M_r,2∈R^dxd，用于三元组中头实体和尾实体的投影操作。最后，SE为每个三元组(h,r,t)定义了如下损失函数：

损失函数
SE将头实体向量l_h和尾实体向量l_t通过关系r的2个矩阵投影到r的对应空间中，然后在该空间中计算两投影向量的距离。这个距离反应了2个实体在关系r下语义相关度，它们距离越小，说明2个实体存在这种关系。找到让两实体距离最近的关系矩阵就得到它们之间的关系。
然而，SE模型有一个重要缺陷：它对头、尾实体使用2个不同的矩阵进行投影，协同性较差，往往无法精确刻画两实体与关系之间的语义联系。

2.2单层神经网络模型（single layer model，SLM）

SLM尝试采用单层神经网络的非线性操作，来减轻SE无法协同精确刻画实体与语义联系的问题。SLM为每个三元组定义的评分函数如下： SLM评分函数

其中M为投影矩阵，u为关系r的表示向量，g()是tanh函数。
SLM仅提供了实体和关系之间比较微弱的联系，但却引入了更高的计算复杂度。

2.3能量模型（SME）

SME提出更复杂的操作，寻找实体和关系之间的语义联系。SME定义若干投影矩阵刻画实体与关系的内在联系。SME提供线性形式和双线性形式2种评分函数： 线性形式 双线性形式

2.4双线性模型

隐变量模型（LFM）提出利用基于关系的双线性变换，刻画实体和关系之间的二阶联系。LFM的双线性评分模型：

LFM双线性评分模型
LFM取得了巨大突破：通过简单有效的方法刻画实体和关系的语义联系，协同性较好，计算复杂度低。后来DISTMULT模型还提出了LFM的简化形式：将M_r设置为对角矩阵，模型效果反而得到显著提升。

2.5张量神经网络模型（neural tensor network，NTN）

NTM的基本思想是用双线性张量取代传统神经网络中的线性变换层，在不同纬度下将头、尾实体向量联系起来。基本思想如图所示：
NTN定义了如下评分模型评价两个实体之间存在关系r的可能性： NTN评分模型
NTN引入了张量操作，虽然能够精确刻画实体和关系的复杂语义联系，但是计算复杂度非常高，需要大量三元组样例才能得到充分学习。实验表面，NTN在大规模稀疏只是图谱上的效果较差。

2.6矩阵分解模型

矩阵分解是得到低维向量表示的重要途径。采用矩阵分解进行知识表示学习的代表方法是RESACL模型。
在该模型中知识库三元组构成一个大的张量X，如果三元组（h,r,t）存在，则X_hrt尽量地接近于l_hM_rl_t。
RESACL的基本思想与LFM类似。但是RESACL会优化张量中的所有位置，包括值为0的位置，而LFM只优化知识库中存在的三元组。

2.7翻译模型

在word2vec词表示模型提出时Mikolov等人发现词向量空间存在平移不变的现象。例如：C(king)-C(queen)≈C(man)-C(woman)
这里C代表词向量。也就是说king与queen直接的隐含语义关系同man与woman间的隐含语义关系相似。
受到这种现象启发Bordes等人提出了TransE模型，将知识库中的关系看作实体间的某种平移向量。对于每个三元组(h,r,t)，TransE希望l_h+l_r≈l_t
TransE模型定义了如下损失函数：

TransE损失函数
TransE模型
与以往模型相比TransE模型参数较少，计算复杂度低，能够直接建立实体和关系之间的复杂语义联系，性能较以往模型有显著提升。特别是在大规模稀疏知识图谱上性能尤为惊人。

2.8其它模型

在TransE提出后大部分知识表示学习模型是以TransE为基础的扩展。这里主要介绍全息表示模型（Hole）。
Hole提出使用头、尾实体向量的“循环相关”操作来表示该实体对。循环相关可以看作张量乘法的特殊形式，具有强表达能力，主要有以下3个优点：
1）不可交换性
2）相关性
3）计算效率高

Hole定义了如下评分函数： Hole评分函数

本篇介绍了几种知识表示的主要方法，其中TransE模型及其扩展为目前知识表示模型的主要研究方向，后面也将以TransE为例介绍知识表示学习的主要挑战与解决方案。