论文链接:http://nlp.csai.tsinghua.edu.cn/~xrb/publications/JCRD-16_knowledge.pdf
本文将介绍几种知识表示学习的代表方法。首先定义几种表示符号,将知识库表示为G=(E,R,S),其中E={e1,e2,…,e|E|}是知识库中的实体集合,其中包含|E|种不同实体;R={r1,r2,…,r|E|}是知识库中的关系集合,其中包含|R|种不同关系;而S⊆ERE则代表知识库中的三元组集合,我们一般表示为(h,r,t),其中h和t表示头实体和尾实体,而r表示h和t之间的关系。例如元组(史蒂夫·乔布斯,创始人,苹果公司)就代表实体“史蒂夫·乔布斯”和“苹果公司”之间存在“创始人”的关系。
接下来我们介绍知识表示学习的几个代表模型,包括距离模型、单层神经网络模型、能量模型、双线性模型、张量神经网络模型、矩阵分解模型和翻译模型等。
2.1 距离模型
结构表示(structured embedding,SE)是较早的几个表示方法之一,在SE中每个实体用d维的向量表示,所有试题被投影到同一个d维向量空间中。同时,SE还为每个关系r定义了2个矩阵Mr,1,Mr,2∈Rdxd,用于三元组中头实体和尾实体的投影操作。最后,SE为每个三元组(h,r,t)定义了如下损失函数:
SE将头实体向量lh和尾实体向量lt通过关系r的2个矩阵投影到r的对应空间中,然后在该空间中计算两投影向量的距离。这个距离反应了2个实体在关系r下语义相关度,它们距离越小,说明2个实体存在这种关系。找到让两实体距离最近的关系矩阵就得到它们之间的关系。
然而,SE模型有一个重要缺陷:它对头、尾实体使用2个不同的矩阵进行投影,协同性较差,往往无法精确刻画两实体与关系之间的语义联系。
2.2单层神经网络模型(single layer model,SLM)
SLM尝试采用单层神经网络的非线性操作,来减轻SE无法协同精确刻画实体与语义联系的问题。SLM为每个三元组定义的评分函数如下:其中M为投影矩阵,u为关系r的表示向量,g()是tanh函数。
SLM仅提供了实体和关系之间比较微弱的联系,但却引入了更高的计算复杂度。
2.3能量模型(SME)
SME提出更复杂的操作,寻找实体和关系之间的语义联系。SME定义若干投影矩阵刻画实体与关系的内在联系。SME提供线性形式和双线性形式2种评分函数:2.4双线性模型
隐变量模型(LFM)提出利用基于关系的双线性变换,刻画实体和关系之间的二阶联系。LFM的双线性评分模型:
LFM取得了巨大突破:通过简单有效的方法刻画实体和关系的语义联系,协同性较好,计算复杂度低。后来DISTMULT模型还提出了LFM的简化形式:将Mr设置为对角矩阵,模型效果反而得到显著提升。
2.5张量神经网络模型(neural tensor network,NTN)
NTM的基本思想是用双线性张量取代传统神经网络中的线性变换层,在不同纬度下将头、尾实体向量联系起来。基本思想如图所示:NTN定义了如下评分模型评价两个实体之间存在关系r的可能性:
NTN引入了张量操作,虽然能够精确刻画实体和关系的复杂语义联系,但是计算复杂度非常高,需要大量三元组样例才能得到充分学习。实验表面,NTN在大规模稀疏只是图谱上的效果较差。
2.6矩阵分解模型
矩阵分解是得到低维向量表示的重要途径。采用矩阵分解进行知识表示学习的代表方法是RESACL模型。
在该模型中知识库三元组构成一个大的张量X,如果三元组(h,r,t)存在,则Xhrt尽量地接近于lhMrlt。
RESACL的基本思想与LFM类似。但是RESACL会优化张量中的所有位置,包括值为0的位置,而LFM只优化知识库中存在的三元组。
2.7翻译模型
在word2vec词表示模型提出时Mikolov等人发现词向量空间存在平移不变的现象。例如:C(king)-C(queen)≈C(man)-C(woman)
这里C代表词向量。也就是说king与queen直接的隐含语义关系同man与woman间的隐含语义关系相似。
受到这种现象启发Bordes等人提出了TransE模型,将知识库中的关系看作实体间的某种平移向量。对于每个三元组(h,r,t),TransE希望lh+lr≈lt
TransE模型定义了如下损失函数:
与以往模型相比TransE模型参数较少,计算复杂度低,能够直接建立实体和关系之间的复杂语义联系,性能较以往模型有显著提升。特别是在大规模稀疏知识图谱上性能尤为惊人。
2.8其它模型
在TransE提出后大部分知识表示学习模型是以TransE为基础的扩展。这里主要介绍全息表示模型(Hole)。
Hole提出使用头、尾实体向量的“循环相关”操作来表示该实体对。循环相关可以看作张量乘法的特殊形式,具有强表达能力,主要有以下3个优点:
1)不可交换性
2)相关性
3)计算效率高
本篇介绍了几种知识表示的主要方法,其中TransE模型及其扩展为目前知识表示模型的主要研究方向,后面也将以TransE为例介绍知识表示学习的主要挑战与解决方案。