阅读笔记:知识表示学习研究进展——知识表示学习的主要方法

论文作者

论文链接:http://nlp.csai.tsinghua.edu.cn/~xrb/publications/JCRD-16_knowledge.pdf

本文将介绍几种知识表示学习的代表方法。首先定义几种表示符号,将知识库表示为G=(E,R,S),其中E={e1,e2,…,e|E|}是知识库中的实体集合,其中包含|E|种不同实体;R={r1,r2,…,r|E|}是知识库中的关系集合,其中包含|R|种不同关系;而S⊆ERE则代表知识库中的三元组集合,我们一般表示为(h,r,t),其中h和t表示头实体和尾实体,而r表示h和t之间的关系。例如元组(史蒂夫·乔布斯,创始人,苹果公司)就代表实体“史蒂夫·乔布斯”和“苹果公司”之间存在“创始人”的关系。

接下来我们介绍知识表示学习的几个代表模型,包括距离模型、单层神经网络模型、能量模型、双线性模型、张量神经网络模型、矩阵分解模型和翻译模型等。

2.1 距离模型

结构表示(structured embedding,SE)是较早的几个表示方法之一,在SE中每个实体用d维的向量表示,所有试题被投影到同一个d维向量空间中。同时,SE还为每个关系r定义了2个矩阵Mr,1,Mr,2∈Rdxd,用于三元组中头实体和尾实体的投影操作。最后,SE为每个三元组(h,r,t)定义了如下损失函数:

损失函数

SE将头实体向量lh和尾实体向量lt通过关系r的2个矩阵投影到r的对应空间中,然后在该空间中计算两投影向量的距离。这个距离反应了2个实体在关系r下语义相关度,它们距离越小,说明2个实体存在这种关系。找到让两实体距离最近的关系矩阵就得到它们之间的关系。
然而,SE模型有一个重要缺陷:它对头、尾实体使用2个不同的矩阵进行投影,协同性较差,往往无法精确刻画两实体与关系之间的语义联系。

2.2单层神经网络模型(single layer model,SLM)

SLM尝试采用单层神经网络的非线性操作,来减轻SE无法协同精确刻画实体与语义联系的问题。SLM为每个三元组定义的评分函数如下:
SLM评分函数

其中M为投影矩阵,u为关系r的表示向量,g()是tanh函数。
SLM仅提供了实体和关系之间比较微弱的联系,但却引入了更高的计算复杂度。

2.3能量模型(SME)

SME提出更复杂的操作,寻找实体和关系之间的语义联系。SME定义若干投影矩阵刻画实体与关系的内在联系。SME提供线性形式和双线性形式2种评分函数:
线性形式
双线性形式
2.4双线性模型

隐变量模型(LFM)提出利用基于关系的双线性变换,刻画实体和关系之间的二阶联系。LFM的双线性评分模型:

LFM双线性评分模型

LFM取得了巨大突破:通过简单有效的方法刻画实体和关系的语义联系,协同性较好,计算复杂度低。后来DISTMULT模型还提出了LFM的简化形式:将Mr设置为对角矩阵,模型效果反而得到显著提升。

2.5张量神经网络模型(neural tensor network,NTN)

NTM的基本思想是用双线性张量取代传统神经网络中的线性变换层,在不同纬度下将头、尾实体向量联系起来。基本思想如图所示:

NTN定义了如下评分模型评价两个实体之间存在关系r的可能性:
NTN评分模型

NTN引入了张量操作,虽然能够精确刻画实体和关系的复杂语义联系,但是计算复杂度非常高,需要大量三元组样例才能得到充分学习。实验表面,NTN在大规模稀疏只是图谱上的效果较差。
2.6矩阵分解模型

矩阵分解是得到低维向量表示的重要途径。采用矩阵分解进行知识表示学习的代表方法是RESACL模型。
在该模型中知识库三元组构成一个大的张量X,如果三元组(h,r,t)存在,则Xhrt尽量地接近于lhMrlt
RESACL的基本思想与LFM类似。但是RESACL会优化张量中的所有位置,包括值为0的位置,而LFM只优化知识库中存在的三元组。

2.7翻译模型

在word2vec词表示模型提出时Mikolov等人发现词向量空间存在平移不变的现象。例如:C(king)-C(queen)≈C(man)-C(woman)
这里C代表词向量。也就是说king与queen直接的隐含语义关系同man与woman间的隐含语义关系相似。
受到这种现象启发Bordes等人提出了TransE模型,将知识库中的关系看作实体间的某种平移向量。对于每个三元组(h,r,t),TransE希望lh+lr≈lt
TransE模型定义了如下损失函数:

TransE损失函数

TransE模型

与以往模型相比TransE模型参数较少,计算复杂度低,能够直接建立实体和关系之间的复杂语义联系,性能较以往模型有显著提升。特别是在大规模稀疏知识图谱上性能尤为惊人。

2.8其它模型

在TransE提出后大部分知识表示学习模型是以TransE为基础的扩展。这里主要介绍全息表示模型(Hole)。
Hole提出使用头、尾实体向量的“循环相关”操作来表示该实体对。循环相关可以看作张量乘法的特殊形式,具有强表达能力,主要有以下3个优点:
1)不可交换性
2)相关性
3)计算效率高

Hole定义了如下评分函数:
Hole评分函数

本篇介绍了几种知识表示的主要方法,其中TransE模型及其扩展为目前知识表示模型的主要研究方向,后面也将以TransE为例介绍知识表示学习的主要挑战与解决方案。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容

  • 数学是计算机技术的基础,线性代数是机器学习和深度学习的基础,了解数据知识最好的方法我觉得是理解概念,数学不只是上学...
    闯王来了要纳粮阅读 22,661评论 2 48
  • 星期天的下午两点钟,我自己一个人在家里看电视, 忽然听到敲门声。 于是,我蹑手蹑脚的走进门,听到了动静。 我使劲的...
    王子月66阅读 154评论 0 1
  • 可能原因:黑色素沉积 1. 饮食: /需优质蛋白质,脂肪酸-- 清洁饮食--粗粮,坚果,种子和橄榄油等; 高纤维食...
    水仙与恶魔Slog阅读 305评论 0 0
  • 一月,我翘首盼望着二月假期的来临,眨眼间时光停在了二月的尾巴上,二月仿若被岁月过滤,压缩了一般,变得异常短暂。 欢...
    安静的鹿阅读 261评论 4 4
  • 说好的,期末考完来说说心里一直挂念的那个人。 认识他应该是在初中,他不是那种一眼看上去就很帅的男生,是给人清清爽...
    清劭qs阅读 223评论 0 0