[KE]中的方法

翻译模型

TransE

Motivation:受到词向量C(king)-C(queen) =C(man)-C(woman)的启发,将知识库中的关系看成是实体间的某种平移向量,对于每一个三元组(h,r,t),TransE 用关系r的向量lr作为头实体和尾实体向量lt之间的平移,我们也可以将lr看成从lh到lt的翻译,因此TransE也被称作翻译模型。
模型

模型

在实际使用中为了增强三元组的区分能力采用hinge Loss

优点:需要的参数少,计算复杂度低,能直接建立实体和关系之间的复杂语义联系,TransE在大规模稀疏知识图谱中的表现惊人。
缺点:不能处理复杂关系,比如一对多,多对多,导致TransE学习得到的实体表示区分性较低。
学习到的奥巴马的表示和布什的表示相似

TransH

Motivation:解决TransE模型复杂关系时的局限性,提升了让一个实体在不同的关系下拥有不同的表示。
模型

image.png

主要学习法线Wr

缺点:关系r可能存在无数个超平面,TransH简单的令lr和wr近似的正交来选取一个超平面。

TransR/CTransR

Motivation:虽然TransH模型使得每个实体在不同关系下拥有了不同的表示,但是它仍假设实体和关系处于相同的语义空间中,这一定程度上限制了TransH的表达能力,TransR模型认为,一个实体是多种属性的综合体,不同关系关注实体的不同的属性,对每个三元组,应该先将实体投影到相应的关系空间中,然后再建立从头实体到尾实体的翻译关系。
模型

模型

损失函数

改进:研究人员发现某些关系可以更加细致的划分,如果能对关系做更加细致的划分就可以更精确的建立投影关系。CTransR的方法是通过把关系r对应的实体对的向量差值lh-lt进行聚类,将关系r细分为多个关系rc,TransR模型为每个子关系rc分别学习向量表示。损失函数:
损失函数

有点像EM算法啊:如何收敛呢?

TransD

Motivation:同一个关系r下,头尾实体共享相同的投影矩阵,然而,一个关系头,尾实体的类型和属性可能差异巨大,比如三元组(美国,总统,奥巴马),奥巴马和美国的类型完全不同,一个是国家一个是人物。所以从实体空间到关系空间的投影是实体和关系之间的交互过程,因此TransR让投影矩阵仅与关系有关是不合理的。而且TransR模型引入空间投影,模型参数急剧增加,计算复杂度大大提高。
模型:利用两个投影向量构建矩阵,解决了原来TransR模型参数过多的问题。

损失函数

该向量的投影向量是?,为什么用两个投影向量就可以构建投影矩阵
感觉这个想法很好,确实应该头向量和尾向量应该用不同的关系投影矩阵进行投影!

TransSparse模型

Motivation:知识库中实体和关系的异质性即知识库中某些关系可能和大量的实体有连接,而某些关系则可能仅仅和少量的实体有连接,不平衡性即某些关系中,头实体和尾实体的种类和数量可能差别巨大,例如,国籍这个关系的头实体是成千上万个不同的人物,而尾实体仅仅是几百个国家。
模型:为解决异质性用稀疏矩阵代替TransR中的稠密矩阵,稀疏度有关系r连接的实体对数量决定。

解决稀疏性

为了解决关系的不平衡性:
解决不平衡性

感觉问题提的很好,方法不怎么好,为什们要用稀疏矩阵呢?

TransA

Motivation:TransE及之后的扩展模型均存在两个重要的问题1)损失函数只采用L1和L2距离,灵活度不够,2)损失函数过于简单,实体和关系向量的每一维等同考虑。
模型:将损失函数改为马氏距离,喵喵喵这也可以??

这也可以?

这个Bad Case就搞不懂了?

Why?这个bad case就搞不懂了!

TransG

Motivation:使用高斯混合模型描述头尾实体之间的关系,该模型认为,一个关系会应对多种语义,每种语义用一个高斯分布来刻画。
模型

模型

看点:如何使用高斯分布描述关系?

KG2E

Motivation:知识库中的关系和实体的语义本身具有不确定性,这在过去模型中被忽略了,应该使用高斯分布来表示实体和关系,高斯分布的均值表示的是实体或者关系在语义空间中的中心位置,高斯分布的协方差表示实体或者关系的不确定性。

确实应该使用学出来的向量表示中心位置,但是是不是高斯分布就不一定了

开了一个好头,应该用向量概念的中心位置,还有一个数据表示不确定性,或者范围。
idea:是否应该是对关系是有两个向量表示,一个表示关系的中心位置,一个表示关系的范围???,或者最简单的用一个m代表关系的范围,而实体是一个点??

TransC

Motivation:解决ISA的传递性问题,将entity区分为概念和实例,概念是一个以向量为圆心,m为半径的圆。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容