翻译模型
TransE
Motivation:受到词向量C(king)-C(queen) =C(man)-C(woman)的启发,将知识库中的关系看成是实体间的某种平移向量,对于每一个三元组(h,r,t),TransE 用关系r的向量lr作为头实体和尾实体向量lt之间的平移,我们也可以将lr看成从lh到lt的翻译,因此TransE也被称作翻译模型。
模型:
优点:需要的参数少,计算复杂度低,能直接建立实体和关系之间的复杂语义联系,TransE在大规模稀疏知识图谱中的表现惊人。
缺点:不能处理复杂关系,比如一对多,多对多,导致TransE学习得到的实体表示区分性较低。
TransH
Motivation:解决TransE模型复杂关系时的局限性,提升了让一个实体在不同的关系下拥有不同的表示。
模型:
缺点:关系r可能存在无数个超平面,TransH简单的令lr和wr近似的正交来选取一个超平面。
TransR/CTransR
Motivation:虽然TransH模型使得每个实体在不同关系下拥有了不同的表示,但是它仍假设实体和关系处于相同的语义空间中,这一定程度上限制了TransH的表达能力,TransR模型认为,一个实体是多种属性的综合体,不同关系关注实体的不同的属性,对每个三元组,应该先将实体投影到相应的关系空间中,然后再建立从头实体到尾实体的翻译关系。
模型:
改进:研究人员发现某些关系可以更加细致的划分,如果能对关系做更加细致的划分就可以更精确的建立投影关系。CTransR的方法是通过把关系r对应的实体对的向量差值lh-lt进行聚类,将关系r细分为多个关系rc,TransR模型为每个子关系rc分别学习向量表示。损失函数:
有点像EM算法啊:如何收敛呢?
TransD
Motivation:同一个关系r下,头尾实体共享相同的投影矩阵,然而,一个关系头,尾实体的类型和属性可能差异巨大,比如三元组(美国,总统,奥巴马),奥巴马和美国的类型完全不同,一个是国家一个是人物。所以从实体空间到关系空间的投影是实体和关系之间的交互过程,因此TransR让投影矩阵仅与关系有关是不合理的。而且TransR模型引入空间投影,模型参数急剧增加,计算复杂度大大提高。
模型:利用两个投影向量构建矩阵,解决了原来TransR模型参数过多的问题。
该向量的投影向量是?,为什么用两个投影向量就可以构建投影矩阵
感觉这个想法很好,确实应该头向量和尾向量应该用不同的关系投影矩阵进行投影!
TransSparse模型
Motivation:知识库中实体和关系的异质性即知识库中某些关系可能和大量的实体有连接,而某些关系则可能仅仅和少量的实体有连接,不平衡性即某些关系中,头实体和尾实体的种类和数量可能差别巨大,例如,国籍这个关系的头实体是成千上万个不同的人物,而尾实体仅仅是几百个国家。
模型:为解决异质性用稀疏矩阵代替TransR中的稠密矩阵,稀疏度有关系r连接的实体对数量决定。
为了解决关系的不平衡性:
感觉问题提的很好,方法不怎么好,为什们要用稀疏矩阵呢?
TransA
Motivation:TransE及之后的扩展模型均存在两个重要的问题1)损失函数只采用L1和L2距离,灵活度不够,2)损失函数过于简单,实体和关系向量的每一维等同考虑。
模型:将损失函数改为马氏距离,喵喵喵这也可以??
Why?这个bad case就搞不懂了!
TransG
Motivation:使用高斯混合模型描述头尾实体之间的关系,该模型认为,一个关系会应对多种语义,每种语义用一个高斯分布来刻画。
模型:
看点:如何使用高斯分布描述关系?
KG2E
Motivation:知识库中的关系和实体的语义本身具有不确定性,这在过去模型中被忽略了,应该使用高斯分布来表示实体和关系,高斯分布的均值表示的是实体或者关系在语义空间中的中心位置,高斯分布的协方差表示实体或者关系的不确定性。
开了一个好头,应该用向量概念的中心位置,还有一个数据表示不确定性,或者范围。
idea:是否应该是对关系是有两个向量表示,一个表示关系的中心位置,一个表示关系的范围???,或者最简单的用一个m代表关系的范围,而实体是一个点??
TransC
Motivation:解决ISA的传递性问题,将entity区分为概念和实例,概念是一个以向量为圆心,m为半径的圆。