阅读笔记:知识表示学习研究进展——知识表示学习简介

论文链接:http://nlp.csai.tsinghua.edu.cn/~xrb/publications/JCRD-16_knowledge.pdf

过去人类花费大量精力将人类知识组织成结构化的知识系统构建知识库。知识库在智能搜索、智能问答、个性化推荐等任务中起到重要作用。

知识库描述现实世界中实体之间的关系,通常以网络的形式组织起来。网络中的节点代表实体(人名、地名、概念等),而每条连边代表实体间的关系。大部分知识可以用三元组(实体1,关系,实体2)来表示,对应着知识库网络中的一条连边及其连接的2个实体。这是知识库的通用表示方式,然而,基于网络形式的知识表示面临着诸多挑战性难题,主要包括下面2个方面:

1)计算效率问题。基于网络表示的知识库在计算机中是以图的形式存储的,当需要计算实体间的语义或推理关系时需要采用图算法来实现,然而图算法计算复杂度高、可扩展性差,当知识库达到一定规模时难以满足实时计算的需求。

2)数据稀疏问题。对于长尾部分的罕见实体,只有极少的知识或路径设计它们,对这些实体的语义或推理关系准确率极低。

近年来以深度学习为代表的表示学习技术异军突起,在众多领域获得广泛关注。知识表示学习可以在低维空间中高效计算实体和关系的语义联系,有效解决数据稀疏问题。

此论文介绍知识表示最新进展,总结该技术面临的主要挑战和可能的解决方案,并展望该技术未来发展方向与前景。

1   知识表示学习简介

1.1   表示学习的基本概念

表示学习的目标是,通过机器学习将研究对象的语义信息表示为稠密低维实值向量,在该向量空间中2个对象距离越近则说明语义相似度越高。本文用黑斜体表示研究对象所对应的向量。

在表示学习之外还有更简单的独热表示方案,该方案也将研究对象表示为向量,但该向量只有某一维度非零其它维度上均为0.独热表示的维度高,忽略对象的相似度,容易受到数据稀疏的影响。

与独热表示相比,表示学习的向量维度较低,有助于提高计算效率,同时能够充分利用对象间的语义信息,从而有效缓解数据稀疏的问题。

1.2   表示学习的理论基础

表示学习得到的低维向量表示是一种分布式表示。孤立地看向量的每一维都没有明确的含义,而综合看各维度行程的一个向量,则能够表示对象的语义信息。这种表示方式是受人脑的工作机制启发而来的。向量的每一维度对应人脑中的一个神经元,而向量中的值对应神经元的激活或抑制状态。

1.3   知识表示学习的典型应用

通过将实体或关系投影到低维向量空间,我们能够实现对实体关系的语义信息的表示,可以高效地计算实体、关系及其之间的复杂语义关联。

分布式表示有以下典型应用:

1)相似度计算。

2)知识图谱补全。

3)其它应用,如关系抽取、自动问答、实体链指等任务。

1.4   知识表示学习的主要优点

1)显著提升计算效率。

2)有效缓解数据稀疏。

3)实现异质信息融合,将来源不同的信息融合为整体。

综上,知识表示对于知识库的构建、推理和应用具有重要意义,值得受到关注、深入研究。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容