中文信息学报关于相似度计算的文献检索

本文检索了从2010年到2016年《中文信息学报》关于相似度计算的文献,主要是词语相似度,也包括句子相似度。下面对这些文献进行一些简单的介绍。

基于贝叶斯估计的概念语义相似度算法[1]

本文假设概念出现的概率服从Beta分布,然后基于语义距离的算法构造先验参数,并利用贝叶斯估计计算该先验分布和统计样本下的后验概率,最后根据基于信息量的相似度计算公式,获得主观经验与客观事实相结合的概念语义相似度。由于对Beta分布没有深刻透彻的理解,无法对该算法做出准确的评价,等学习一下Beta分布再回过头看看。不过从其实验结果来看,在Miller&Charles数据集上(30对名词),也只比Lin[2],1998的算法高了一点点,Lin的算法计算结果与人工标注的相关系数为0.8080,本文算法为0.8134。而且这个数据集虽然经典,但是太小了,因此该算法的效果还有待进一步验证。

一种基于语境的词语相似度计算方法[3]

在基于知网的计算方法中,某些语义很相近的词,如“尊重”“崇拜”“敬仰”“佩服”“尊敬”等,计算出来的相似度都为1。针对这一问题,本文引入模糊数学中隶属函数的概念,计算词语上下文信息的模糊重要度,再结合基于知网的语义相似度计算方法,很好的解决了这一问题。不过,该算法需要词语的上下文信息,只适用于特定的场景,无法用于通常意义的词语相似度计算,但其思想值得学习。

基于语义树的中文词语相似度计算与分析[4]

本文是基于新版的《知网》2007的相似度计算方法,之前都是基于《知网》2000,新版知网在结构上有一些变化,因此计算方法有一些改变。并且,本文从实际功用出发,将相似度进一步区分为语义特征相似度和句法特征相似度,相似度的范围修改为[-1,1]。用正负区分语义特征相似度,负值表示反义。用绝对值区分句法特征相似度,绝对值越大,则在句子中的可替代程度越高。不过,本文的实验不够充分,也没有给出数据来源,对实验结果的评价仅仅是“与人的直观判断基本一致”,没有使用相关系数等评测指标。因此,该方法有待进一步验证。

基于《知网》的词语相似度算法研究[5]

本文主要是在李峰,2000[6]算法的基础上,改进了其中义原集合之间相似度的计算方法,使其更具合理性。然而实验结果不够充分,因此其效果有待验证。

基于《知网》的汉语未登录词语义相似度计算[7]

本文基于《知网》2005版,并结合意合网络,概念图等,提出了汉语未登录词的语义相似度计算方法。该方法对低频词的相似度计算也会有一定帮助,有待进一步研究。

一种基于LDA的社区问答问句相似度计算方法[8]

本文从问句的统计信息(基于VSM模型)、语义信息(基于WordNet)和主题信息(基于LDA模型)三个方面来计算问句间的相似度。最后线性综合三个方面的相似度来得到整体相似度。在句子相似度计算的研究中,可以参考本文的方法。

基于大规模语料库的汉语词义相似度计算方法[9]

本文采用基于分布的相似度计算方法,选取目标词所在的上下文,或词语、词性、相对位置,或包含目标词的局内依存关系作为特征,并使用PMI作为权值,将目标词表示成这些特征与权值的向量,然后采用余弦相似度计算相似度。然而,其评测方法存在很大问题。本文是将其计算结果与同义词词林的计算结果进行比较,换句话说,他们将基于同义词词林计算的单词相似度作为标准,这显然是不合理的。

一种基于搭配的中文词汇语义相似度计算方法[10]

本文基于相似词汇的相似搭配假设,即语义相似的词汇在二词名词短语中有相似的搭配词,将该搭配词作为上下文,构成特征向量,而不是用词汇在大规模语料中的邻接词。然后用tf-idf作为特征词的权值,最后用余弦相似性计算相似度。本文采用自己构建的数据集,与基于词典(0.86)以及基于大规模语料库(0.80)的方法相比,本文的方法(0.70)相关系数均较低,优点是算法复杂度低,词汇覆盖率高。从相关系数的角度来看,本文方法一般。

基于中文维基百科的词语语义相关度计算[11]

本文基于中文维基百科语料,将词表示为带权重的概念向量,进而将词之间的相关度计算转化为相应的概念向量的比较。以TFIDF作为向量的分量,并对比了一系列改进方法。本文实验基于WordSimilarity-353数据集,并将其人工翻译成中文,然后人工标注相似度,以Spearman相关系数作为评测指标。最好的结果相关系数为0.515。不过,本文的方法没有和其他方法做对比,因此不知道是否会优于其他方法。因此本文的方法还有待进一步验证。

基于HNC理论的词语相似度计算[12]

所谓HNC,即Hierarchical Network of Concepts,概念层次网络。本文利用HNC理论词语层面联想的概念表述体系,根据HNC映射符号的编码规则和符号映射理论,综合概念内涵、概念外部特征、概念类别和组合符号来计算词语相似度,并与基于知网的词语相似度算法和人工标注进行了比较分析。没看懂。。。

基于知网与词林的词语语义相似度计算[13]

本文对基于知网和基于词林的相似度计算方法做了改进。对于基于知网的方法,根据义原层次结构的特征,采用顶部平缓而底部陡峭的曲线单调递减的边权重策略,改进了现有的义原相似度计算方法。对于基于词林的方法,采用以词语距离为主要因素,分支节点数和分支间隔为调节参数的方法。然后将两种改进方法线性组合。结果在Miller&Charles数据集上实验,得到的皮尔森系数有很大提高。考虑到该数据集较小,可以将该方法在更大的数据集上进一步验证。

Reference

[1] 吴奎, 周献中, 王建宇,等. 基于贝叶斯估计的概念语义相似度算法[J]. 中文信息学报, 2010, 24(2):52-57.

[2] Lin D K. An information-theoretic definition of similarity.In: Proceedings of the 15th International Conference onMachine Learning. San Francisco, CA, USA: Morgan Kaufmann Publishers Inc., 1998. 296304

[3] 蔡东风, 白宇, 于水,等. 一种基于语境的词语相似度计算方法[J]. 中文信息学报, 2010, 24(3):24-28.

[4] 张亮, 尹存燕, 陈家骏. 基于语义树的中文词语相似度计算与分析[J]. 中文信息学报, 2010, 24(6):23-30.

[5] 刘青磊, 顾小丰. 基于《知网》的词语相似度算法研究[J]. 中文信息学报, 2010, 24(6):31-36.

[6] 李峰, 李芳. 中文词语语义相似度计算--基于《知网》2000[J]. 中文信息学报, 2007, 21(3):99-105.

[7] 张瑞霞, 杨国增, 吴慧欣. 基于《知网》的汉语未登录词语义相似度计算[J]. 中文信息学报, 2012, 26(1):16-21.

[8] 熊大平, 王健, 林鸿飞. 一种基于LDA的社区问答问句相似度计算方法[J]. 中文信息学报, 2012, 26(5):40-45.

[9] 石静, 吴云芳, 邱立坤,等. 基于大规模语料库的汉语词义相似度计算方法[J]. 中文信息学报, 2013, 27(1):1-6.

[10] 王石, 曹存根, 裴亚军,等. 一种基于搭配的中文词汇语义相似度计算方法[J]. 中文信息学报, 2013, 27(1):7-14.

[11] 万富强, 吴云芳. 基于中文维基百科的词语语义相关度计算[J]. 中文信息学报, 2013, 27(6):31-37.

[12] 吴佐衍, 王宇. 基于HNC理论的词语相似度计算[J]. 中文信息学报, 2014, 28(2):37-43.

[13] 朱新华, 马润聪, 孙柳,等. 基于知网与词林的词语语义相似度计算[J]. 中文信息学报, 2016, 30(4):29-36.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,362评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,330评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,247评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,560评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,580评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,569评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,929评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,587评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,840评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,366评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,945评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2 342

推荐阅读更多精彩内容