本文检索了从2010年到2016年《中文信息学报》关于相似度计算的文献,主要是词语相似度,也包括句子相似度。下面对这些文献进行一些简单的介绍。
基于贝叶斯估计的概念语义相似度算法[1]
本文假设概念出现的概率服从Beta分布,然后基于语义距离的算法构造先验参数,并利用贝叶斯估计计算该先验分布和统计样本下的后验概率,最后根据基于信息量的相似度计算公式,获得主观经验与客观事实相结合的概念语义相似度。由于对Beta分布没有深刻透彻的理解,无法对该算法做出准确的评价,等学习一下Beta分布再回过头看看。不过从其实验结果来看,在Miller&Charles数据集上(30对名词),也只比Lin[2],1998的算法高了一点点,Lin的算法计算结果与人工标注的相关系数为0.8080,本文算法为0.8134。而且这个数据集虽然经典,但是太小了,因此该算法的效果还有待进一步验证。
一种基于语境的词语相似度计算方法[3]
在基于知网的计算方法中,某些语义很相近的词,如“尊重”“崇拜”“敬仰”“佩服”“尊敬”等,计算出来的相似度都为1。针对这一问题,本文引入模糊数学中隶属函数的概念,计算词语上下文信息的模糊重要度,再结合基于知网的语义相似度计算方法,很好的解决了这一问题。不过,该算法需要词语的上下文信息,只适用于特定的场景,无法用于通常意义的词语相似度计算,但其思想值得学习。
基于语义树的中文词语相似度计算与分析[4]
本文是基于新版的《知网》2007的相似度计算方法,之前都是基于《知网》2000,新版知网在结构上有一些变化,因此计算方法有一些改变。并且,本文从实际功用出发,将相似度进一步区分为语义特征相似度和句法特征相似度,相似度的范围修改为[-1,1]。用正负区分语义特征相似度,负值表示反义。用绝对值区分句法特征相似度,绝对值越大,则在句子中的可替代程度越高。不过,本文的实验不够充分,也没有给出数据来源,对实验结果的评价仅仅是“与人的直观判断基本一致”,没有使用相关系数等评测指标。因此,该方法有待进一步验证。
基于《知网》的词语相似度算法研究[5]
本文主要是在李峰,2000[6]算法的基础上,改进了其中义原集合之间相似度的计算方法,使其更具合理性。然而实验结果不够充分,因此其效果有待验证。
基于《知网》的汉语未登录词语义相似度计算[7]
本文基于《知网》2005版,并结合意合网络,概念图等,提出了汉语未登录词的语义相似度计算方法。该方法对低频词的相似度计算也会有一定帮助,有待进一步研究。
一种基于LDA的社区问答问句相似度计算方法[8]
本文从问句的统计信息(基于VSM模型)、语义信息(基于WordNet)和主题信息(基于LDA模型)三个方面来计算问句间的相似度。最后线性综合三个方面的相似度来得到整体相似度。在句子相似度计算的研究中,可以参考本文的方法。
基于大规模语料库的汉语词义相似度计算方法[9]
本文采用基于分布的相似度计算方法,选取目标词所在的上下文,或词语、词性、相对位置,或包含目标词的局内依存关系作为特征,并使用PMI作为权值,将目标词表示成这些特征与权值的向量,然后采用余弦相似度计算相似度。然而,其评测方法存在很大问题。本文是将其计算结果与同义词词林的计算结果进行比较,换句话说,他们将基于同义词词林计算的单词相似度作为标准,这显然是不合理的。
一种基于搭配的中文词汇语义相似度计算方法[10]
本文基于相似词汇的相似搭配假设,即语义相似的词汇在二词名词短语中有相似的搭配词,将该搭配词作为上下文,构成特征向量,而不是用词汇在大规模语料中的邻接词。然后用tf-idf作为特征词的权值,最后用余弦相似性计算相似度。本文采用自己构建的数据集,与基于词典(0.86)以及基于大规模语料库(0.80)的方法相比,本文的方法(0.70)相关系数均较低,优点是算法复杂度低,词汇覆盖率高。从相关系数的角度来看,本文方法一般。
基于中文维基百科的词语语义相关度计算[11]
本文基于中文维基百科语料,将词表示为带权重的概念向量,进而将词之间的相关度计算转化为相应的概念向量的比较。以TFIDF作为向量的分量,并对比了一系列改进方法。本文实验基于WordSimilarity-353数据集,并将其人工翻译成中文,然后人工标注相似度,以Spearman相关系数作为评测指标。最好的结果相关系数为0.515。不过,本文的方法没有和其他方法做对比,因此不知道是否会优于其他方法。因此本文的方法还有待进一步验证。
基于HNC理论的词语相似度计算[12]
所谓HNC,即Hierarchical Network of Concepts,概念层次网络。本文利用HNC理论词语层面联想的概念表述体系,根据HNC映射符号的编码规则和符号映射理论,综合概念内涵、概念外部特征、概念类别和组合符号来计算词语相似度,并与基于知网的词语相似度算法和人工标注进行了比较分析。没看懂。。。
基于知网与词林的词语语义相似度计算[13]
本文对基于知网和基于词林的相似度计算方法做了改进。对于基于知网的方法,根据义原层次结构的特征,采用顶部平缓而底部陡峭的曲线单调递减的边权重策略,改进了现有的义原相似度计算方法。对于基于词林的方法,采用以词语距离为主要因素,分支节点数和分支间隔为调节参数的方法。然后将两种改进方法线性组合。结果在Miller&Charles数据集上实验,得到的皮尔森系数有很大提高。考虑到该数据集较小,可以将该方法在更大的数据集上进一步验证。
Reference
[1] 吴奎, 周献中, 王建宇,等. 基于贝叶斯估计的概念语义相似度算法[J]. 中文信息学报, 2010, 24(2):52-57.
[2] Lin D K. An information-theoretic definition of similarity.In: Proceedings of the 15th International Conference onMachine Learning. San Francisco, CA, USA: Morgan Kaufmann Publishers Inc., 1998. 296−304
[3] 蔡东风, 白宇, 于水,等. 一种基于语境的词语相似度计算方法[J]. 中文信息学报, 2010, 24(3):24-28.
[4] 张亮, 尹存燕, 陈家骏. 基于语义树的中文词语相似度计算与分析[J]. 中文信息学报, 2010, 24(6):23-30.
[5] 刘青磊, 顾小丰. 基于《知网》的词语相似度算法研究[J]. 中文信息学报, 2010, 24(6):31-36.
[6] 李峰, 李芳. 中文词语语义相似度计算--基于《知网》2000[J]. 中文信息学报, 2007, 21(3):99-105.
[7] 张瑞霞, 杨国增, 吴慧欣. 基于《知网》的汉语未登录词语义相似度计算[J]. 中文信息学报, 2012, 26(1):16-21.
[8] 熊大平, 王健, 林鸿飞. 一种基于LDA的社区问答问句相似度计算方法[J]. 中文信息学报, 2012, 26(5):40-45.
[9] 石静, 吴云芳, 邱立坤,等. 基于大规模语料库的汉语词义相似度计算方法[J]. 中文信息学报, 2013, 27(1):1-6.
[10] 王石, 曹存根, 裴亚军,等. 一种基于搭配的中文词汇语义相似度计算方法[J]. 中文信息学报, 2013, 27(1):7-14.
[11] 万富强, 吴云芳. 基于中文维基百科的词语语义相关度计算[J]. 中文信息学报, 2013, 27(6):31-37.
[12] 吴佐衍, 王宇. 基于HNC理论的词语相似度计算[J]. 中文信息学报, 2014, 28(2):37-43.
[13] 朱新华, 马润聪, 孙柳,等. 基于知网与词林的词语语义相似度计算[J]. 中文信息学报, 2016, 30(4):29-36.