论文笔记 | 用于中文事件检测的Nugget Proposal Networks

本文主要复述论文["Nugget Proposa Networks for Chinese Event Detection"] 的主要内容,以便自我回顾,也希望可以给大噶带来帮助~

摘要

对于中文文本来说,由于没有单词分隔符而带来的单词与事件触发器之间不匹配问题,给事件检测的任务带来了很多的挑战。本篇论文提出了Nugget Proposal Networks(NPNs),它可以通过直接提出以每个字符为中心的整个触发器块来解决字触发器不匹配问题,而不用考虑字边界。具体而言,NPN在字符范式中执行事件检测时,首先学习每个字符的混合表示以便从字符和单词中捕获结构和语义信息。 然后基于学习的表示,通过利用中文事件触发器的字符组成结构来提出触发器块并对其进行分类。

介绍

因为许多触发器与字不完全匹配,具体而言,触发器可以是单词的一部分或跨多个单词,此时逐字事件检测模型无法有效作用。table1描述了不同语料库下触发器与词汇的匹配程度。Figure1介绍了触发器块需要的匹配模式。

给定一个句子,NPNs模型可以将字符视为基本检测单元,并且能1)通过利用触发器的内部组成结构直接提出每个字符的整个潜在触发器块; 2)通过学习字符和词汇的语义表示,有效地对提出的触发器进行分类。比如对figure1(b)中的字符“伤”,NPNs模型不仅可以获得这个字符是injure触发器的一部分,还可以指明“受了伤”是完整的触发器。

Figure2展示了NPNs的结构。给定句子中的角色,NPN可可以有效解决词触发器的不匹配问题和词的二义性问题。

混合表示

混合表示可以有效地捕获内部字符组成和准确事件分类的信息。从字符层面的信息来看,“枪杀”是由常规模式“方式+动词”构成的触发器,而在词汇层面上可以由字符的上下文获取更为明确的信息,比如“杀青”。因此,NPN模型先采用token-level神经网络学习两组character-level和word-level的表示,之后由三种不同的混合范式得到混合表示。
令牌级表示学习:Token-level的神经网络可以分别从字符级和词汇级提取特征向量。Figure3展示了词汇级的特征向量训练模型框架。整个结构采用了Dynamic multi-pooling CNN网络,一个窗口大小h的卷积层计算式为(1),其中Wi是卷积核。以动态最大池化来保证每个句子的重要信息(2)。联合所有的特征信息得到characer-level和word-level的特征向量表示。

混合表示学习:得到特征向量fchar与fword之后,先使用两个密集层将fchar与fword分别投影到相同的向量空间,维度为d'对应的向量也分别为f'char与f'word
作者设计了三种范式来得到混合表示:Concat Hybrid(3);General Hybrid(4)和(5),此处的ZG即类似GRUs里的门结构,是d'维的权重向量,用以表示信息流的特征重要程度。Wgh和Ugh为权重矩阵。
特定任务混合表示:针对触发器块和事件类型分类分别提供门函数(6)和(7),可以得到更为明确的特征混合表示fN(8)和fT(9)。

触发器块识别网络

以figure5为例,NPNs不仅可以标记出字符"伤",而且能识别"受了伤"作为需要的触发器块,并分类事件类型为Injure。因此,NPNs可以划分为两个模块。

触发器块生成:基于触发器块的网络不仅可以判断一个char是否属于一个触发块,还可以指出整个触发器块。figure5表明了触发器块的生成过程,以式(10)来计算每个候选块的概率,其中OG∈RdN,dN是候选块的数量加上一个“NIL”标签,NIL表明该字符不属于触发器。对于一个限定长度为L的触发块长度,(L2+L)/2估算其候选块的数量。此处,作者依据语料库判定L长度不超过3。候选触发器块成立的概率依据于现有的文本组成格式,比如“verb + auxiliary + noun”、“manner + verb”等。得到每个候选块的分数后,用sofrmax模型(11)对数据做标准化处理。
事件类型分类:得到一个char的触发块后,将之前学到的参数发T投入分类器中来判断当前触发器块的具体类型(12)。得到OC∈RtT,dT是事件子类型的数量。同样的,使用softmax对结果进行标准化(13),其中OiC是OC中的第i个元素,表示第i个子类型的分数。
论文中采用的冗余预测策略,即将所有检测到的触发块添加到结果中并忽略NIL类型。这种策略提高了NPN模型的错误容忍度。
模型训练:实验中将触发器块中包含的所有字符视为正训练实例,将不在任何触发器中的字符随机取样为负实例,并将它们标记为“NIL”。 假设我们在SG = {(xk,yG k) | k = 1,2,... TG}中有TG训练样例来训练触发器块生成器,以及SC = {(xk,ykC)| k = 1,2,... TC}中的TC样例训练事件类型分类器,因此定义损失函数L(θ)为(14),其中的θ为模型的超参,采用随机梯度下降获得参数。

实验

论文中选择了ACE2005和KBPEval2017两个语料库训练模型,实验结果对比展示为table2。

该篇论文提出的方法主要是由特定事件类型与候选触发器不匹配这一问题展开的,尤其是中文语料库,没有分词符导致这一现象更加的严重。实验中将KBP语料库分为了三个部分:完全匹配,部分匹配和交叉匹配,统计了在不同模型下的触发器匹配结果(table4)。结果表明NPN模型在这一问题上有良好的成效。
作者还提供了该篇论文的开源码:https://github.com/sanmusunrise/NPNs

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
禁止转载,如需转载请通过简信或评论联系作者。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容