本文主要复述论文["Nugget Proposa Networks for Chinese Event Detection"] 的主要内容,以便自我回顾,也希望可以给大噶带来帮助~
摘要
对于中文文本来说,由于没有单词分隔符而带来的单词与事件触发器之间不匹配问题,给事件检测的任务带来了很多的挑战。本篇论文提出了Nugget Proposal Networks(NPNs),它可以通过直接提出以每个字符为中心的整个触发器块来解决字触发器不匹配问题,而不用考虑字边界。具体而言,NPN在字符范式中执行事件检测时,首先学习每个字符的混合表示以便从字符和单词中捕获结构和语义信息。 然后基于学习的表示,通过利用中文事件触发器的字符组成结构来提出触发器块并对其进行分类。
介绍
因为许多触发器与字不完全匹配,具体而言,触发器可以是单词的一部分或跨多个单词,此时逐字事件检测模型无法有效作用。table1描述了不同语料库下触发器与词汇的匹配程度。Figure1介绍了触发器块需要的匹配模式。给定一个句子,NPNs模型可以将字符视为基本检测单元,并且能1)通过利用触发器的内部组成结构直接提出每个字符的整个潜在触发器块; 2)通过学习字符和词汇的语义表示,有效地对提出的触发器进行分类。比如对figure1(b)中的字符“伤”,NPNs模型不仅可以获得这个字符是injure触发器的一部分,还可以指明“受了伤”是完整的触发器。
混合表示
混合表示可以有效地捕获内部字符组成和准确事件分类的信息。从字符层面的信息来看,“枪杀”是由常规模式“方式+动词”构成的触发器,而在词汇层面上可以由字符的上下文获取更为明确的信息,比如“杀青”。因此,NPN模型先采用token-level神经网络学习两组character-level和word-level的表示,之后由三种不同的混合范式得到混合表示。
令牌级表示学习:Token-level的神经网络可以分别从字符级和词汇级提取特征向量。Figure3展示了词汇级的特征向量训练模型框架。整个结构采用了Dynamic multi-pooling CNN网络,一个窗口大小h的卷积层计算式为(1),其中Wi是卷积核。以动态最大池化来保证每个句子的重要信息(2)。联合所有的特征信息得到characer-level和word-level的特征向量表示。
作者设计了三种范式来得到混合表示:Concat Hybrid(3);General Hybrid(4)和(5),此处的ZG即类似GRUs里的门结构,是d'维的权重向量,用以表示信息流的特征重要程度。Wgh和Ugh为权重矩阵。
触发器块识别网络
以figure5为例,NPNs不仅可以标记出字符"伤",而且能识别"受了伤"作为需要的触发器块,并分类事件类型为Injure。因此,NPNs可以划分为两个模块。
模型训练:实验中将触发器块中包含的所有字符视为正训练实例,将不在任何触发器中的字符随机取样为负实例,并将它们标记为“NIL”。 假设我们在SG = {(xk,yG k) | k = 1,2,... TG}中有TG训练样例来训练触发器块生成器,以及SC = {(xk,ykC)| k = 1,2,... TC}中的TC样例训练事件类型分类器,因此定义损失函数L(θ)为(14),其中的θ为模型的超参,采用随机梯度下降获得参数。
实验
论文中选择了ACE2005和KBPEval2017两个语料库训练模型,实验结果对比展示为table2。