本文主要复述论文["Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks"] 的主要内容,以便自我回顾,也希望可以给大噶带来帮助~
摘要
传统ACE事件提取的方法主要依赖于精心设计的功能和复杂的自然语言处理(NLP)工具。这些传统方法缺乏泛化,需要大量人力,容易出现错误传播(error propagation)和数据稀疏性(data sparsity)问题。本文提出了一种新的事件提取方法,旨在自动提取词汇级(lexical-level)和句子级(sentence-level)功能,而无需使用复杂的NLP工具。我们引入了一个单词表示模型,用于语言的语义规范,并采用基于卷积神经网络(CNN)的框架来捕获句子级线索。然而,CNN只能捕获句子中最重要的信息,并且在考虑多事件句子时可能会遗漏有价值的事实。我们提出了一种动态多池卷积神经网络(DMCNN -- dynamic multi-pooling convolutional neural network),它根据事件触发器和参数使用动态多池层来保留更多关键信息。
介绍
目前事件抽取最先进的方法,是采用一组精心设计的特征,这些特征是由文本分析和语言知识提取的。通常分为两类:词法特征和上下文特征。
-词法特征
词法特征包括词性标签(part-of-speech tags)、实体信息、形态特征(例如,标记,引理等),其旨在捕获语义或单词的背景知识。由于这些预测语义背景的线索的有限性,以及单词独热编码(one-hot)带来的数据稀疏性问题,会导致无法充分捕获单词的语义。
-上下文特征
上下文特征,比如语法特征可以从依存关系中获取其参数和触发词的联系。我们称这种信息为句子级(sentence-level)线索。但是我们无法通过这类传统依存特征获取目标角色,此外,在特征学习中还有可能导致错误传播。
-卷积神经网络
论文中描述到,最近卷积神经网络(CNN)的改进已经被证明能够有效地捕获句子中的单词之间的句法和语义。CNN通常使用最大池化层,其对整个句子的表示应用最大操作以捕获最有用的信息。但是,在事件提取中,一个句子可能包含两个或多个事件,并且这些事件可能共享具有不同角色的参数。例如,S3(S3: In Baghdad, a cameraman died when an American tank fired on the Palestine Hotel. )中有两个事件,即Die事件和Attack事件。如果我们使用传统的最大汇集层并且只保留最重要的信息,那么我们可以获得描述“摄像师死亡”的信息,但是错过了关于“美国坦克的信息”的信息,这对预测攻击事件非常重要,对于将摄像师附加到红色是很有价值的。作为目标论点。在我们的实验中,我们发现这样的多事件句子占我们数据集的27.3%,而这个现象我们无法通知。
事件提取
事件提取系统:预测具有特定子类型的事件触发器及其对每个句子的参数。
论文中将该实现分为两个阶段:1.触发分类。使用DMCNN对句子中的每个单词进行分类以识别触发单词。2.若一个句子具有触发器,则执行阶段二,应用类似的DMCNN来为触发器分配参数并对齐参数的角色。
1.Word Embedding
得到所有的word embeddings之后,将其连接入词汇级特征向量,表示参数分类中的词汇级特征。
2.采用DMCNN提取句子级特征
论文中提出了三种输入类型提供给DMCNN。
-Context-word feature (CWF):通过查找word embeddings而转换的每个单词标记的向量
-Position Feature(PF):表当前单词与预测的触发器或候选参数的相对距离。位置特征的每个距离值也由embedding vector表示,同时距离值也会随机初始化并通过反向传播进行优化。
-Event-type feature (EF):对触发分类阶段的预测进行事件类型编码,作为DMCNN亦或PF中的重要线索。
设定CWF的维度d=4、PF的d=1、EF=1,由其拼接成的词特征向量的长度d=dw+dp×2+de,得到输入矩阵X∈R(n×d),进入卷积层。
设定h个word大小的窗口,滤波器w ∈ R(h×d),通过运算(4)产生新特征ci,其中b∈R是偏置项,f是非线性函数,如双曲正切。 该滤波器应用于句子x1:h,x2:h+1,...,x(n-h+1):n中的每个可能的单词窗口,以产生特征映射ci,其中索引i的范围从1到n-h+1。
3.Output
4.Training
论文中将参数分类阶段的所有参数定义为θ=(E,PF1,PF2,EF,W,b,WS,bs)。给定输入s、具参数θ的网络输出向量O、其中第i个分量Oi包含自变量角色i的分数。对所有参数角色的score应用softmax操作(8),从而获得条件概率p(i|x,θ)。并定义目标函数(9),通过SGD计算最大似然函数得到参数θ。
5.Trigger Classification模型
触发器分类中,仅在词法级特征表示中使用候选触发器及其左右令牌。 在句子级别的特征表示中,我们使用与参数分类中相同的CWF,但仅使用候选触发器的位置来嵌入位置特征。 此外,不是将句子分成三个部分,而是通过候选触发器将句子分成两部分。 除了上述特征和模型的变化之外,论文中对一个论证进行了分类。 这两个阶段构成了事件提取的框架。
实验
判定预测事件准确性的标准:
1.如果触发器的事件子类型和偏移量与参考触发器的类型匹配,则触发器是正确的。
2.如果参数的事件子类型和偏移量与任何参考参数提及的参数匹配,则可以正确识别参数。
3.如果参数的事件子类型,偏移量和参数角色与任何引用参数提及的参数匹配,则参数被正确分类。