论文笔记

Multi-hop Reading Comprehension through Question Decomposition and Rescoring

本篇论文关注的焦点在于多跳问答问题中,对于问题的拆分,在本文中,作者对问题的处理方法是将其分为多个子问题,其中这每个子问题通过一个单跳的阅读理解模型去解决回答问题,最后再将他们合并。将问题拆分作者使用的是对原问题进行跨度分割,根据问题的类型不同进行不同的处理,最后通过一个加权得到最后答案。


拆分问题示例

作者提出了DECOMPRC,这是一种用于多跳RC的系统,它将多跳问题分解为更简单的单跳子问题。 我们将子问题生成作为跨度预测问题,将模型训练在400个带标签的示例上可以生成高质量的子问题。 此外,DECOMPRC从分解评分步骤中获得了更多收益。 DECOMPRC在HOTPOTQA干扰项设置和完整的Wiki设置方面达到了最先进的水平,同时以子问题的形式为其决策提供了可解释的证据,并且在对抗性设置方面比强大的基线更强大。

The Web as a Knowledge-base for Answering Complex Questions

回答复杂的问题对于人类来说是一项耗时的活动,需要推理和信息整合。最近在阅读理解方面的工作在回答简单问题方面取得了进展,但是解决复杂问题仍然是持续的研究挑战。相反,语义解析器已经成功地处理了组合性,但前提是该信息位于目标知识库中。在本文中,作者提出了一个新颖的框架,用于回答广泛和复杂的问题,假设使用搜索引擎和阅读理解模型可以回答简单的问题。我们建议将复杂的问题分解为一系列简单的问题,并从一系列答案中计算出最终答案


问题拆分示例

在本文中,作者提出了一个基于问题分解和与Web交互的新框架,用于回答复杂问题。 作者在此框架下开发了一个模型,并证明了该模型可以提高两个数据集上的复杂QA性能,并使用两个RC模型。 我们还发布了一个新的数据集COMPLEXWEBQUESTIONS,其中包括问题,SPARQL程序,答案和作者的模型收集的Web片段。 作者认为,该数据集将为质量保证和语义解析社区提供服务,推动对组成性的研究,并推动社区为质量保证提供整体解决方案。 在以后的工作中,作者计划对模型进行训练,直接从薄弱的监管(即表示法)中提取信息,并不仅要从网络中提取信息,还要从结构化信息源(例如网络表格和知识库)中提取信息。

Complex Question Decomposition for Semantic Parsing

在这项工作中,作者专注于复杂问题的语义解析,并提出了一种新颖的层次语义解析(HSP)方法,该方法利用复杂问题的分解性进行语义解析。 作者的模型是基于分解-集成的思想在三阶段的解析体系结构中设计的。 在第一阶段,提出了一个问题分解器,它将一个复杂的问题分解为一系列子问题。 在第二阶段,设计了一个信息提取器来导出这些问题的类型和谓词信息。 在最后一个阶段,将先前阶段生成的信息进行整合,并为复杂问题生成逻辑形式。 最后对复杂的语义复杂数据集COMPLEXWEBQUESTIONS进行了实验,结果表明,与最新方法相比,该模型取得了显着改进。


模型

在这项工作中,作者提出了一种基于序列到序列范式的新颖的分层语义解析(HSP)模型。 实验表明,与以前的几个系统相比,HSP有效地提高了性能。 作者还设计了一种神经生成问题分解器,该分解器比基于拆分的问题分解方法具有更高的性能。 进一步的实验还证明,提出的神经生成问题分解器也受益于HSP机制

Answering complicated question intents expressed in decomposed question sequences

用于回答问题的语义解析的最新工作集中在冗长而复杂的问题上,如果在两个人之间的正常对话中提出问题,其中许多问题似乎是不自然的。 为了探索对话式质量检查环境,我们提出了一个更为现实的任务:回答一系列简单但相互关联的问题。 作者从Wikipedia收集了6,066个问题序列的数据集,这些问题序列查询了半结构化表格,总共有17,553个问题-答案对。 现有的QA系统在作者的数据集上进行评估时面临两个主要问题:(1)处理包含对先前问题或答案的共同引用的问题,以及(2)将问题中的单词或短语与关联表中的对应条目进行匹配。


问题拆分示例

作者提出了这样一个数据集,其中的问题是简单问题但是是有内在关联的,这样的数据集转向了一种更具对话性的多回合方案,在这种方案中,系统必须依靠先前的上下文来回答用户当前的问题。 为此,作者引入了SQA,该数据集由6,066个有关Wikipedia表的相互关联的问题的唯一序列组成,总共有17,553个问题-答案对。 据我们所知,SQA是第一个处理顺序问题解答的语义分析数据集,这是信息访问的更自然的界面

Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification

实际Web数据上的机器阅读理解(MRC)通常要求机器通过分析搜索引擎检索到的多个段落来回答问题。 与单通道的MRC相比,多通道的MRC更具挑战性,因为我们很可能会从不同的通道中获得多个令人困惑的答案候选者。 为了解决这个问题,我们提出了一种端到端的神经模型,该模型可使那些来自不同段落的答案候选者根据其内容表示来相互验证。 具体来说,我们联合训练三个模块,这些模块可以基于三个因素来预测最终答案:答案边界,答案内容和跨通道答案验证。 实验结果表明,我们的方法在很大程度上优于基线,并且在英语MS-MARCO数据集和中文DuReader数据集上均达到了最先进的性能,这两种数据集都是为实际环境中的MRC设计的 。


方法概览

在本文中,我们提出了一个端到端的框架来解决多通道MRC任务。 我们在模型中创造性地设计了三个不同的模块,它们可以找到答案边界,对答案内容进行建模并进行跨通道答案验证。 可以使用不同形式的答案标签来训练所有这三个模块,并且一起训练它们可以提供进一步的改进。 实验结果表明,我们的模型在很大程度上优于基线模型,并且在两个具有挑战性的数据集上均达到了最新的性能,这两个数据集都是为在实际Web数据上的MRC设计的。

Generative Question Answering: Learning to Answer the Whole Question

判别式问答模型可能过度适合数据集中的表面偏见,因为当任何线索使答案成为可能时,它们的损失函数就会饱和。 我们介绍了问题和答案的联合分布的生成模型,这些模型经过训练可以解释整个问题,而不仅仅是回答它。 我们的问题回答(QA)模型是通过学习先验答案和条件语言模型来实现的,该条件语言模型根据给定的答案来生成问题-在逐字生成问题时允许进行可扩展且可解释的多跳推理。 我们的模型通过在SQUAD和CLEVR基准测试中具有可比性的判别模型而获得了具有竞争力的性能,这表明与以前的工作相比,它是用于语言理解和推理的更通用的体系结构。 该模型极大地提高了从有偏见的训练数据到对抗测试数据的通用性,从而在ADVERSARIALSQUAD上获得了最新的结果


技术架构

本文提出基于生成模型架构的机器阅读模型,其优化的目标是:给定context,最大化question和answer的联合概率,用概率表示为p(a,q|c)。该概率可以分解为p(a|c)p(q|a,c)。对于这两部分,分别训练两个模型,最后在预测时,遍历所有候选的answer选出最大化联合概率p(a,q|c)的answer作为预测结果。

TEQUILA: Temporal Question Answering over Knowledge Bases

基于知识库的问题解答(KB-QA)在处理需要分解为子问题的复杂问题时提出了挑战。 这里要解决的一个重要案例是时间问题,需要发现和处理时间关系的线索。 我们提出TEQUILA,这是一种可以在任何KB-QA引擎之上运行的时间QA的使能方法。 TEQUILA有四个阶段。 它检测问题是否具有时间意图。 它分解问题并将其重写为非时间子问题和时间约束。 然后,从基础KB-QA引擎检索对子问题的答案。 最后,TEQUILA在时间间隔上使用约束推理来计算完整问题的最终答案。 与最先进的基准进行比较显示了我们方法的可行性。


推理规则
推理约束

TEQUILA将复合时间问题分解为一个或多个非时间子问题(返回候选答案)和一个或多个时间子问题(返回时间约束)。子问题的结果通过相交的答案相结合。 将约束应用于与非时间子问题的结果相关的时间范围。 作者使用从第一原理设计的一组词汇语法规则来分解问题并将其重写为其组成部分
理解复杂问题的组成语义是质量检查的一个公开挑战。 我们专注于暂时性问题解答(KB),这是应付重要信息需求的重要步骤。 我们的方法在最近的基准测试中表现出了提高的性能,并且在一般复杂问题上的表现优于最新的基准。 我们的工作强调了构建可重复使用的模块的价值,这些模块可改进多个KB-QA系统

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342