来源: AINLPer 微信公众号（每日更新...）
编辑: ShuYini
校稿: ShuYini
时间: 2020-03-18
引言： 本次整理的论文主要偏向于Open-Domain QA，其中主要涉及到混合注意力方法、预训练模型分析、BERT预训练模型优化、QA数据集、问答跳转等。
本次论文获取方式：
1、百度云链接，提取码：a2cz
2、关注AINLPer 微信公众号（每日更新...）回复：QA002
1、TILE: Compositional De-Attention Networks
Author: Yi Tay，Anh Tuan Luu，Aston Zhang，Shuohang Wang，Siu Cheung Hui
Paper:http://papers.nips.cc/paper/8845-compositional-de-attention-networks.pdf
Code: https://github.com/vanzytay/NeurIPS2019_CODA
论文简述： 注意力模型的显著特征是它们可以学习相对重要性的能力，即为输入值分配不同的权重。本文提出了一种新的具有复合性质的准注意方法，即在学习表示时，学习某一向量是加，是减还是零。这与普通的注意力形成了强烈的对比，传统的注意力方式只是简单地重新调整输入标记的权重。在六个NLP任务上评估CoDA，即开放域问题回答、检索/排序、自然语言推理、机器翻译、情感分析和text2code生成，得到了比较好的结果。
2、TILE: Language Models as Knowledge Bases?
Author: Fabio Petroni，Tim Rocktäschel，Patrick Lewis，Anton Bakhtin， Yuxiang Wu，Alexander H. Miller，Sebastian Riedel
Paper: https://arxiv.org/pdf/1909.01066v2.pdf
Code: https://github.com/facebookresearch/LAMA
论文简述： 本文深入分析了在一系列最先进的预训练语言模型中已经存在（没有微调）的关系知识。我们发现：（1）在没有微调的情况下，BERT包含了与传统NLP方法相竞争的关系知识，后者可以访问oracle知识；（2）BERT在有监督基线的开放域问题回答上也做得非常好，（3）通过标准语言模型的预训练方法，某些类型的事实知识比其他类型的知识更容易学习。这些模型在不进行任何微调的情况下调用事实知识的能力惊人地强，这表明它们作为无监督的开放域QA系统的潜力。
3、TILE: SpanBERT: Improving Pre-training by Representing and Predicting Spans
Author: Mandar Joshi ，Danqi Chen，Yinhan Liu，Daniel S. Weld，Luke Zettlemoyer，Omer Levy
Paper: https://arxiv.org/pdf/1907.10529v3.pdf
Code: https://github.com/facebookresearch/SpanBERT
论文简述： 本文提出了SpanBERT预训练方法，旨在更好地表示和预测文本的跨度。本文方法通过(1)屏蔽连续的随机跨度，而不是随机Tokens来扩展BERT;(2)训练跨度边界表示来预测屏蔽跨度的全部内容，而不依赖于其中的单个Token表示。实验结果显示SpanBERT始终比BERT和我们更好调优的基线表现更好，在回答问题和共同参考解决等跨度选择任务上取得了巨大的进步。
4、TILE: XQA: A Cross-lingual Open-domain Question Answering Dataset
Author: Jiahua Liu , Yankai Lin , Zhiyuan Liu , Maosong Sun
Paper:https://www.aclweb.org/anthology/P19-1227.pdf
Code: https://github.com/thunlp/XQA
论文简述： 本文构建了一个用于跨语言OpenQA研究的新数据集XQA。它包括英语培训集以及其他八种语言的开发和测试集。此外，还为跨语言OpenQA提供了多个基线系统，包括两个基于机器翻译的方法和一个零距离跨语言方法(多语言BERT)。
5、TILE: Multi-Hop Paragraph Retrieval for Open-Domain Question Answering
Author: Yair Feldman , Ran El-Yaniv
Paper: https://arxiv.org/pdf/1906.06606v1.pdf
Code: https://github.com/yairf11/MUPPET
论文简述： 本文研究的是多跳开放域问答系统。本文提出了一种检索多个支持段落的方法，这些段落嵌套在一个庞大的知识库中，包含了回答给定问题所必需的证据。我们的方法通过形成问题和段落的联合向量表示来迭代检索支持段落。检索是通过考虑知识源中段落的上下文化句子级表示来实现的。本文方法在数据集SQuAD Open和HotpotQA上实现了最好的性能，这两个数据集分别作为我们的单跳和多跳开放域QA基准。
6、TILE: Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index
Author: Minjoon Seo，Jinhyuk Lee，Tom Kwiatkowski，Ankur P. Parikh，Ali Farhadi，Hannaneh Hajishirzi
Paper: https://arxiv.org/pdf/1906.05807v2.pdf
Code: https://github.com/uwnlp/denspi
论文简述： 现有的开放问答(OpenDomain QA)模型不适合实时使用，因为它们需要为每个输入请求按需处理多个长文档。在本文中，提出了一种与文档短语的查询无关的可索引表示，它可以极大地提高开放QA的速度。除此之外，本文密集-稀疏短语编码有效地捕获短语的语法、语义和词汇信息，消除了上下文文档的管道过滤。
7、TILE:DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding
Author: Yuyu Zhang，Ping Nie，Xiubo Geng，Arun Ramamurthy，Le Song，Daxin Jiang
Paper: https://arxiv.org/pdf/2002.12591v1.pdf
Code: None
论文简述： 针对开放域问题回答的研究，使用预先训练的语言模型(如BERT)实现了显著的性能改进。最先进的方法通常遵循“检索和读取”管道，并使用基于BERT的reranker来过滤检索到的文档，然后再将它们提供给阅读器模块。BERT检索器将问题的串联和检索到的每个文档作为输入。尽管这些方法在QA准确性方面取得了成功，但是由于连接的原因，每个问题都包含大量检索到的文档，它们几乎不能处理大量输入的问题。为了解决效率问题，本文提出了一个解耦的上下文编码框架DC-BERT，它具有双重BERT模型:一个在线的BERT只对问题进行一次编码，一个离线的BERT对所有文档进行预编码并缓存它们的编码。
8、TILE: REALM: Retrieval-Augmented Language Model Pre-Training
Author: Kelvin Guu，Kenton Lee，Zora Tung，Panupong Pasupat，Ming-Wei Chang
Paper: https://arxiv.org/pdf/2002.08909v1.pdf
Code: None
论文简述： 语言模型的预训练已经被证明能够获取大量的知识，这对于NLP任务(如回答问题)是至关重要的。然而，这些知识隐含在神经网络的参数中，需要更大的网络来覆盖更多的事实。为了以更模块化和可解释性的方式捕获知识，我们在语言模型预训练中增加了一个潜在的知识检索器，该检索器允许模型从一个大型语料库(如Wikipedia)中检索和处理文档，用于预训练、微调和推理。我们展示了如何以一种无监督的方式预先训练这样一个知识检索器，使用掩蔽语言建模作为学习信号，并通过一个考虑数百万文档的检索步骤进行反向传播。通过对具有挑战性的开放式问题回答(Open-domain Question answer, Open-QA)任务进行微调，我们证明了检索增强语言模型预训练(REALM)的有效性。
Attention
更多自然语言处理相关知识，还请关注AINLPer公众号，极品干货即刻送达。
