Transforming Question Answering Datasets Into Natural Language Inference Datasets
Dorottya Demszky Department of Linguistics Stanford University、Kelvin Guu††Department of Statistics Stanford University、Percy Liang Department of Computer Science Stanford University Equal contribution.
Abstract
Existing datasets for natural language inference (NLI) have propelled research on language understanding. We propose a new method for automatically deriving NLI datasets from the growing abundance of large-scale question answering datasets.
中文速览
大规模问答数据集（QA dataset）虽然种类丰富、覆盖多样推理场景，但自然语言推断（Natural Language Inference, NLI）领域的训练数据却相对匮乏且推理现象单一——为弥合这一差距，研究者提出了一套自动将问答对转化为 NLI 样本的流水线方法。核心思路是先把"问题+答案"转换成陈述句（如"Who called Taylor? / Liz"→"Liz called Taylor"），再以原文段落为前提、该陈述句为假设，构成蕴含或非蕴含的推断对；这一转换步骤（QA2D）依次通过规则系统、众包标注和神经序列模型三种方式实现，最终以神经模型为主力自动化执行。研究者将该系统应用于五个来源各异的问答数据集，生成了超过 50 万条免费可用的 NLI 样本（QA-NLI），其中包含多句推理、元层次推理和预设推断等以往 NLI 数据集中罕见的推理现象，同时在一定程度上减少了 SNLI/MultiNLI 中已知的标注人工偏差（annotation artifacts）。这项工作不仅大幅扩充了 NLI 数据的规模与多样性，也为利用现有 QA 资源低成本构建语言理解基准提供了可复用的方法论框架。
原文 arXiv:1809.02922;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1809.02922v2