Counterfactual Story Reasoning and Generation
Lianhui Qin ♠♢ Antoine Bosselut ♠♢ Ari Holtzman ♠♢ Chandra Bhagavatula ♢ Elizabeth Clark ♠ Yejin Choi ♠♢ ♠Paul G. Allen School of Computer Science、Engineering, University of Washington ♢Allen Institute for Artificial Intelligence
Abstract
Counterfactual reasoning requires predicting how alternative events, contrary to what actually happened, might have resulted in different outcomes. Despite being considered a necessary component of AI-complete systems, few resources have been developed for evaluating counterfactual reasoning in narratives.
中文速览
如何让AI在故事某个关键事件改变后，聪明地只修改受影响的后续情节、而不是全盘重写——这是一个考验深层因果推理的难题。作者提出了"反事实故事改写"（Counterfactual Story Rewriting）任务：给定一段五句小故事和一个与原文相悖的"假设事件"，系统需要以最小改动让故事重新自洽。为此，他们通过众包构建了TimeTravel数据集，包含近三万条带人工改写结局的反事实样本，以及八万余条仅有假设事件、供无监督研究使用的分支数据。实验表明，GPT、GPT-2等主流预训练语言模型虽能应对部分情况，但总体上难以在保持因果一致性的同时实现最小化编辑，说明它们依赖的是语言表层规律而非真正的因果链推理。这一数据集和任务为衡量AI的反事实推理能力提供了首个系统性基准，对推动具备真正因果理解能力的语言模型研究具有重要意义。
原文 arXiv:1909.04076;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1909.04076v2