Yin and Yang: Balancing and Answering Binary Visual Questions
Peng Zhang ††\,{}^{\dagger} Yash Goyal ††\,{}^{\dagger} Douglas Summers-Stay‡ Dhruv Batra† Devi Parikh† †Virginia Tech ‡Army Research Laboratory †{zhangp, ygoyal, dbatra, The first two authors contributed equally.
Abstract
The complex compositional structure of language makes problems at the intersection of vision and language challenging. But language also provides a strong prior that can result in good superficial performance, without the underlying models truly understanding the visual content. This can hinder progress in pushing state of art in the computer vision aspects of multi-modal AI.
中文速览
视觉问答（Visual Question Answering, VQA）系统长期存在一个隐患：模型只需依赖语言统计规律（比如"是否"题默认回答"是"就能答对68%），完全不看图片也能拿到不错的分数，导致视觉理解能力的真实进步被掩盖。为此，研究者聚焦于抽象场景上的二元视觉问答，利用众包方式为每道问题配对两个尽量相似但答案相反的场景，从而构建出一个语言先验无法取巧（随机猜测水平）的平衡数据集；同时提出将问题压缩成一个简洁的语义元组，再通过在图像中验证该元组是否存在来作答。实验结果显示，该方法在未平衡数据集上与当时最先进的VQA方法持平，在平衡数据集上则显著超越对比基线。这项工作的价值在于提供了一套可复现的数据集去偏方案和视觉验证框架，为真正考验机器"看图理解"能力的研究奠定了基础。
原文 arXiv:1511.05099;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1511.05099v5