A Decomposable Attention Model for Natural Language Inference
Ankur P. Parikh Google New York, NY、Oscar Täckström Google New York, NY、Dipanjan Das Google New York, NY、Jakob Uszkoreit Google Mountain View, CA \ANDEMAIL
Abstract
We propose a simple neural architecture for natural language inference. Our approach uses attention to decompose the problem into subproblems that can be solved separately, thus making it trivially parallelizable. On the Stanford Natural Language Inference (SNLI) dataset, we obtain state-of-the-art results with almost an order of magnitude fewer parameters than previous work and without relying on any word-order information. Adding intra-sentence attention that takes a minimum amount of order into account yields further improvements.
中文速览
自然语言推断（NLI）任务要判断一个前提句是否蕴含、矛盾或中立于一个假设句，此前主流方法依赖复杂的LSTM或CNN来编码整句语义，参数量庞大且难以并行。这篇论文提出了一种基于注意力机制（attention）的"分解式"轻量神经网络，核心思路是：先用注意力对两句话中的词片段做软对齐（Attend），再逐对比较对齐片段（Compare），最后汇总得到分类结果（Aggregate），整个过程可完全并行化，无需依赖词序信息。在SNLI数据集上，该模型以比当时最优LSTM方案少近十倍的参数量，达到了新的最高准确率；进一步加入句内自注意力（intra-sentence attention）后精度再提升0.5个百分点。这项工作说明，NLI任务并不一定需要复杂的深层序列模型，局部对齐加简单前馈网络就已足够，为后续高效NLP模型的设计提供了重要参考。
原文 arXiv:1606.01933;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1606.01933v2