Debugging Neural Machine Translations
Matīss Rikters
Abstract
In this paper, we describe a tool for debugging the output and attention weights of neural machine translation (NMT) systems and for improved estimations of confidence about the output based on the attention. The purpose of the tool is to help researchers and developers find weak and faulty example translations that their NMT systems produce without the need for reference translations. Our tool also includes an option to directly compare translation outputs from two different NMT engines or experiments. In addition, we present a demo website of our tool with examples of good and bad translations: http://attention.lielakeda.lv.
中文速览
神经机器翻译（NMT）系统在生成翻译结果时往往像"黑箱"，开发者很难在没有标准参考译文的情况下快速定位有问题的翻译。作者在一个已有的注意力（attention）可视化工具基础上，增加了"源文与译文重叠惩罚"机制来修正置信度评分（避免完全未翻译的句子被误判为高质量），同时新增了参考译文对比、BLEU分数计算和双系统翻译直接比较等功能，并将数据加载改为异步方式以提升大批量数据的浏览体验。实验展示了该工具能有效识别"未翻译""注意力混乱""表面重叠但实为复制"等多种典型翻译错误，并给出了调试时的实用排查建议。这项工作的意义在于为NMT研究者和工程师提供了一个无需参考译文即可快速筛查问题翻译的开源调试平台，有助于在实际部署场景中更高效地评估和改进翻译系统。
原文 arXiv:1808.02733;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1808.02733v1