Character-based Neural Machine Translation
Marta R. Costa-jussà José A. R. Fonollosa TALP Research Center Universitat Politècnica de Catalunya, Barcelona
Abstract
Neural Machine Translation (MT) has reached state-of-the-art results. However, one of the main challenges that neural MT still faces is dealing with very large vocabularies and morphologically rich languages.
中文速览
神经机器翻译（Neural MT）虽已达到业界领先水平，但面对大词汇量和形态丰富的语言时仍力不从心——系统遇到未登录词就束手无策。研究者在经典的注意力机制编解码框架中，用卷积神经网络（CNN）加公路网络（Highway Network）从字符序列直接生成词向量，替换掉原来依赖固定词表的词嵌入查找方式，让模型能感知词缀、前缀、词根等内部构词信息，从根本上消除了源端未登录词问题。在德英翻译WMT任务上，该方法相比标准神经翻译基线最高提升了3个BLEU分，德译英也稳定提升约1.5个BLEU分，翻译中未知词数量也显著减少。这项工作的意义在于：无需改变整体翻译框架，仅替换输入端词表示方式，就能以低代价让神经翻译系统更好地应对形态变化丰富的语言，为后续字符级目标端建模奠定了基础。
原文 arXiv:1603.00810;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1603.00810v3