Deep Architectures for Neural Machine Translation
Antonio Valerio Miceli Barone† Jindřich Helcl⋆ Rico Sennrich† Barry Haddow† Alexandra Birch† †School of Informatics, University of Edinburgh ⋆Faculty of Mathematics and Physics, Charles University {amiceli, {rico.sennrich,
Abstract
It has been shown that increasing model depth improves the quality of neural machine translation. However, different architectural variants to increase model depth have been proposed, and so far, there has been no thorough comparative study.
中文速览
神经机器翻译领域早已知道"加深模型能提升翻译质量"，但究竟该怎么"加深"、哪种深度结构更好，一直缺乏系统比较。研究者系统梳理并对比了多种为循环神经网络（RNN）增加深度的方案——包括堆叠型（stacked）和深层转移型（deep transition）两大类——并提出了一种将两者融合的新架构"BiDeep RNN"，同时探索了解码器中注意力机制的不同使用方式。实验在英德翻译任务上进行，所有训练和推理均在单块GPU上完成，结果显示多个新架构在速度和翻译质量上均优于已有方案，其中深度为8的BiDeep RNN相比强基线平均提升了1.5个BLEU分。这项工作不仅为从业者选择深度NMT架构提供了清晰的实证参考，所有代码也已开源，便于复现和推广。
原文 arXiv:1707.07631;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1707.07631v1