OpenNMT: Open-Source Toolkit for Neural Machine Translation
Guillaume Klein†, Yoon Kim∗, Yuntian Deng∗, Jean Senellart†, Alexander M. Rush∗ Harvard University∗, SYSTRAN †
Abstract
We describe an open-source toolkit for neural machine translation (NMT). The toolkit prioritizes efficiency, modularity, and extensibility with the goal of supporting NMT research into model architectures, feature representations, and source modalities, while maintaining competitive performance and reasonable training requirements. The toolkit consists of modeling and translation support, as well as detailed pedagogical documentation about the underlying techniques.
中文速览
机器翻译领域正在快速从统计方法转向神经网络方法(神经机器翻译,NMT),但学术界和工业界一直缺少一个兼顾效率、可读性和可扩展性的开源工具。为此,研究者推出了 OpenNMT,一个基于 Lua/Torch(同时支持 Python/PyTorch)的完整 NMT 开源框架,通过内存共享、多 GPU 并行训练以及多种部署后端(包括 C 语言移动端实现)大幅提升了训练和推理效率。框架将注意力机制、编解码器等核心组件高度模块化,使研究者能以极少的额外代码实现因子化翻译、多种注意力变体、图像转文字及语音识别等扩展任务。基准测试显示,OpenNMT 在英德翻译上的 BLEU 分数与当时最强的开源系统 Nematus 相当,同时训练速度更快、内存占用更低,为整个 NLP 社区提供了一个既能用于科研探索又能支撑工业生产的统一基础平台。
原文 arXiv:1701.02810;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1701.02810v2