Reinforcement Learning Neural Turing Machines - Revised
Wojciech Zaremba1,2 New York University Facebook AI Research、Ilya Sutskever2 Google Brain
Abstract
The Neural Turing Machine (NTM) is more expressive than all previously considered models because of its external memory. It can be viewed as a broader effort to use abstract external Interfaces and to learn a parametric model that interacts with them.
中文速览
神经图灵机（Neural Turing Machine, NTM）通过外部可微分内存极大扩展了模型能力，但现实中许多重要的外部接口——比如搜索引擎和数据库——本质上是离散、不可微的，无法直接用反向传播来训练。为此，这篇论文提出了 RL-NTM 模型，让神经网络控制器通过强化学习中的 REINFORCE 算法来学习如何操作离散的输入带、记忆带和输出带，同时仍用反向传播决定往内存和输出中写入什么内容。实验表明，RL-NTM 能完成序列复制、序列翻转等简单算法任务，并在理论上具备图灵完备性，但训练过程方差大、对控制器架构高度敏感，目前只能处理相对简单的问题。这项工作的意义在于迈出了让机器学会与离散外部接口（如搜索引擎、验证器等）交互的第一步，为未来更强大的工具增强型 AI 系统奠定了基础。
原文 arXiv:1505.00521;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1505.00521v3