Riemannian metrics for neural networks II: recurrent networks and learning symbolic data sequences
Yann Ollivier
Abstract
Recurrent neural networks are powerful models for sequential data, able to represent complex dependencies in the sequence that simpler models such as hidden Markov models cannot handle. Yet they are notoriously hard to train.
中文速览
循环神经网络（RNN）虽然能表达复杂的序列规律，却极难训练，尤其在捕捉长距离依赖关系时往往力不从心。这篇论文提出了一种基于黎曼度量（Riemannian metric）的梯度上升训练方法，让学习过程不再依赖参数编码方式、激活函数选取等人为设计因素，同时计算开销与经典的随时间反向传播（BPTT）相当。在网络结构上，作者设计了"门控漏积神经网络"（Gated Leaky Neural Network，GLNN），结合了有限自动机的门控思想和连续时间网络的积分动态，使网络更擅长维持和恢复内部状态。在四个合成测试任务上——包括上下文无关文法的嵌套括号结构、远距离异或（distant-XOR）问题、多重独立约束的音乐符号建模以及 $a^n b^n$ 计数任务——GLNN 配合黎曼梯度训练，无需针对每个问题调整网络结构或初始化参数，便显著优于普通 RNN 及隐马尔可夫模型（HMM），体现了这一方法在序列建模上的通用性和实用价值。
原文 arXiv:1306.0514;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1306.0514v4