Recurrent Batch Normalization
Tim Cooijmans, Nicolas Ballas, César Laurent, Çağlar Gülçehre、Aaron Courville MILA - Université de Montréal
Abstract
We propose a reparameterization of LSTM that brings the benefits of batch normalization to recurrent neural networks. Whereas previous works only apply batch normalization to the input-to-hidden transformation of RNNs, we demonstrate that it is both possible and beneficial to batch-normalize the hidden-to-hidden transition, thereby reducing internal covariate shift between time steps.
中文速览
长短期记忆网络（LSTM）在序列任务中表现出色，但训练过程中层间分布不断漂移（内部协变量偏移）会拖慢收敛速度、削弱泛化能力，而此前把批归一化（Batch Normalization）引入循环网络的尝试只敢作用于输入到隐层的方向，不敢动隐层到隐层的时间步转换，因为普遍认为这样做会导致梯度爆炸。这篇论文提出了一种对LSTM的重参数化方案，把批归一化同时施加到输入变换和隐层间的时间步转换上，并发现关键在于将缩放参数γ初始化为较小值（如0.1）以防止梯度消失。在序列MNIST分类、语言建模和问答等多个任务上的实验表明，这种批归一化LSTM（BN-LSTM）不仅收敛更快，而且泛化性能更好。这一工作打破了"批归一化不能横向作用于循环网络"的既有认知，为高效训练深层循环模型提供了一条切实可行的路径。
原文 arXiv:1603.09025;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1603.09025v5