Diagonal RNNs in Symbolic Music Modeling
Abstract
In this paper, we propose a new Recurrent Neural Network (RNN) architecture. The novelty is simple: We use diagonal recurrent matrices instead of full. This results in better test likelihood and faster convergence compared to regular full RNNs in most of our experiments. We show the benefits of using diagonal recurrent matrices with popularly used LSTM and GRU architectures as well as with the vanilla RNN architecture, on four standard symbolic music datasets.
中文速览
循环神经网络（RNN）在序列建模中被广泛使用，但其核心的循环权重矩阵是完整的方阵，参数量随隐层维度平方级增长，且不一定带来更好的泛化效果。受高斯混合模型中对角协方差矩阵往往比全协方差矩阵表现更好这一现象的启发，作者提出只需把RNN中的循环矩阵换成对角矩阵，即让每个隐层单元只与自身的上一时刻状态相连，而非与所有单元相连。在四个标准符号音乐（symbolic music）数据集上，针对普通RNN、LSTM和GRU三种架构、两种优化器共2880次训练实验的结果表明，对角循环矩阵在绝大多数情况下都能带来更低的测试负对数似然和更快的收敛速度，且所用参数量通常更少。这一改动极其简单，却在多种模型和优化器组合下均有效，提示对角RNN可作为标准全矩阵RNN的轻量高效替代方案。
原文 arXiv:1704.05420;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1704.05420v2