Learning Stochastic Recurrent Networks
Justin Bayer Lehrstuhl für Echtzeitsysteme und Robotik Fakultät für Informatik Technische Universität München \ANDChristian Osendorfer Institut für Regelungstechnik Leibniz Universität Hannover
Abstract
Leveraging advances in variational inference, we propose to enhance recurrent neural networks with latent variables, resulting in Stochastic Recurrent Networks. The model i) can be trained with stochastic gradient methods, ii) allows structured and multi-modal conditionals at each time step, iii) features a reliable estimator of the marginal likelihood and iv) is a generalisation of deterministic recurrent neural networks. We evaluate the method on four polyphonic musical data sets and motion capture data.
中文速览
循环神经网络（RNN）在建模序列时，通常假设同一时刻各维度之间相互独立，这限制了它对复杂、多峰概率分布的表达能力。研究者提出了一种叫做随机循环网络（Stochastic Recurrent Network，STORN）的模型，在标准RNN的基础上引入隐变量（latent variables），并借助随机梯度变分贝叶斯（SGVB）方法完成端到端训练，从而让网络能够捕捉时间序列中更丰富的依赖结构和多模态条件分布。在四个复调音乐数据集和人体动作捕捉数据上的实验表明，STORN在负对数似然这一指标上普遍优于假设输出各维度独立的标准RNN及其变体，证明引入隐变量确实带来了实质性提升。这项工作的重要意义在于，它为将深度生成模型与循环结构相结合提供了一条清晰、可扩展的路径，使序列建模既保留了RNN的灵活性，又获得了潜在变量模型对不确定性和复杂分布的表达优势。
原文 arXiv:1411.7610;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1411.7610v3