World Models
David Ha Jürgen Schmidhuber
Abstract
We explore building generative neural network models of popular reinforcement learning environments. Our world model can be trained quickly in an unsupervised manner to learn a compressed spatial and temporal representation of the environment. By using features extracted from the world model as inputs to an agent, we can train a very compact and simple policy that can solve the required task. We can even train our agent entirely inside of its own hallucinated dream generated by its world model, and transfer this policy back into the actual environment. An interactive version of this paper is available at https://worldmodels.github.io
中文速览
预测未来。当我们把V模型提取的空间压缩编码和M模型维护的时序隐状态一起喂给控制器时，智能体不再只靠当前画面做决策，而是借助世界模型对未来的预判来行动。这套"世界模型（V+M）＋轻量控制器（C）"的框架正是本文的核心思路：先用变分自编码器（VAE）把高维图像帧压缩成低维隐向量，再用混合密度网络循环神经网络（MDN-RNN）学习环境的时序动态，最后只用一个参数极少的线性控制器，通过协方差矩阵自适应进化策略（CMA-ES）来搜索最优策略——甚至可以完全在世界模型"脑补"出的梦境中训练控制器，再把策略迁移回真实环境。实验表明，这一方法在赛车和VizDoom等强化学习任务上达到了当时的最优成绩，其中赛车任务首次达到"解题"标准，而梦境训练的结果也成功迁移到了真实模拟器。这项工作的意义在于它提供了一个模块化、可扩展的框架，说明把"理解世界"的表征学习与"如何行动"的决策学习分离开来，能够大幅降低信用分配难度，让智能体用更少的参数学到更鲁棒的策略。
原文 arXiv:1803.10122;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1803.10122v4