Lipschitz Continuity in Model-based Reinforcement Learning
Kavosh Asadi Dipendra Misra Michael L. Littman
Abstract
We examine the impact of learning Lipschitz continuous models in the context of model-based reinforcement learning. We provide a novel bound on multi-step prediction error of Lipschitz models where we quantify the error using the Wasserstein metric. We go on to prove an error bound for the value-function estimate arising from Lipschitz models and show that the estimated value function is itself Lipschitz. We conclude with empirical results that show the benefits of controlling the Lipschitz constant of neural-network models.
中文速览
基于Lipschitz连续性（Lipschitz continuity）的模型误差是基于模型的强化学习（model-based reinforcement learning）中导致规划失效的核心原因——即便单步预测误差很小，多步滚动预测也会让误差不断累积放大。作者引入了一种新的"Lipschitz模型类"表示框架，将随机状态转移分解为一组确定性函数的分布，并用Wasserstein距离衡量分布差异，从理论上严格推导出：多步预测误差的上界由单步误差与模型Lipschitz常数共同决定，Lipschitz常数越小，误差积累越慢；进一步地，价值函数（value function）的估计误差同样受Lipschitz常数控制，且所得价值函数本身也保持Lipschitz连续性。在此基础上，作者提出用约束神经网络Lipschitz常数作为一种正则化手段来训练转移模型，实验结果表明这一方法能显著改善规划效果。这项工作为"为什么更平滑的模型在强化学习中更可靠"提供了严格的理论解释，并给出了可直接用于神经网络的实用训练策略。
原文 arXiv:1804.07193;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1804.07193v3