Counting to Explore and Generalize in Text-based Games
Xingdi Yuan Marc-Alexandre Côté Alessandro Sordoni Romain Laroche Remi Tachet des Combes Matthew Hausknecht Adam Trischler
Abstract
We propose a recurrent RL agent with an episodic exploration mechanism that helps discovering good policies in text-based game environments. We show promising results on a set of generated text-based games of varying difficulty where the goal is to collect a coin located at the end of a chain of rooms. In contrast to previous text-based RL approaches, we observe that our agent learns policies that generalize to unseen games of greater difficulty.
中文速览
在文字游戏（text-based game）中，智能体因观测不完整、动作空间巨大，很难学到能举一反三的探索策略——这篇论文就是要解决这个泛化难题。作者提出了一种结合循环神经网络（LSTM-DRQN）和"情节内发现奖励"（episodic discovery bonus）的深度强化学习方法：每局游戏开始时重置状态计数器，只要智能体在本局内首次到达某个房间就给予额外奖励，从而驱使它在当前情节里主动探索新状态、避免原地打转。在一组由简单到困难的"硬币收集"链式房间游戏上测试发现，该方法不仅能可靠地完成训练关卡，还能在完全没见过的、路径更长的关卡上保持良好表现——而普通计数奖励或不带记忆的基线模型则几乎无法泛化。这一结果表明，把情节记忆机制引入探索奖励设计，是让文字游戏智能体跨关卡泛化的有效途径，对构建能真正"学会探索"而非死记地图的游戏AI具有重要意义。
原文 arXiv:1806.11525;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1806.11525v2