AndroidEnv: A Reinforcement Learning Platform for Android
Daniel Toyama Equal contributions DeepMind Philippe Hamel Equal contributions DeepMind Anita Gergely Equal contributions DeepMind Gheorghe Comanici Equal contributions DeepMind Amelia Glaese DeepMind Zafarali Ahmed DeepMind Tyler Jackson DeepMind Shibl Mourad DeepMind Doina Precup DeepMind
Abstract
We introduce AndroidEnv, an open-source platform for Reinforcement Learning (RL) research built on top of the Android ecosystem. AndroidEnv allows RL agents to interact with a wide variety of apps and services commonly used by humans through a universal touchscreen interface. Since agents train on a realistic simulation of an Android device, they have the potential to be deployed on real devices. In this report, we give an overview of the environment, highlighting the significant features it provides for research, and we present an empirical evaluation of some popular reinforcement learning agents on a set of tasks built on this platform.
中文速览
强化学习研究长期依赖游戏或专用模拟环境，但这些环境与人类真实使用场景相去甚远。AndroidEnv 是一个基于 Android 操作系统构建的开源强化学习平台，让智能体（agent）通过统一的触屏界面与真实应用程序交互——屏幕像素作为观测输入，手势动作作为控制输出，整个系统以真实时间异步运行，与人类使用手机的方式高度一致。平台提供了超过 100 个涵盖益智游戏、界面导航、策略棋类等多样场景的任务，研究者也可以自行定义新任务。实验结果表明，DDPG、DQN、R2D2 等主流强化学习算法在不同任务上表现差异显著——奖励密集且操作简单的任务（如 catch）大多能被有效学习，而需要复杂手势组合与长期规划的任务（如 blockinger）则仍极具挑战性。AndroidEnv 的重要价值在于：借助拥有逾两百万款应用的 Android 生态，它为强化学习提供了近乎无限的真实世界任务来源，同时因仿真环境与真实设备行为一致，训练好的智能体有望直接部署到实体手机上。
原文 arXiv:2105.13231;中英对照 + 大白话阅读 https://aha.fim.ai/paper/2105.13231v1