Max-value Entropy Search for Efficient Bayesian Optimization
Zi Wang Stefanie Jegelka
Abstract
Entropy Search (ES) and Predictive Entropy Search (PES) are popular and empirically successful Bayesian Optimization techniques. Both rely on a compelling information-theoretic motivation, and maximize the information gained about the $\arg\max$ of the unknown function; yet, both are plagued by the expensive computation for estimating entropies. We propose a new criterion, Max-value Entropy Search (MES), that instead uses the information about the maximum function value. We show relations of MES to other Bayesian optimization methods, and establish a regret bound. We observe that MES maintains or improves the good empirical performance of ES/PES, while tremendously lightening the computational burden. In particular, MES is much more robust to the number of samples used for computing the entropy, and hence more efficient for higher dimensional problems.
中文速览
贝叶斯优化领域长期依赖熵搜索（Entropy Search / Predictive Entropy Search）来高效寻找黑箱函数的最优点，但这类方法需要估计最优点位置（argmax）在高维输入空间上的分布，计算代价极高。本文提出了"最大值熵搜索"（Max-value Entropy Search，MES），将关注对象从最优点的位置换成最优函数值本身——后者只是一个一维的实数，估计其分布要简单得多，可以用Gumbel分布近似或随机特征蒙特卡洛两种方式高效完成。理论上，作者为MES的一个变体首次建立了遗憾界，并揭示了MES与GP-UCB、PI等经典方法之间的内在联系；实验上，MES在多个基准任务和高维问题上的查询效率与ES/PES持平甚至更优，同时计算速度大幅提升、对采样数量的鲁棒性也更强。这一工作表明，用更易处理的一维最大值信息替代高维argmax信息，足以保留信息论采集函数的核心优势，同时将其计算门槛降低到更实用的水平。
原文 arXiv:1703.01968;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1703.01968v3