中文速览

针对随机目标函数的梯度优化，传统方法常难以同时应对大规模数据、参数众多、梯度噪声大或稀疏等情况，论文提出了 Adam（自适应矩估计）算法。它通过估计梯度的一阶和二阶矩来自动调整每个参数的步长，计算和存储开销小，对梯度的按维缩放不敏感，且通常不需要复杂调参。理论分析表明，Adam 在在线凸优化中具有与当时最佳结果相近的收敛和遗憾界，实验也显示它的实际表现优于多种随机优化方法，并进一步给出了基于无穷范数的 AdaMax 变体。