Feature Purification: How Adversarial Training Performs Robust Deep Learning
Zeyuan Allen-Zhu Microsoft Research Redmond Yuanzhi Li Carnegie Mellon University
Abstract
Despite the empirical success of using adversarial training to defend deep learning models against adversarial perturbations, so far, it still remains rather unclear what the principles are behind the existence of adversarial perturbations, and what adversarial training does to the neural network to remove them.
中文速览
对抗样本（adversarial examples）长期以来只有经验层面的理解，人们知道对图片加微小扰动就能骗过神经网络，也知道对抗训练（adversarial training）能提升鲁棒性，却说不清楚背后的数学原理。这篇论文提出了"特征净化"（feature purification）这一核心机制：在普通梯度下降训练过程中，每个神经元的权重会悄悄积累一小部分与训练数据平均值高度相关的"稠密混合"成分，正是这部分成分让模型极易被微小对抗扰动攻破；而对抗训练的本质作用，就是把这些"杂质"从神经元权重中清除出去，留下真正鲁棒的特征。作者以两层ReLU神经网络为研究对象，在稀疏编码数据模型下给出了完整的理论证明——首次同时证明了普通训练必然不鲁棒、对抗训练可证明鲁棒，并进一步证明线性分类器、低次多项式乃至神经正切核（Neural Tangent Kernel）等低复杂度模型无论如何训练都无法抵御同等强度的攻击，同时在CIFAR-10等真实数据集上的实验也验证了这一原理在深层网络中同样成立。这项工作第一次从理论上解释了"为什么对抗训练有效"以及"为什么对抗样本能在不同网络间迁移"，为深度学习鲁棒性研究奠定了坚实的数学基础。
原文 arXiv:2005.10190;中英对照 + 大白话阅读 https://aha.fim.ai/paper/2005.10190v4