The generalization error of max-margin linear classifiers: Benign overfitting and high dimensional asymptotics in the overparametrized regime
Andrea Montanari, Feng Ruan, Youngtak Sohn, Jun Yan Department of Electrical Engineering and Department of Statistics, Stanford UniversityDepartment of Statistics and Data Science, Northwestern UniversityDepartment of Mathematics, Massachusetts Institute of TechnologyDepartment of Statistics, Stanford University
Abstract
Modern machine learning classifiers often exhibit vanishing classification error on the training set. They achieve this by learning nonlinear representations of the inputs that maps the data into linearly separable classes.
中文速览
大规模分类器（比如神经网络）在训练集上几乎零误差，却仍能在新数据上表现良好，这一"良性过拟合"现象的理论机制至今不明——这篇文章就是要搞清楚它。作者把问题聚焦在高维线性可分数据上的最大间隔分类器（max-margin classifier），在特征维度 p 与样本量 n 等比例趋向无穷（p/n→ψ）的框架下，对服从高斯分布的特征向量推导出了泛化误差的精确极限公式。基于这一理论，他们给出了协方差矩阵 Σ 和真实参数 θ* 满足什么条件时会出现良性过拟合，并将分析推广到单层随机神经网络生成的特征，得到了可用于实际模型的精确泛化误差表达式。这项工作填补了超参数化分类理论的核心空白——此前精确分析主要局限于岭回归等线性代数结构，而最大间隔分类需要全新的数学工具，其结论也为理解"过拟合反而有益"提供了严格的理论依据。
原文 arXiv:1911.01544;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1911.01544v3