ResNet strikes back: An improved training procedure in timm
Ross Wightman∘ Hugo Touvron⋆,† Hervé Jégou⋆ ∘Independent researcher ⋆Facebook AI †Sorbonne University
Abstract
The influential Residual Networks designed by He et al. remain the gold-standard architecture in numerous scientific publications. They typically serve as the default architecture in studies, or as baselines when new architectures are proposed. Yet there has been significant progress on best practices for training neural networks since the inception of the ResNet architecture in 2015. Novel optimization & data-augmentation have increased the effectiveness of the training recipes.
中文速览
残差网络（ResNet）自2015年问世以来一直是图像分类的标杆架构，但过去几年里训练技巧已经大幅进步，原版ResNet-50却从未被用这些新方法系统地重新训练过，导致文献中报告的基线性能普遍偏低（75%–79.5%之间）。为此，研究者针对原版ResNet-50设计了三套训练方案（分别对应100、300、600个训练轮次），综合引入了LAMB优化器、RandAugment、Mixup与CutMix数据增强、随机深度正则化，以及一个关键创新——将多标签二元交叉熵损失替代传统交叉熵，使混合样本中每个类别都被视为独立存在而非互斥概率。最终，在不借助额外数据或知识蒸馏的条件下，原版ResNet-50在ImageNet上的top-1准确率达到80.4%，远超此前所有基线，相关训练权重已开源至timm库。这项工作的意义在于：它为未来架构对比研究提供了一个真正有竞争力的公平基线，避免新模型因与过时训练方案比较而虚高收益。
原文 arXiv:2110.00476;中英对照 + 大白话阅读 https://aha.fim.ai/paper/2110.00476v1