EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Mingxing Tan Quoc V. Le
Abstract
Convolutional Neural Networks (ConvNets) are commonly developed at a fixed resource budget, and then scaled up for better accuracy if more resources are available. In this paper, we systematically study model scaling and identify that carefully balancing network depth, width, and resolution can lead to better performance. Based on this observation, we propose a new scaling method that uniformly scales all dimensions of depth/width/resolution using a simple yet highly effective compound coefficient. We demonstrate the effectiveness of this method on scaling up MobileNets and ResNet.
中文速览
模型缩放（model scaling）一直是提升卷积神经网络精度的常用手段，但过去大家要么只放大网络深度、要么只放大宽度或分辨率，三者如何协同从未被系统研究过。谷歌的研究者发现，深度、宽度和输入分辨率这三个维度之间存在紧密关联，单独放大任何一维都会出现收益递减，只有按固定比例同步放大才能在计算量相同的条件下获得最优精度，为此他们提出了"复合缩放系数"（compound coefficient）这一简洁方法——用一个统一的系数φ控制三个维度同比例扩展。在此基础上，他们还通过神经架构搜索（neural architecture search）设计了一个高效的基础网络，并将其按复合缩放逐级扩展，得到一系列名为 EfficientNet 的模型；其中 EfficientNet-B7 在 ImageNet 上达到 84.3% 的 top-1 精度，参数量仅为当时最强模型 GPipe 的八分之一，推理速度快 6 倍，在多个迁移学习数据集上也以少一个数量级的参数量刷新了最优成绩。这项工作揭示了卷积网络缩放的基本规律，为在有限算力下设计高精度模型提供了一套简单可复现的原则。
原文 arXiv:1905.11946;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1905.11946v5