Grafit: Learning fine-grained image representations with coarse labels
Hugo Touvron∗,† Alexandre Sablayrolles ∗ Matthijs Douze ∗ Matthieu Cord † Hervé Jégou ∗ ∗ Facebook AI Research †Sorbonne University Figure 1: Category-level retrieval orders images based on their semantic similarity to a query. The Grafit method, although it has used only coarse labels (like ’pyrgus’) at training time, produces a ranking consistent with fine-grained labels. Unsupervised learning is a particular case of this task, in which the set of coarse labels is reduced to a singleton. Image credit: [1].
Abstract
This paper tackles the problem of learning a finer representation than the one provided by training labels. This enables fine-grained category retrieval of images in a collection annotated with coarse labels only.
中文速览
用粗粒度标签训练出来的图像特征，往往难以区分更细粒度的类别——比如用"鸟"这个大类标签训练的模型，很难分清具体是哪种鸟。为了解决这个问题，本文提出了一种叫做 Grafit（Granularity Fitting）的方法，同时使用两个训练目标：一个基于最近邻分类的 kNN 损失（利用粗粒度标签）和一个受自监督学习启发的实例级损失（通过让同一张图的不同数据增强版本彼此靠近，挖掘细粒度结构），让模型在只有粗标签的情况下学到更细粒度的特征表示。在检索阶段，Grafit 还进一步将嵌入相似度与粗粒度分类概率结合起来，设计出一种条件化排序策略，使检索结果更准确。实验结果表明，Grafit 在细粒度图像检索和"即时分类"任务上大幅领先现有方法（如 ImageNet 上的 top-1 准确率提升高达 +16.3%），并在 Oxford Flowers-102、Stanford Cars、Food101、iNaturalist 2018 和 2019 五个迁移学习基准上刷新了最优水平，说明无需精细标注也能习得高质量的细粒度视觉表示。
原文 arXiv:2011.12982;中英对照 + 大白话阅读 https://aha.fim.ai/paper/2011.12982v1