Material Recognition in the Wild with the Materials in Context Database
Sean Bell Paul Upchurch††Noah Snavely Kavita Bala Department of Computer Science, Cornell University Authors contributed equally
Abstract
Recognizing materials in real-world images is a challenging task. Real-world materials have rich surface texture, geometry, lighting conditions, and clutter, which combine to make the problem particularly difficult. In this paper, we introduce a new, large-scale, open dataset of materials in the wild, the Materials in Context Database (MINC), and combine this dataset with deep learning to achieve material recognition and segmentation of images in the wild.
中文速览
现实照片里的材质识别一直很难，因为同一种材质在不同光照、形状和拍摄背景下外观差异巨大。研究者构建了一个名为 MINC（Materials in Context Database）的大规模材质数据集，包含来自 Flickr 和家居设计网站 Houzz 的近 300 万个标注样本，覆盖 23 个材质类别，比此前最大的同类数据集大了一个数量级，同时通过众包流水线大幅降低了标注成本。基于这个数据集，他们训练了卷积神经网络（CNN）来做两件事：识别图像局部区域的材质类别（patch 分类准确率达 85.2%），以及对整张图像做逐像素的材质分割——方法是将全卷积网络与全连接条件随机场（CRF）结合，实现 73.1% 的像素级平均分类准确率。实验结果表明，数据集的规模和类别均衡性对真实场景下的材质识别至关重要，这项工作为机器人、产品搜索和室内设计等应用中的自动材质理解奠定了重要基础。
原文 arXiv:1412.0623;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1412.0623v2