OCNet: Object Context for Semantic Segmentation
Yuhui Yuan1,3,4134{}^{\textbf{1},\textbf{3},\textbf{4}} Lang Huang22{}^{\textbf{2}} Jianyuan Guo22{}^{\textbf{2}} Chao Zhang22{}^{\textbf{2}} Xilin Chen3,434{}^{\textbf{3},\textbf{4}} Jingdong Wang11{}^{\textbf{1}}
Abstract
In this paper, we address the semantic segmentation task with a new context aggregation scheme named object context, which focuses on enhancing the role of object information. Motivated by the fact that the category of each pixel is inherited from the object it belongs to, we define the object context for each pixel as the set of pixels that belong to the same category as the given pixel in the image. We use a binary relation matrix to represent the relationship between all pixels, where the value one indicates the two selected pixels belong to the same category and zero otherwise.
中文速览
语义分割（semantic segmentation）的核心难题在于：如何让模型理解"每个像素究竟属于哪个物体类别"，而不仅仅依赖空间位置相近的像素。这篇论文提出了一种叫做"对象上下文"（Object Context）的新方案——核心思想是：既然每个像素的类别本质上来自它所属的物体，那么在做上下文聚合时，就应该优先收集图像中与该像素同类别的那些像素的信息，而非笼统地取周围区域的混合信息。为了实现这一目标，论文用一个稠密关系矩阵来近似"哪些像素属于同一类别"的二值关系矩阵，并通过自注意力机制（self-attention）来预测它；针对自注意力计算量随像素数平方增长的效率瓶颈，论文进一步提出了"交错稀疏自注意力"（Interlaced Sparse Self-Attention，ISA），用两个稀疏关系矩阵的组合来高效近似稠密关系矩阵，大幅降低计算与内存开销。在此基础上构建的 OCNet 在 Cityscapes、ADE20K、LIP、PASCAL-Context 和 COCO-Stuff 五个主流基准上均取得了有竞争力的结果，证明显式强调物体像素的上下文建模思路能够切实提升分割精度，同时保持实用的计算效率。
原文 arXiv:1809.00916;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1809.00916v4