语义分割--Learning Object Interactions and Descriptions for Semantic Image Segmentation

Learning Object Interactions and Descriptions for Semantic Image Segmentation
CVPR2017

本文主要是从训练数据的角度来提升CNN分割性能的。由于像素级别标记的样本很少，制作样本成本高。这里直接根据关键词从网络上搜索相关图像，建立了一个数据库 IDW，结合 VOC12上面的训练数据联合训练，对此设计了一个 IDW-CNN 模型，经过联合训练得到的模型用于分割，性能提升比较大。

首先来看看这个IDW数据库的建立
IDW 和 VOC12 两个样本的对比

看看大家都是怎么使用额外的信息

Learning Image Descriptions
We construct an image description in the wild (IDW) dataset to improve the segmentation accuracy in VOC12
这里我们建立一个IDW数据库的图像描述用于提升 VOC12分割性能
In the first stage 根据 VOC12 里的20个类别，选择 21 prepositions and verbs 进行组合，得到 subject + verb/prep. + object’ leads to 20×21×20 = 8400
然后对其进行过滤，得到 hundreds of meaningful phrases，用这些语言描述去搜索图像，根据图像数量再过滤一下，把太少的过滤掉。最终得到 59 valid phrases
IDW has 41,421 images and descriptions

Image Description Representation
根据图像在网络上语言描述信息提取用于分割的关键信息

IDW-CNN 网络结构示意图

IDW-CNN 首先使用 ResNet-101 提取特征，然后有两个 streams：第一个 stream 用于预测初步分割结果，第二个 stream 用于估计物体之间的相关性 object interactions。这里面有 21 object nets 和 22 action nets
每个 subnet 结构如上图（b）所示

两个类别物体特征可以直接相加

训练过程也是逐步进行的。

最后的分割结果：

语义分割--Learning Object Interactions and Descriptions for Semantic Image Segmentation相关推荐

CVF2020邻域自适应/语义分割：FDA: Fourier Domain Adaptation for Semantic SegmentationFDA：用于语义分割的傅立叶域自适应算法
邻域自适应/语义分割:FDA: Fourier Domain Adaptation for Semantic Segmentation FDA:用于语义分割的傅立叶域自适应算法 0.摘要 1.概述 1 ...
轻量级实时语义分割：Guided Upsampling Network for Real-Time Semantic Segmentation
轻量级实时语义分割:Guided Upsampling Network for Real-Time Semantic Segmentation 介绍网络设计 Guided unsampling mo ...
[分割]Learning a Discriminative Feature Network for Semantic Segmentation(DFN)
本文转自3篇文章当作自己的笔记. 文章1:链接 Learning a Discriminative Feature Network for Semantic Segmentation Learning ...
语义分割--RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation
RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation CVPR2017 https:/ ...
论文阅读：PMF基于视觉感知的多传感器融合点云语义分割Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation
题目:Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation 中文:用于 3D LiDAR 语义分割的多传感器感 ...
论文笔记（FCN网络，语义分割）：Fully Convolutional Networks for Semantic Segmentation
FCN论文笔记:Fully Convolutional Networks for Semantic Segmentation 语义分割模型结构时序: FCN SegNet Dilated Convol ...
语义分割--Efficient and Robust Deep Networks for Semantic Segmentation
Efficient and Robust Deep Networks for Semantic Segmentation Code: https://lmb.informatik.uni-freibu ...
【语义分割】OCRNet：Object-Context Representations for Semantic Segmentation
文章目录一.文章出发点二.方法三.效果一.文章出发点每个像素点的类别(label)应该是它所属目标(object)的类别. 所以这篇文章对像素的上下文信息建模建模方法:求每个像素点和每个类 ...
【论文汇总】Semantic-Segmentation(语义分割)
语义分割关于语义分割的所有论文和资源的列表. 数据集重要性语义分割-深度学习 DL模型语义分割的若干实现数据集 voc2012 CitySpaces Mapillary ADE20K PASCA ...

语义分割--Learning Object Interactions and Descriptions for Semantic Image Segmentation

语义分割--Learning Object Interactions and Descriptions for Semantic Image Segmentation相关推荐

最新文章

热门文章