论文地址：https://arxiv.org/abs/2204.00822

源码地址：GitHub - leolyj/SAN-SAW: This is the code related to "Semantic-Aware Domain Generalized Segmentation" (CVPR 2022)

一、背景

不使用任何目标域数据，将分割模型训练为领域不变。现有的方法解决这个问题是把数据标准化为统一的分布。然而作者认为这种标准化推动了全局的归一化，但产生的特征没有足够的识别力来获得清晰的分割边界。

域适应技术的限制在于它需要依赖目标域，需要将目标域数据也加入训练提前适应。但是实际上，很难获取很少出现的概念的数据。

DGSS已经存在的解决DGSS的方法两类。

一类是域随机化，通过数据增强，将源数据增加到多个风格的源域，然而数据增强还是不能够覆盖目标域中可能发生的不同场景。

另一类是归一化和白化。使用预定义的实例归一化或者实例白化来对不同的样本的特征分布进行标准化。

IN（Instance Normalization）是分别对单个图像的每个通道的特征都进行标准化，来减轻由于样式变化引起的特征不匹配。

然而IN只获取了中心层面的对齐忽略了不同通道之间的联合分布。

IW（Instance Whitening）是可以移除通道之间的线性相关性，得到聚类良好的均匀分布的特征。

现在有研究提出把IN和IW结合起来获得特征对齐的联合分布。但是这种全局对齐策略对局部特征分布的一致性缺乏考虑。属于不同对象类别的特征，本来是分离很好的，但是经过归一化却被映射到了一起，在类别之间导致了混淆。特别是泛化到目标域的时候。这种语义上的不一致性不可避免导致训练的次优，导致在不可见的目标域上的性能下降。

二、本文方法

主要是提出两个模块

Semantic-Aware Normalization (SAN)

Semantic-Aware Whitening (SA W)

2.1SAN

SAN（Semantic-Aware Normalization）

把特征图转换为类别层面中心对齐的特征图。

是按照每个样本的特征图的每一个channel的每个类别做标准化。

但是在没有label的目标域上进行测试的时候，Y（c）是未知的。

我们利用SAN模块来近似上面的过程。

如图所示，我们把语义分割分支为对象预测的时候，会为每个类别都预测一个mask，用Mc来表示。

因为每个类别的mask是一个二值图，除了类别对象区域，其他区域的像素值都为0，那我们将提取的

特征图F和Mc做Hadamard Product，也就是对应像素相乘的乘积作为结果像素的值，那么特征F除了相应类别区域的像素以外，都和0相乘变成了0，相当于这个特征图就突出了对应Mc的类别区域。

为每个类别都做这样的操作，就会得到C个不同的特征图F‘。

但是简单地通过这样的相乘，来突出类别特征区域，太过于粗糙，不足以精确地定位类别特征。

因此引入CFR模块，类别级特征细化。

这个模块是将第c类的特征图F’分别经过最大池化和平均池化的结果以及其对应的mask--Mc进行concat，然后经过一个3*3的卷积再经过sigmoid激活，将卷积后的结果与原来的Fc‘进行一个相加。得到细化后的特征图Fc“。

为了进一步细化类别级中心对齐，设计了一个区域归一化层RN，这个模块只在类别特征区域进行归一化，而不是整个图进行归一化。

这里是将平均池化后的Fc“做一个聚类，第一簇为类别区域，其他的都认为是忽略区域。经过RN层以后，只有具有高的值得像素被认为是类别区域。然后只对类别区域进行局部的归一化。我们对每一类的分支都做分别做这样的操作，最后加起来。

然后根据上面的公式7，对F~进行优化。

2.2 SAW

SAW(Semantic-Aware Whitening)

为了进一步增强通道间的去关联，使已经语义中心化的特征进一步分布对齐。提出SAW。

前面说的实例白化IW能够统一联合分布，对于分布式对齐十分有用。

但是如果直接采用IW，直接去除所有的通道间的关联，会损害语义上下文信息。

进而导致损失关键的域不变信息。

SAW是采用分组实例白化的策略。因为每个类别的mask都是通过每个通道乘以不同的权值然后加起来得到的，对于不同的类别，每个通道的权值都不一样。于是我们对每个类别c的K个通道的权值取绝对值从大到小做一个排列。以class1为例，第15个通道的权值最大，第21个通道次之……我们将每个类别权值最大的通道放一起作为第一组，第二大的权值的通道放一起作为第二组，以此类推，一共可以分为K组，每组中有C个通道特征图。每一组特征都将其C*C大小的相关矩阵和单位矩阵之间进行损失计算进行优化。以达到分布对齐而不对语义信息造成损失。

（论文阅读笔记）Semantic-Aware Domain Generalized Segmentation相关推荐

论文阅读：Semantic Aware Attention Based Deep Object Co-segmentation（ACCV2018）
协同分割论文:Semantic Aware Attention Based Deep Object Co-segmentation(ACCV2018) 论文原文 code 目录 1.简介 2. ...
[论文阅读笔记]SEMANTIC ADVERSARIAL ATTACKS: PARAMETRIC TRANSFORMATIONS THAT FOOL DEEP CLASSIFIERS(ICCV)
SEMANTIC ADVERSARIAL ATTACKS: PARAMETRIC TRANSFORMATIONS THAT FOOL DEEP CLASSIFIERS(2019 ICCV) 文章简介: ...
论文阅读笔记：Retinal blood vessel segmentation using fully convolutional network with transfer learning
Retinal blood vessel segmentation using fully convolutional network with transfer learning 使用全卷积网络与迁 ...
全卷积（FCN）论文阅读笔记：Fully Convolutional Networks for Semantic Segmentation
论文阅读笔记:Fully Convolutional Networks forSemantic Segmentation 这是CVPR 2015拿到best paper候选的论文. 论文下载地址:Fu ...
【领域泛化论文阅读】Semantic-Aware Domain Generalized Segmentation
关于图像白化和色彩变换的基本内容可以参考: 图像标准化.图像白化.色彩变换_S L N的博客-CSDN博客论文是针对语义分割的领域泛化模型.论文提出了SAN和SAW两个模块来增强类别之间的分离,类内 ...
LiDAR-based Panoptic Segmentation via Dynamic Shifting Network(论文阅读笔记)
LiDAR-based Panoptic Segmentation via Dynamic Shifting Network(论文阅读笔记) 环形扫描骨干网络.动态漂移.一致性驱动的融合一.重点内容 ...
【论文阅读笔记】语义三维重建CVPR2011：Semantic Structure from Motion
前文回顾 [论文阅读笔记]Past, Present, and Future of Simultaneous Localization and Mapping [论文阅读笔记]语义SLAM语义映射模型 ...
《Segment as Points for Efficient Online Multi-Object Tracking and Segmentation》论文阅读笔记
<Segment as Points for Efficient Online Multi-Object Tracking and Segmentation>论文阅读笔记 1.介绍 2.相 ...
PolyFormer: Referring Image Segmentation as Sequential Polygon Generation 论文阅读笔记
PolyFormer: Referring Image Segmentation as Sequential Polygon Generation 论文阅读笔记一.Abstract 二.引言三.相 ...

（论文阅读笔记）Semantic-Aware Domain Generalized Segmentation

一、背景

二、本文方法

2.1SAN

2.2 SAW

（论文阅读笔记）Semantic-Aware Domain Generalized Segmentation相关推荐

最新文章

热门文章