0. 写作目的

好记性不如烂笔头。

1. 主要思路

目前的self-attention需要生成 N * N 的affinity 矩阵（其中N = H * W），作者提出存在一种更有效的方法？

因此作者提出了 Criss-Cross attention，使用“十字架” 的结构来代替所有的位置(感觉使用“十字架”的paper很多，比如GCN使用十字街的conv，SPNet使用“十字架”的Pooling)。然后使用两次 criss-cross attention，这样可以综合全部的空间信息。

2. 模型具体细节

reduction 先将使用3*3conv将channel降低为输入channel 的1/4.

然后加入在两层 Criss-cross Attention Module之后，然后使用3*3conv进行refine一下得到H‘’，然后与X 进行concat，

然后使用3*3conv + BN + dropuout + 1*1Conv输出结果（这里输出的是下采样的结果）。

作者这里也使用了辅助loss，在layer3 加入了辅助loss，权重为0.4。

criss-cross attention module细节：

其中，Q， K 1*1得到的channel 为输出channel的1/8，V 的channel与输入channel相同。

3. 实验结果

注：文中图片来自于paper。

There may be some mistakes in this blog. So, any suggestions and comments are welcome!

[Reference]

1. paper: https://arxiv.org/pdf/1811.11721.pdf

2. code: https://github.com/speedinghzl/CCNet

CCNet_Criss-Cross Attention for Semantic Segmentation相关推荐

CCNet: Criss-Cross Attention for Semantic Segmentation论文读书笔记
CCNet: Criss-Cross Attention for Semantic Segmentation读书笔记 Criss-Cross Network(CCNet): 作用: 用来获得上下文信息 ...
【Lawin Transformer2022】Lawin Transformer: Improving Semantic Segmentation Transformer with Multi-Sc
Lawin Transformer: Improving Semantic Segmentation Transformer with Multi-Scale Representations via ...
【Semantic Segmentation】语义分割综述
[Semantic Segmentation]语义分割综述 metric 为mIOU year method PASCAL VOC 2012 PASCAL Context Cityscapes ADE ...
CVPR2022自适应/语义分割：Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation
CVPR2022自适应/语义分割:Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation用 ...
阅读笔记：Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation 基于等变注意力机 ...
Pyramid Attention Network for Semantic Segmentation
翻译 | 林椿眄出品 | 人工智能头条(公众号ID:AI_Thinker) 近日,北京理工大学.旷视科技.北京大学联手,发表了一篇名为 Pyramid Attention Network for S ...
【论文阅读】Online Attention Accumulation for Weakly Supervised Semantic Segmentation
一篇弱监督分割领域的论文,其会议版本为: (ICCV2019)Integral Object Mining via Online Attention Accumulation 论文标题: Online ...
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation 论文解读
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation code:Visual-Attention-N ...
【论文阅读】Cross Language Image Matching for Weakly Supervised Semantic Segmentation
这篇论文是CLIP模型较早的在弱监督分割上应用的论文. 论文标题: Cross Language Image Matching for Weakly Supervised Semantic Segme ...
【ACNET2019】：ATTENTION BASED NETWORK TO EXPLOIT COMPLEMENTARY FEATURES FOR RGBD SEMANTIC SEGMENTATION
ACNET: ATTENTION BASED NETWORK TO EXPLOIT COMPLEMENTARY FEATURES FOR RGBD SEMANTIC SEGMENTATION ACNE ...

CCNet_Criss-Cross Attention for Semantic Segmentation