论文阅读-(CCNet)Criss-Cross Attention for Semantic Segmentation
相关论文 non local 操作
要点:
criss-cross attention module 获得上下文信息
循环操作, 每一个像素可以获得全图信息优势:
与non-local 操作相比,少了85%的浮点运算,
与non-local 操作相比,GPU占用率时1/11
state of the art现存问题
Due to the fixed geometric structures, they are inherently limited to local receptive fields and short-range contextual information.导致全卷积神经网络没有足够的上下文信息现存解决方案:
- ASPP
不足:从周围像素获取信息,不能获得dense contextual information - 金字塔池化
均等的上下文信息被所有像素所采纳,不符合不同的像素有不同的依赖 - non local 操作
O((H × W ) × (H × W )) in time and space
- ASPP
网络结构
(1)基本结构
特征提取网络,去除最后两个下采样层以后获得原图1/8大小的特征图 X
对 X 降维 获得特征图 H
将特征图 H 输入 第一个 criss-cross attention (CCA) module 得到 H’, H’ 将水平,竖直方向的远距离上下文信息进行聚合.
特征图 H’ 输入到第二个CCA,得到H’’,这一步操作将收集到每一个像素的信息
连接 X H’’ 送入多个带bn和激活函数的卷积层以及分割层
(2)Criss-Cross Attention
首先对输入的特征图H进行两个1x1卷积,得到两个特征图Q,K. Q,K的通道数小于H
得到Q,K之后,通过Affinity operation 得到attention map:
H 通道数为C Q,K通道数为C’
Affinity operation
对于特征图Q的每一个位置u,我们可以得到一个向量 Qu(维度等于Q的通道数)
对于位置u,我们可以在特征图K上得到一个集合 Ωu, 对应的是和K中和u在同一行或者同一列上的向量的集合,i指的是 Ωu中的第i个元素
Affinity 操作
d i,u 衡量了 Ωui 和 Qu的相似度
最后 对于每个位置u,我们可以得到其与同行/列的 H+W −1 个位置的相关性
针对整个特征图(H+W ) 我们可以得到 (H+W −1)×W ×H 维的相关性矩阵,对于这个矩阵进行softmax操作得到attention map A
Aggregation operation
以上得到的是每个位置 与 其同行同列的相关性 接下来就是针对原输入特征图, 特征图上的每一个位置=十字区域的加权(权重来源于attention map)
先对H进行1*1 卷积,保留通道数C 得到特征图V
Hu’ 是输出特征图在u位置的输出, Aiu表示的是对于位置u,第i个通道的值(也就是十字中i对应的位置的权重), Φi u指的是V的十字通道中对应的第i个vector
循环再来一次 得到全局的attention
论文阅读-(CCNet)Criss-Cross Attention for Semantic Segmentation相关推荐
- 论文阅读 | Residual Conv-Deconv Grid Network for Semantic Segmentation
GridNet发表在BMVC2017,用于语义分割,一篇很早期的文章 论文地址:[here] (文章没有给代码地址,但是里面的网络设计讲的很详细,可以自己复现出来,github上也有很多别人复现的代码 ...
- 【Few-Shot Segmentation论文阅读笔记】PANet: Few-Shot Image Semantic Segmentation with Prototype , ICCV, 2019
Abstract Target Question: Few-shot Segmentation 本文主要工作: 基于metric-learning的思想,本文提出了PANet(Prototype Al ...
- 论文阅读 (88)：Adversarial Examples for Semantic Segmentation and Object Detection
文章目录 1. 概述 2 算法 2.1 稠密对抗生成 2.2 选择用于检测的输入提案 1. 概述 题目:用于语义分割和目标检测的对抗样本 核心点:将对抗性样本的概念扩展到语义分割和对象检测,并提出稠密 ...
- [论文阅读] Cost-Effective REgion-based Active Learning for Semantic Segmentation
论文地址:https://arxiv.org/abs/1810.09726 发表于:BMVC'18 Abstract 最先进的语义分割方法在有监督的情况下使用大量的标注训练图像语料库进行训练.然而,与 ...
- 【论文阅读】Structured Knowledge Distillation for Semantic Segmentation
概述 这篇论文来自CVPR2019 Oral. 论文的出发点:语义分割的模型往往很难兼顾速度与精度,也因此语义分割的网络分为两类,论文中描述为 cumbersome segmentation netw ...
- 【论文阅读】Fully Convolutional Networks for Semantic Segmentation【CVPR,PAMI】
摘要 我们的研究表明,卷积网络通过端到端.像素到像素的训练,在语义分割方面比之前的最佳结果有所提高 我们的关键见解是构建完全卷积网络,它接受任意大小的输入,并产生相应大小的输出,并具有有效的推理和学习 ...
- [ICCV2019论文阅读]Asymmetric Non-local Neural Networks for Semantic Segmentation
作者:Zhen Zhu, Mengde Xu, Song Bai, Tengteng Huang, Xiang Bai 机构:Huazhong University of Science and Te ...
- CCNet: Criss-Cross Attention for Semantic Segmentation论文读书笔记
CCNet: Criss-Cross Attention for Semantic Segmentation读书笔记 Criss-Cross Network(CCNet): 作用: 用来获得上下文信息 ...
- 论文阅读：Regularizing Deep Networks with Semantic Data Augmentation
论文阅读:Regularizing Deep Networks with Semantic Data Augmentation 动机 特征空间的语义变换 Implicit semantic data ...
- CVPR2020论文解读：三维语义分割3D Semantic Segmentation
CVPR2020论文解读:三维语义分割3D Semantic Segmentation xMUDA: Cross-Modal Unsupervised Domain Adaptation for 3D ...
最新文章
- 18秋c语言程序设计作业答案,[四川大学]《C语言程序设计0008》19秋在线作业2
- 写给 Android 应用工程师的 Binder 原理剖析
- 怎样使用两行代码实现博客园打赏功能
- 一个列中多行求和_excel表格制作,Excel表格的基本操作，包含制作一个表格10方面的知识（1）...
- Android studio每次启动卡在fetching Android sdk compoment information的解决方案
- 干货：实现数据可视化的几个工具选择（工具+编程语言）
- python调用caffe环境配置
- 这款中间件支持多线程，居然吊打牛B的 Redis！
- Android签名证书：jks和keystore
- gps经纬度坐标 c语言,测试百度地图输入GPS经纬度显示位置API
- anychart HTML5中文乱码,anychart使用手册一.doc
- 计算机03年word做母亲节贺卡,制作图文并茂的作品---用word制作母亲节贺卡PPT课件...
- 安卓扫码枪开发，拦截扫码事件
- 股票大作手回忆录投机感悟
- 数字平原制作手游场景《仙境》
- Java导出超大Excel文件，防止内存溢出
- 评论发表之屏蔽关键字
- 校园二手物品商城交易平台
- 燕十八 mysql_燕十八mysql笔记
- java给图片加水印_Java 为图片添加水印（图片水印，文字水印）