ICNet: Intra-saliency Correlation Network for Co-Saliency Detection
ICNet: Intra-saliency Correlation Network for Co-Saliency Detection
- 摘要
- 主体思想
- 整体框架
- 详细模块
- SISMs
- NMAP
- CFM
- RSCF
- SCF
- RFSCF
- 总结
摘要
在该论文中,提出一个显著性内部相关网络(ICNet),以从任何现成的SOD方法预测的单个图像显著性图(SISM)中提取显著性内部之间的信息,和通过相似获得图像之间的信息。
主体思想
整体框架
详细模块
SISMs
single image saliency maps 是通过任意一个训练好的SOD框架预测得来的对应协同显著图的显著目标检测图,可以抑制一些协同显著图的背景的影响。
NMAP
SISM和高级语义特征图通过逐元素相乘(对应元素相乘),可获得抑制背景后的高级语义特征图,再通过全局平均池化和归一化处理获得 single-image vectors(SIVs),SIVs可以表示出显著图内部的类别,通过观察b图第二行可视化,可以证明SIVs与各显著图特征内积可以得出类别信息,所以后面的图片间的相似性可以通过当前图片与各个图片生成的SIVs求相似再融合获得最终的共显著图。
CFM
计算相似,之前的方法都是通过图片间的矩阵相乘获取。该方法是先获得每个图像的SIVs,然后就算每个图片与这些SIVs之间的correlation。图片以4张图片为例,计算4个SIVs与单张图高级语义特征图进行元素级内积,获得相似图4张。每张相似图突出显示与SIVs对应图像内部类别的区域。由于各个图的SIVs受到SISMs的影响,可能不包括共同类或不代表共同类,相似图凸显的区域也与共同类无关。为了减弱这些影响,在融合这些相似图之前,为每一个相似图加一个权重,该权重代表与其他相似图的相似度,具体操作如下图。通俗的讲,该相似图与其他相似图越相似获取的权值越大,相反权值越小,从而减少干扰。最后对4个相似图结合对应权值进行SUM,得到最终的共显著图co-salient attention(CSA)。
RSCF
由上述获得CSAmaps,可以直接拿它与单张图的高层语义特征图相乘获得集中在共同显著区域的语义特征图,最终获得预测图。然而,这种融合方式失败的去区分一些相似但不同类的像素,导致次最优的预测结果。这主要由于相似图是类无关,仅反射共显著的分值,而高级语义特征图F是类有关,每一个像素级向量代表一个特定的类。预测的时候主要依赖相似图,忽视了F的类别信息。为了解决这个不一致性,提出利用F的类别信息,通过计算F元素间的相似性。(个人认为,未进行操作前,相似像素之间差别较小,通过SCF操作,可以放大相似像素间的差距。)
SCF
这里面进行的是相似操作。F与F的转置相乘获得相似图SCF。SCF共有HW个通道,每一个通道代表每个像素与其他所有像素的相似,这样像素的信息只代表相似值,与类别无关。
RFSCF
对SCF重新排列,获得RFSCF,防止过拟合。由于SCF的HW个通道是按照像素位置排列的,这样多次训练,会导致结果严格依赖位置信息,这样会导致过拟合。为了解决该问题,要多SCF重排列,排列的顺序参考CSAmaps的像素索引。我们可以获得CSAmaps中像素值从大到小对应的索引值,然后SCF根据这些索引值调整通道的位置,最后获得RFSCF。
总结
对论文目前的理解就是上面的内容,但在很多细节方面仍未理解清楚,有待进一步学习知识去理解,日后若有所悟,再进行更新。仅供参考,希望大佬们可以给出指正和深层次的见解。
ICNet: Intra-saliency Correlation Network for Co-Saliency Detection相关推荐
- 【论文笔记】PSCC-Net: Progressive Spatio-Channel Correlation Network for Image Manipulation Detection and
PSCC-Net: Progressive Spatio-Channel Correlation Network for Image Manipulation Detection and Locali ...
- PSCC-Net: Progressive Spatio-Channel Correlation Network for Image Manipulation Detection and Locali
arXiv 2021 Mar 图像的篡改检测分为隐式检测和显式检测 隐式检测 说明了图像整体篡改的概率 显式检测 说明逐像素篡改的概率 即判定一张图片是否经过篡改 和 像素级别的定位篡改 近年来的算法 ...
- 文献学习(part7)--A strategy to incorporate prior knowledge into correlation network cutoff selection
学习笔记,仅供参考,有错必纠 文章目录 A strategy to incorporate prior knowledge into correlation network cutoff select ...
- WGCNA | weighted correlation network analysis
早就接触过这个包了,只是一直畏惧,以为很复杂,也没有应用场景,所以认识很肤浅. 现在有应用场景了,我自己开发了一个幼稚的版本,发现了很多需求,后来想起了WGCNA似乎部分解决了我的问题,今天认真打开了 ...
- EGNet: Edge Guidance Network for Salient Object Detection 论文及代码解读
EGNet: Edge Guidance Network for Salient Object Detection 论文及代码解读 注:本文原创作者为Jia-Xing Zhao, Jiang-Jian ...
- 显著性目标检测之Global Context-Aware Progressive Aggregation Network for Salient Object Detection
Global Context-Aware Progressive Aggregation Network for Salient Object Detection 文章目录 Global Contex ...
- 目标检测--A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection
A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection ECCV2016 https://g ...
- 快速多尺度人脸检测--Multi-Scale Fully Convolutional Network for Fast Face Detection
Multi-Scale Fully Convolutional Network for Fast Face Detection BMVC 2016 如何能够快速的实现多尺度人脸检测了? 本文的思路是 ...
- 人脸检测--Supervised Transformer Network for Efficient Face Detection
Supervised Transformer Network for Efficient Face Detection ECCV2016 人脸检测: the cascaded network:end- ...
- 【边缘检测】BDCN:Bi-Directional Cascade Network for Perceptual Edge Detection
CVPR 2019 Bi-Directional Cascade Network for Perceptual Edge Detection github链接:https://github.com/p ...
最新文章
- 今日宇宙最热科技:人工智能可预测死亡时间,马斯克拿下美空军1.3亿合同!...
- Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统
- 数据挖掘SPSS Clementine 12.0.3 多国语言(含中文)破解版
- JSTL标签显示动态控件
- 【CodeForces - 510D】Fox And Jumping(dp,stlmap,数论的性质)
- RPC框架的实现原理,及RPC架构组件详解
- html盒子中盒子排列,css3中弹性盒排布使用方法
- 机器学习实战——KNN及部分函数注解
- IDEA写java的一些快捷键
- 图解 TCP IP 协议:三次握手、四次挥手
- CentOS 逻辑卷扩容
- uc看视频显示服务器有点忙,uc浏览器常见问题集锦(一)
- 把期货当现货做,专业投机大局观
- 速读原著-UnixLinux基础(七)
- 安装Ubuntu16.04视频播放器smplayer
- linux设备模型--sysfs
- 巴特沃斯滤波器、切比雪夫、椭圆滤波
- 元宇宙持续火爆,这些问题值得思考和警惕!
- 要大进步就不能两手抓
- Apache Solr 中文分词
热门文章
- 怎么用wifi进e站_科普微e站 | 注意!路由器千万别再这样用,当心信号越来越差!...
- 海洋cms宝塔定时linux,海洋cms设置宝塔计划任务自动采集
- Python转换excel文件,将xlsx文件转换为xls文件
- VR中的9轴传感器(重力加速度/陀螺仪/磁力计).md
- java url链接超时_Java编程中HttpURLConnection的连接超时中的异常
- aardio - 仿安装界面进行窗口高度调节的方法
- 用swing写个简单的登录器
- 2021-03-15 maven项目中引入自定义的jar包
- linux卷空间不足问题 gparted工具重新分配根分区空间
- 软件架构设计---产品线及系统演化