【论文精读】TMI2022.FCP-Net
语义分割论文
论文：FCP-Net: A Feature-Compression-Pyramid Network Guided by Game-Theoretic Interactions for Medical Image Segmentation
论文地址：https://ieeexplore.ieee.org/document/9667534
Published in: IEEE Transactions on Medical Imaging ( Volume: 41, Issue: 6, June 2022)
目录
语义分割论文
摘要
尚未解决的问题：
一、主要亮点
二、网络结构
1.FCP-Net
2.An embedded feature ensemble for separable convolution module
3. Dilated spatial mapping and channel attention modules
4. Branch layer fusion module
5. Decoder
四、损失函数
1.合作博弈：夏普利值（shapley value）性质与算法
2.这部分其实没有看太懂，唉。。。
三、实验部分
1. 消融实验
摘要
医学图像分割是疾病诊断和分析的关键步骤，具有重要的临床应用价值。DeepLabv3+等深度神经网络方法已成功应用于医学图像分割，但多层特征很少无缝集成到不同的注意机制中，很少有研究探讨医学图像分割与分类任务之间的交互作用。
在此，我们提出了一个由博弈论相互作用和混合损失函数(HLF)引导的特征-压缩-金字塔网络(FCP-Net)用于医学图像分割。该方法由分割分支、分类分支和交互分支组成。在编码阶段，利用嵌入特征集成、膨胀空间映射与通道注意(DSMCA)和分支层融合三个模块，提出了一种新的分割分支策略。
这些模块可以有效提取空间信息，高效识别各种特征之间的空间相关性，并充分集成不同分支的多接收野特征。在解码阶段，利用DSMCA模块和多尺度特征融合模块建立多个跳接增强融合特征。引入分类和交互分支是为了探索分类信息任务对分割任务的潜在好处。我们从博弈论的角度进一步探讨了分割和分类分支的相互作用，并设计了一个HLF。基于该HLF，分割、分类和交互分支可以在整个训练过程中相互协作学习和教授，从而利用分割任务和分类任务之间的联合信息，提高泛化性能。利用包括ISIC2017、ISIC2018、REFUGE、Kvasir-SEG、BUSI和PH2在内的多个数据集对所提出的模型进行了评估，结果证明其与其他最先进的技术相比具有竞争力。
尚未解决的问题：
- attention权重的稳定性以及注意机制与残差块之间的互补性尚未被充分利用，以缓解病灶分割的挑战；
- 多层次特征很少完美地集成到不同的注意机制中，这可能导致低层次特征的冗余使用；
- 为了学习额外的特征表示，提高模型的泛化能力，以往的多任务学习方法通常使用特征通过模块或两步训练策略，这增加了模型的参数和推理的复杂性。
一、主要亮点
- 特征压缩金字塔网络(FCP-Net)，由三个分支组成，如分割(主要分支)、分类和交互分支，来提取目标的空间信息、通道信息和多尺度信息
- 由博弈论相互作用和混合损失函数(HLF)指导，通过这种交互，不同分支可以在整个训练过程中相互协作学习和教授，从而利用分割任务和分类任务之间的联合信息，提高泛化性能。
二、网络结构
1.FCP-Net
提出的FCP-Net由三个分支组成，分别是分割、分类和交互(见图1)。其中最主要的分支是用于医学图像分割的分割分支。分类分支和交互分支是辅助分支，用于探索分割和分类之间的交互作用。在分割分支中，编码器网络用于学习输入数据的潜在表示，解码器网络用于从编码器模块重建信息。本文提出了一种新的编码策略，包括EFE、DSMCA和BLF模块。这三个组件用于:
- Embedded Feature Ensembles基于上下文信息和权重的特征响应自适应重新校准：采用EFE模块自适应捕获卷积层信道之间的显式关系。通过使用轻量级注意机制，这是为了专注于有用的功能，同时抑制其他功能。
- Dilated Spatial Mapping And Channel Attention捕捉不同特征之间的空间相关性，并将注意力集中在通道关系上，以提高性能：为了有效地提取和利用多尺度上下文信息。
- Branch Layer Fusion分别对目标进行多分支信息集成：利用BLF模块集成不同分支间的多接收域信息。
在编码器网络的末端为分割分支添加分类分支。分类分支包括一个全局平均池化层、两个全连接层和一个激活函数，可以预测输入图像的良恶性。交互分支提供分类分支和分割分支之间的交互信息。如前所述，交互分支只在训练阶段使用。
2.An embedded feature ensemble for separable convolution module
受SE网络的启发，提出通过一个注意力机制和残差块的EFE模块用来捕获卷积层通道之间的关系；第一个组件是深度可分离卷积，然后送入squeeze and multi-excitation (SME) 中，SME是通过改进SE获得的，用来自适应地捕获信道信息。
将激活函数改为Swish，然后在全连接层之后添加Dropout层，用于防止不同通道之间的复杂协同适应，从而促进每个通道自己编码有用的信息。SME块的数学表达式可以表示为:
Sep的可分离卷积的输出；
深度可分离卷积（Depthwise seperable convolution）
3. Dilated spatial mapping and channel attention modules
这一模块用于捕获上下文信息并提取有用的特征，为了缓解多层次特征没有完美地融入到不同的注意力机制中。
文章说模块需要满足三个标准：
- 一种多尺度融合方法，能够对多尺度信息进行集成，并学习聚集信息的非线性相互作用
- 模块应该自适应地将局部特性与其全局依赖结合起来，比如通道注意力和位置注意力
- 模块需要尽可能少的参数
然后提出了自己的DSMCA模块，一种结合通道和多感知场空间注意机制的结构
4. Branch layer fusion module
作者为了提升不同大小病变的分割性能，使用了一个5分支融合模块来获取多感受野信息。将扩张率较大的分支与扩张率较小的分支合并以融合多范围上下文信息，融合通过“add”操作实现。
5. Decoder
之前的编码器解码器一般都是直接跳跃连接来提供信息，作者提出了一个MSFF模块来聚合多尺度上下文如上图，将四个尺度的特征由DSCMA模块独立细化通过不同的上下采样到同一尺度，进行相加操作。该模块的输出被传输到两个深度可分离的卷积层。然后进行第二次双线性上采样。与DeepLabv3+中简单的单级融合不同，MSFF模块的输入来自编码器网络中的四个不同阶段，我们在所有四个阶段都使用DSMCA模块，以专注于更多信息的功能。
四、损失函数
1.合作博弈：夏普利值（shapley value）性质与算法
游戏理论之Shapley Value（Shapley值）
2.这部分其实没有看太懂，唉。。。
三、实验部分
1. 消融实验
2.
- 需要注意的是，虽然SME板块起源于SE板块，但这两个板块有很大的不同。首先，SE块在第一密集层之后使用ReLU作为激活函数，但是ReLU在高层层的表现不是很好。然后我们用Swish激活函数替换它。其次，EFE模块的输入通道过多。SME有助于网络聚焦重要渠道，避免过拟合。在SME区块中，我们利用dropout在训练阶段随机丢弃一些通道，这样可以限制不同通道之间的交互，使得保留的通道中包含的信息更有利于模型的泛化。此外，我们还将SME块和残差块结合起来，以缓解注意力导致一些高频噪声传播到网络深层的问题。
- 表III列出了这些方法的度量比较。可以看出，dropout或residual方法严重影响了模型的性能，我们提出的EFE模块比没有dropout或residual块的EFE模块性能要好得多。
- 如图所示的结果清楚地表明，当SME块有dropout层时，输入分辨率的变化对权重的MSD影响不大。这说明EFE模块保证了不同尺度目标注意权值的稳定性。
- DSMCA由SME块和多个扩张空间映射(DSM)块组成，该块可以沿着通道和空间分别对特征映射进行重新校准，然后合并输出。利用DSM块体探索不同特征之间的空间关系，重点关注感兴趣区域，并整合多尺度上下文信息。
【论文精读】TMI2022.FCP-Net相关推荐
- 论文精读——CenterNet :Objects as Points
论文精读--CenterNet :Objects as Points 论文地址:https://arxiv.org/pdf/1904.07850.pdf 机构:UT Austin,UC Berkele ...
- 论文精读 | slam中姿态估计的图优化方法比较
一. 摘要 对于位置环境中的自主导航问题,同步定位与建图(Simultaneous localization and mapping, SLAM)是一个非常重要的工具框架.根据SLAM字面含义可以得知 ...
- 李沐论文精读系列四：CLIP和改进工作串讲（LSeg、GroupViT、VLiD、 GLIPv1、 GLIPv2、CLIPasso）
文章目录 一.CLIP 1.1 简介 1.1.1 前言 1.1.2 模型结构 1.1.3 模型效果 1.1.3.1 对自然分布偏移的鲁棒性 1.1.3.2 StyleCLIP 1.1.3.3 CLIP ...
- 【论文精读】UV-SLAM: Unconstrained Line-based SLAM Using Vanishing Points for Structural Mapping
[论文精读]UV-SLAM: Unconstrained Line-based SLAM Using Vanishing Points for Structural Mapping 论文出处 ICRA ...
- 【推荐系统论文精读系列】(八)--Deep Crossing：Web-Scale Modeling without Manually Crafted Combinatorial Features
文章目录 一.摘要 二.介绍 三.相关工作 四.搜索广告 五.特征表示 5.1 独立特征 5.2 组合特征 六.模型架构 6.1 Embedding层 6.2 Stacking层 6.3 Residu ...
- 李沐论文精读系列五：DALL·E2（生成模型串讲，从GANs、VE/VAE/VQ-VAE/DALL·E到扩散模型DDPM/ADM）
文章目录 一. 前言 1.1 DALL·E简介 1.2 DALL·E2简介 1.3 文生图模型进展 二. 引言 2.1 摘要 2.2 引言&模型结构 三. 算法铺垫 3.1 GANs 3.2 ...
- 【研一小白论文精读】《Big Self-Supervised Models are Strong Semi-Supervised Learners》
[研一小白论文精读] 研一已经开学了,距离上一次自己写博客也有一段时间了,上一次写的博客我自己看简直又臭又长,这次是第二次,也不知道能不能做出一些改变.首先声明,我自己仍然是一个学术小白,理论基础极差 ...
- Classifier-Free Diffusion Guidance【论文精读加代码实战】
Classifier-Free Diffusion Guidance[论文精读加代码实战] 0.前言 1.Classifier-Free Diffusion Guidance介绍 1.1原理介绍 1. ...
- 【论文精读】Parallax-Tolerant Image Stitching Based on Robust Elastic Warping
图像拼接系列相关论文精读 Seam Carving for Content-Aware Image Resizing As-Rigid-As-Possible Shape Manipulation A ...
- 【推荐系统论文精读系列】(一)--Amazon.com Recommendations
文章目录 一.摘要 二.推荐算法 三.传统协同过滤 四.聚类模型 五.基于搜索方式 六.基于物品的协同过滤 七.怎样工作? 八.可扩展性 九.总结 References 论文名称:Amazon.com ...
最新文章
- zsh 每次打开Terminal都需要source bash_profile问题
- ribbon和feign的区别
- webstorm 代码提示
- rabbitmq实战_RabbitMQ实战(四) - RabbitMQ amp; Spring整合开发
- 多线程中使用CheckForIllegalCrossThreadCalls = false访问窗口
- Dagger2和MVParms的学习
- substrate 学习记录（一）：Substrate 安装 + 创建测试链 + 启动私有网络
- 数据可视化大屏能为物联网项目带来什么
- 优雅的处理Exception
- web前端设计与开发期末作品/期末大作业：我的家乡——走进达州(4页) HTML+CSS+JavaScript
- nginx启动失败nginx: [emerg] bind() to 0.0.0.0:7001 failed (98: Address already in use)
- knex 找不到mysql_node knex mysql ER_NOT_SUPPORTED_AUTH_MODE
- 战地指挥官 服务器维护,战地指挥官有哪些常见问题以及解决方法
- [win32]c++使用win32开发一个窗口的完整流程【转】
- Disc在线端口扫描服务uz! version 5.0.0 suffers from a cross site sc
- 分享 孩子，请记住那些比药家鑫更凶恶的人——21世纪经济导报记者周斌写给张妙儿子的一封信（转）...
- Solid.js前端新秀框架 力压 web3.js 框架
- 2022年各大企业java面试题解析，堪称全网最详细的java面试指南
- 「无服务器架构」动手操作Knative -第二部分
- scanf/fscanf 的%[]和%n使用方法