论文笔记：UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wisePerspective with Transf

面向场景：Medical imaging，医学成像问题，医学图像分割
本文主要解决的问题：how to sufficiently bridge the semantic gap be-tween the encoder and decoder through multi-scale channel-wise information fusion by effectively capturing the non-local semantic dependencies.
主要针对改进的模型：U-Net
1. 传统Unet：
  1. 工作原理：
    1. encoder负责捕捉low-level和high-level特征，decoder负责组装语义特征来得出最后的结果。
  2. 缺点：
    1. 经过实验发现，不是所有的skip connection都好用，甚至由于某些skip connection的存在，使得效果下降，其原因在于会混淆特征。
    2. U-Net在使用简单的skip connection的时候甚至在一些数据集上反而效果更差
    3. 无法解决multi-scale的特征的语义鸿沟进行有效建模
      1. 语义鸿沟的类别
        
        multi-scale的特征在encoder过程中的语义鸿沟
        
        encoder和decoder之间存在的语义鸿沟。
        对于语义鸿沟的分析：
        
        没有skip connection的U-Net甚至比原始U-Net效果要好
        
        不是所有的skip-connection都对最后的效果起到提升作用
        
        不同的数据集，skip connection的最佳组合是不同的，这取决于靶区的规模和外观。
      2. 解决办法：
        用the nested dense skip pathways去代替原来的skip connections 比如U-Net++（b)
        
        加强skip connection。在encoder阶段增加非线性变换。以平衡语义鸿沟。

4. 本文主体结构

1.主体思想：

在下面这张图中，我们可以看到这是一个U-Net的典型结构，不过在skip connection的部分，我们用CTrans的方式去代替。

2. 如图所示，这里面分别提出了CCT（Channel-wise Cross Fusion Transformer for Encoder Feature Transformation ）和CCA（Channel-wise Cross Attention for Feature Fusion in Decoder）二者所在的具体位置已经在途中标出，值得注意的是，CCA的input是i-th level decoder的output Di 和i-th level CCT的output Oi。

CCT部分数学计算：

CCA部分数学计算：

5. 模型训练方面：

输入形状：Theinput resolution and patch size P are set as 224 ×224 and16 for all the three datasets

数据增强：horizontal flipping, vertical flipping andrandom rotating

优化策略：Adam

评价指标：Dice系数，交并比

交并比（Intersection-over-Union，IoU），目标检测中使用的一个概念，是产生的候选框（candidate bound）与原标记框（ground truth bound）的交叠率，即它们的交集与并集的比值。

论文笔记：UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wisePerspective with Transf相关推荐

论文阅读：U-Net++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation
论文地址: https://arxiv.org/pdf/1912.05074.pdf 最先进的医学图像分割模型是U-Net和全卷积网络(FCN)的变体.尽管这些模型取得了成功,但它们有两个局限性:(1 ...
【论文笔记】Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspectivewith Transformers
声明不定期更新自己精度论文,通俗易懂,初级小白也可以理解涉及范围:深度学习方向,包括 CV.NLP.Data Fusion.Digital Twin 论文题目: Rethinking Semant ...
【论文笔记】Rethinking and Improving Relative Position Encoding for Vision Transformer
论文论文题目:Rethinking and Improving Relative Position Encoding for Vision Transformer 接收:ICCV 2021 论文地址 ...
GCN论文笔记——HopGAT: Hop-aware Supervision Graph Attention Networks for Sparsely Labeled Graphs
[论文笔记]HopGAT: Hop-aware Supervision Graph Attention Networks for Sparsely Labeled Graphs 作者:纪超杰,王如心等 ...
【论文笔记】UNet++：一种用于医学图像分割的嵌套U-Net结构
本文是<UNet++: A Nested U-Net Architecture for Medical Image Segmentation>论文的阅读笔记.强烈建议大家去看下作者对这篇论 ...
Unsupervised Monocular Depth Estimation With Left-Right Consistency 论文笔记
文 | 陈十三公众号首发 | 一只在路上的哈士奇公众号ID | super_Mrchen 关注可了解更多.问题或建议,请公众号留言 0x00 补充知识 1.视差:左右双目图像中,两个匹配块中心像素 ...
ResNet改进原理介绍论文笔记
ResNet改进原理介绍论文笔记 Identity Mappings in Deep Residual Networks Abstract 深度剩余网络是一系列极深的体系结构,显示出令人信服的准确性和 ...
论文笔记：KD-Net
Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models 1.四个问题要解决什么问题? 3D点 ...
经验 | 深度学习中从基础综述、论文笔记到工程经验、训练技巧
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:本文授权转自知乎作者跑者小越,https://zhuanla ...
从基础综述、论文笔记到工程经验、训练技巧：值得一看的目标检测好文推荐...
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文授权转自知乎作者跑者小越,https://zhuanlan.z ...

论文笔记：UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wisePerspective with Transf

论文笔记：UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wisePerspective with Transf相关推荐

最新文章

热门文章