TransFuse：Fusing Transformerd and CNNs for Medical Image Segmentation

Yundong Zhang, Huiye Liu, Qiang Hu
MICCAI 2021

Abstract

医学影像分割，是众多临床需求的先决条件，在卷积神经网络的最新进展下得到了显著发展。然而，它在建模显式长距离关系方面表现出了广泛的局限性。而现有的方案，依靠构建深度编码器和大量的下采操作，导致了网络冗余加深和局部细节的丢失。因此，分割任务需要一个更好的解决方案，以提高建模全局上下文的效率，同时保持对低等级细节的强大把握。在本文中，我们提出了一种新的并行分支架构TransFuse来解决这一挑战。TransFuse以并行的方式组合了transformer和cnn，其中全局依赖关系和低层空间细节都可以以一种更浅的方式有效地捕获。此外，我们提出了一种新的融合技术-BiFusion模块，可以有效地融合两个分支的多层次特征。大量实验表明，TransFuse在2D和3D医学图像集上取得了最新的最先进的成果，显著降低了参数，提高了推理速度。

Method

Transformer Branch

1. 参考了DEIT
2. 对transformer之后的结果先从图像尺寸reshape到【1，384，12，16】，再上采
3. 这样的reshape+上采的方式肯定会损失很多细节信息，但是可能显著了目标的类别、轮廓等大体信息。

CNN Branch

1. 使用了ResNet作为CNN的分支
2. 把特征逐步下采样到1/32，结合transformer，既能获得全局特征，又能提取丰富的局部特征
3. 可以替换为其他的卷积网络

BiFusion Branch

TransFuse：Fusing Transformerd and CNNs for Medical Image Segmentation相关推荐

1. 学习 TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation 医学分割

   Fusing Transformers and CNNs for Medical Image Segmentation 文章目录 Fusing Transformers and CNNs for Me ...

2. [Transformer]TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation

   TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation Abstract Section I Introducti ...

3. [论文阅读] TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation

   论文地址:https://arxiv.org/abs/2102.08005 发表于:MICCAI'21 Abstract 医学图像分割,这一众多临床需求的先决条件–已经被卷积神经网络(CNN)的最新进 ...

4. TransUNet：Transformers Make Strong Encoders for Medical Image Segmentation用于医疗图像分割的transformers编码器详解

   原文地址:https://arxiv.org/pdf/2102.04306.pdf 收录:CVPR 2021 代码: https://github.com/Beckschen/TransUNet 首篇 ...

5. 医学图像分割新网络：Boundary-aware Context Neural Network for Medical Image Segmentation

   文章目录 摘要 一.引言及相关方法 二.本文主要方法 2.1 总体介绍 2.2 Pyramid Edge Extraction Module 2.3 Mini Multi-Task Learning ...

6. 第15章 MiniVGGNet：更深的CNNs

   第15章 MiniVGGNet:更深的CNNs VGGNet(或简称为VGG),第一次在文献<Very Deep Learning Convolutional Neural Networks f ...

7. 目标跟踪算法三：Modeling and Propagating CNNs in a Tree Structure for Visual Tracking (VOT2016冠军)

   目标跟踪算法三:Modeling and Propagating CNNs in a Tree Structure for Visual Tracking (VOT2016冠军) 文章链接:https ...

8. 笔记：Learning Calibrated Medical Image Segmentation via Multi-rater Agreement Modeling

   Learning Calibrated Medical Image Segmentation via Multi-rater Agreement Modeling(通过多评分者协议建模学习校正医学图像 ...

9. [深度学习论文笔记]TransBTSV2: Wider Instead of Deeper Transformer for Medical Image Segmentation

   TransBTSV2: Wider Instead of Deeper Transformer for Medical Image Segmentation TransBTSV2:用于医学图像分割的宽 ...

最新文章

1. discuz7记录下url静态化的apache2.2配置
2. js代码收集(1)_隐藏div、table间隔样式设置
3. android:制作 Nine-Patch 图片
4. mysql如何优化性能优化_如何优化性能？MySQL实现批量插入以优化性能的实例详解...
5. Linux 驱动头文件说明
6. mysql 优化not null_mysql 优化之11：尽可能的使用 NOT NULL
7. pg_resetxlog清理的pg_xlog下的WAL日志
8. Spring事务方法与非事务方法执行相互调用不回滚，你踩过这个坑没？
9. Scala和Java二种方式实战Spark Streaming开发
10. 微信公众平台运营指导
11. 机器学习入门——详解主成分分析
12. 分享一个简单唯美的404页
13. Prometheus监控报警系统入门
14. aspcms cookies欺骗和后台无验证注入
15. Live800:教育行业新拐点，在线客服系统如何提供价值？
16. 字符串转换，大写变小写，小写变大写
17. 微信小程序免费资源大全
18. 什么是java的事物
19. 苹果osx系统切换中文
20. 围观新版香港身份证与OCR识别完美搭配

热门文章

1. Ps 2021在M1 mac上导出 PNG 格式发生未知错误如何解决？
2. 懒人日报 | “净网2019”北京市公安局针对区块链服务等开展专项监督检查、英国或将就Libra用户隐私安全问题举行听证会......
3. Online Convolutional Re-parameterization
4. Google粘土动画纯Javascript代码实现
5. tp5服务器部署 模板不存在
6. 从零开始缓慢深入Linux - 基础指令篇（3）
7. 计算机网络阅读笔记——第二章物理层
8. 使用py2exe打包含有numpy的文件出错的解决方法
9. macos docker 一直处于 kubernetes starting状态解决办法(当试过各种方法无用时，此方法有效)
10. 2019中国第三方支付行业亟需改变 费率战已到尽头