一. 对比

	U-Net	Transformer
优点	融合深层语义信息和高精度特征所含信息	提取全局信息
不足	无法对距离较远的特征的上下文关系进行建模	缺少局部细节处的信息

二. 网络

1. TransUNet

文章：TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation

2. TransFuse

文章：TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation
之前的工作大多数将U-Net网络中的卷积层替换为transformer，或对两者进行级联。本文提出了一种将二者融合的策略。

3. U-Transformer

文章：U-Net Transformer: Self and Cross Attention for Medical Image Segmentation
U-Transformer通过使用MHSA和MHCA实现了self-attention和cross-attention的构建。

U-Transformer models long-range contextual interactions and spatial dependencies by using two types of attention modules: Multi-Head Self-Attention (MHSA) and Multi-Head Cross- Attention (MHCA).

MHSA module (self-attention)：提取图片中长距离的的结构性特征。

The MHSA module is designed to extract long range structural information from the images.

MHCA module (cross-attention)：滤除无关信息，highlight对结果重要的特征。

The idea behind the MHCA module is to turn off irrelevant or noisy areas from the skip connection features and highlight regions that present a signifi- cant interest for the application.

几种Transformer+CNN（U-net）网络相关推荐

基于视觉的在线地图：一种Transformer网络方法
来源丨计算机视觉深度学习和自动驾驶 arXiv在2021年10月3日上传论文"Translating Images into Maps",作者来自英国University of ...
超赞Transformer+CNN=SOTA！
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:新智元 AI博士笔记系列推荐周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 CN ...
【深度学习】超越ConvNeXt！Transformer 风格的卷积网络视觉基线模型Conv2Former
作者丨科技猛兽编辑丨极市平台导读本文提出一种卷积调制模块,利用卷积来建立关系,这比注意力机制在处理高分辨率图像时更高效,称为 Conv2Former.作者在 ImageNet 分类.目标检测和语 ...
Paper：《Spatial Transformer Networks空间变换网络》的翻译与解读
Paper:<Spatial Transformer Networks空间变换网络>的翻译与解读导读:该论文提出了空间变换网络的概念.主要贡献是提出了空间变换单元(Spatial Tra ...
GTN-Graph Transformer Network 图变换网络 NeurIPS2019
来源:NeurIPS 2019 论文链接代码链接摘要图神经网络(GNNs)在图表示学习中得到了广泛的应用,实现了节点分类和连接预测等任务的最佳性能.然而,大多数现有的GNNs都被设计为在固定(f ...
U-Det：一种改进的双向特征网络U-Net结构用于肺结节分割
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 肺癌的早期诊断和分析涉及在计算机断层扫描(CT)图像中进行精确而有效的肺结节分割. ...
【2020论文】U-Det：一种改进的双向特征网络U-Net结构用于肺结节分割
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 肺癌的早期诊断和分析涉及在计算机断层扫描(CT)图像中进行精确而有效的肺结节分割. ...
java 解析数据包_一种基于Java语言的网络通讯数据包解析方法与流程
本发明涉及网络通讯领域,特别涉及一种基于Java语言的网络通讯数据包解析方法. 背景技术: 计算机系统和网络的大量普及使用使全球跨入了信息化时代.但是,正由于现代社会中几乎一切都在"计算机化 ...
JGG | EVenn: 3分钟在线轻松绘制5种Venn图和Venn网络
2021年8月2日,JGG在线发表了中国中医科学院黄璐琦院士团队和中国科学院遗传与发育生物学研究所刘永鑫高级工程师合作题为"EVenn: Easy to create repeatable ...

几种Transformer+CNN（U-net）网络