语义分割Swin Transformer

语义分割在ADE20K上刷到53.5 mIoU，超过之前SOTA大概4.5 mIoU！

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

(Swin Transformer：使用移位窗口的分层视觉变换器)

Transformer从NLP迁移到CV上没有大放异彩主要有两点原因：

1. 两个领域涉及的scale不同，NLP的scale是标准固定的，而CV的scale变化范围非常大。

2. CV比起NLP需要更大的分辨率，而且CV中使用Transformer的计算复杂度是图像尺度的平方，这会导致计算量过于庞大。为了解决这两个问题，Swin Transformer相比之前的ViT做了两个改进：

1.引入CNN中常用的层次化构建方式构建层次化Transformer

2.引入locality思想，对无重合的window区域内进行自注意力计算。

注：

mIOU（均交并比）：计算真实值和预测值两个集合的交集和并集之比。这个比例可以变形为TP（交集）比上TP、FP、FN之和（并集）。即：mIOU=TP/(FP+FN+TP)。

语义分割Swin Transformer相关推荐

【深度学习】Transformer在语义分割上的应用探索
[深度学习]Transformer在语义分割上的应用探索文章目录 1 Segmenter 2 Swin-Unet:Unet形状的纯Transformer的医学图像分割 3 复旦大学提出SETR:基于 ...
【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割
[论文阅读]Swin Transformer Embedding UNet用于遥感图像语义分割文章目录 [论文阅读]Swin Transformer Embedding UNet用于遥感图像语义分割 ...
Transformer 杀疯了，图像去雨、人脸幻构、风格迁移、语义分割等通通上分
前段时间 Transformer 已席卷计算机视觉领域,并获得大量好评,如『基于Swin-Transformer』.『美团提出具有「位置编码」的Transformer,性能优于ViT和DeiT』.『L ...
Swin-Unet跑自己的数据集（Transformer用于语义分割）
原始代码位置: GitHub - HuCaoFighting/Swin-Unet: The codes for the work "Swin-Unet: Unet-like Pure Tra ...
Swin Transformer实战实例分割：训练自己的数据集
课程链接:Swin Transformer实战实例分割:训练自己的数据集--计算机视觉视频教程-人工智能-CSDN程序员研修院 Transformer发轫于NLP(自然语言处理),并跨界应用到CV(计 ...
【深度学习】SETR：基于视觉 Transformer 的语义分割模型
Visual Transformer Author:louwill Machine Learning Lab 自从Transformer在视觉领域大火之后,一系列下游视觉任务应用研究也随之多了起来.基 ...
性能超最先进卷积！用Transformer进行图像语义分割！
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:量子位 AI博士笔记系列推荐周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接正如 ...
【深度学习】语义分割：论文阅读：(CVPR 2022) MPViT（CNN+Transformer）：用于密集预测的多路径视觉Transformer
这里写目录标题 0详情 1摘要 2 主要工作 3 网络结构 3.1 Conv-stem 3.2 Multi-Scale Patch Embedding 3.3 Multi-path Transform ...
ICCV 2021 | Transformer再助力！用CWT进行小样本语义分割
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达作者 | 卢治合编辑 | 王晔本文转载自:AI科技评论本文是对发表于计算机视觉领域的顶级会议 ICC ...
从CNN到Transformer：基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类
更多资讯,请关注:Ai尚研修科研技术动态公众号我国高分辨率对地观测系统重大专项已全面启动,高空间.高光谱.高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成,将成为保障国家安全 ...

语义分割Swin Transformer

语义分割Swin Transformer相关推荐

最新文章

热门文章