我对WiCoNet，DCFAM，UDA Transformer的理解
一、WiCoNet
Looking_Outside_the_Window：Wide-Context Transformer for the Semantic Segmentation of High-Resolution Remote Sensing Images用于高分辨率遥感图像语义分割的宽上下文转换器
发文单位：国防科技大学
发表日期：2022.4.18
数据集：有用到Potsdam
Code: code
刊名：IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING
主要贡献：
- 提出了一种用于HRrsi语义分割的宽上下文网络(WiCoNet)。WiCoNet包括两个cnn，它们分别从局部和全局图像级别中提取特征。这使得WiCoNet可以同时考虑局部细节和考虑宽上下文
- 提出一个上下文转换器来建模双分支语义依赖关系。上下文转换器将双分支CNN特征嵌入到扁平的标记中，并通过跨局部和上下文标记的重复注意操作来学习上下文相关性。因此，投影的局部特征知道广泛的上下文信息
- 提出一个基准数据集(即北京LandUse(BLU)数据集)，用于RSIs的语义分割。这是一个根据土地利用类型标注的人力资源卫星数据集。我们相信，这个数据集的发布可以极大地促进未来的研究
二、DCFAM
A Novel Transformer Based Semantic Segmentation Scheme for Fine-Resolution Remote Sensing Images一种新的基于变换器的精细分辨率遥感图像语义分割方案
发文单位：武汉大学
发表日期：2022.1.14
数据集：有用到Potsdam
刊名：IEEE GEOSCIENCE AND REMOTE SENSING LETTERS
主要贡献：
- 提出了一种密集连接的特征聚合模块（DCFAM），以提取多尺度关系增强的语义特征，用于精确分割
- 结合Swin Transformer和DCFAM，建立了一种新的密集连接Swin（DC Swin）Transformer语义分割方案。
三、UDA Transformer
Unsupervised Domain Adaptation for Remote Sensing Semantic Segmentation with Transformer使用Transformer进行遥感语义分割的无监督域自适应
发文单位：电子科技大学
发表日期：2022.10.3
数据集：Vaihingen & Potsdam
Code：code
刊名：Remote Sens.
主要贡献：
- 与之前使用DeepLabV3+的方法相比，我们证明了Transformer在遥感图像的自训练UDA中的显著性能；
- 提出了两种策略，渐进类权重和局部动态质量，以提高自训练UDA框架的性能。它们都易于实现并嵌入任何现有的语义分割模型中；
- 我们在Potsdam和Vaihingen数据集上优于最先进的遥感图像UDA方法，这表明我们的方法可以提高跨域语义分割的性能，并有效地最小化域差距
自我训练的UDA框架：
- 源图像xS和源标签yS在GCW中以一种有监督的方式一起进行训练。
- 伪标签pT由教师模型hφ代替目标标签yT生成。
- 目标图像xT和伪标签pT与LDQ一起进行训练。
- GCW和LDQ中的颜色越深，对应的类和伪标签的权重就越大。
无监督域自适应(UDA)补课：
在Self-training中，利用目标域的伪标签对网络进行训练。
大多数的UDA方法都是离线预计算伪标签，训练模型，然后重复这个过程。
或者，伪标签可以在训练期间在线计算。
为了避免训练不稳定性，采用了基于数据增强或域混淆的伪标签原型或一致性正则化方法。
我对WiCoNet，DCFAM，UDA Transformer的理解相关推荐
- BERT通俗笔记：从Word2Vec/Transformer逐步理解到BERT
前言 我在写上一篇博客<22下半年>时,有读者在文章下面评论道:"july大神,请问BERT的通俗理解还做吗?",我当时给他发了张俊林老师的BERT文章,所以没太在意. ...
- Transformer的理解与代码实现—Autoformer文献阅读
文章目录 摘要 一. 关于Transformer的相关学习 1.1 手推transformer 1.1.1 Encoder部分 1.1.2 Decoder部分 1.2 Transformer的理解与实 ...
- 【NLP】完全解析！Bert Transformer 阅读理解源码详解
接上一篇: 你所不知道的 Transformer! 超详细的 Bert 文本分类源码解读 | 附源码 中文情感分类单标签 参考论文: https://arxiv.org/abs/1706.03762 ...
- TimeSformer：抛弃CNN的Transformer视频理解框架
Transformers开始在视频识别领域的"猪突猛进",各种改进和魔改层出不穷.由此作者将开启Video Transformer系列的讲解,本篇主要介绍了FBAI团队的TimeS ...
- 计算机视觉中transformer的理解
目录 一.Transformer原理 模型思想 1.Transformer各个模块结构 1.1 Encoder(编码器) 1.2 Decoder(解码器) 1.3 多头注意力(multi-head) ...
- 一点就分享系列（理解篇3）—Cv任务“新世代”之Transformer（下篇）提前“cv领域展开”——快速学习“视觉transformer的理解”+“一些吐槽”
一点就分享系列(理解篇3)Cv任务"新世代"之Transformer(下篇)--"cv领域展开" 提示:本篇内容为下篇,如感兴趣可翻阅上和中篇! 理解篇3 上 ...
- 完全解析！Bert Transformer 阅读理解源码详解
接上一篇: 你所不知道的 Transformer! 超详细的 Bert 文本分类源码解读 | 附源码 中文情感分类单标签 参考论文: https://arxiv.org/abs/1706.03762 ...
- Swin transformer 简单理解
但其原生Self-Attention 的计算复杂度问题一直没有得到解决,Self-Attention 需要对输入的所有N个 token 计算 [公式] 大小的相互关系矩阵,考虑到视觉信息本来就就是二维 ...
- 3W字长文带你轻松入门视觉Transformer
作者丨深度眸@知乎 来源丨https://zhuanlan.zhihu.com/p/308301901 编辑丨极市平台 0 摘要 transformer结构是google在17年的Attention ...
最新文章
- bzoj3223 splay
- 【leetcode】Set Matrix Zeroes（middle）
- 神级代码编辑器 Sublime Text 全程指南
- QT 手动创建信号函数 与 槽函数
- GridView 移除模板列
- python随机函数笔记_Python笔记__random
- 国外博客透露JavaFX 2.0路线图
- Ruby笔记三（类、对象、属性）
- 微信开发源代码详细分析-微信开发教程6
- 设计素材网址集合(比较全)
- 两电脑间传输文件|免费PC到PC文件传输软件
- Java实现Word转PDF【完整版】
- Python初学者（零基础学习Python入门）书籍、视频、资料分享
- 网易云信服务监控平台实践
- MapReduce实现倒排索引(Inverted Index)
- 高清图片免费素材网站分享
- python基础3---循环和字符串列表
- 微信小程序入门实例--地图
- 搭建WDS（Windows部署服务）
- 微信分享后端接口简单实现