【论文阅读】结合空洞卷积的 FuseNet变体网络高分辨率遥感影像语义分割
【论文阅读】结合空洞卷积的 FuseNet变体网络高分辨率遥感影像语义分割
一、论文总体框架
首先,采用 FuseNet变体网络将数字地表模型(digital surface model,DSM)图像中包含的高程信息与红绿蓝(red green blue,RGB)图像的颜色信息融合
其次,在编码器和解码器中分别使用空洞卷积来增大卷积核感受野;最后,对遥感影像逐像素分类,输出遥感影像语义分割结果
高分辨率语义分割图像基本分为:
- 红绿蓝(red green blue,RGB)信息
- 数字地表模型(digital surface model,DSM)
文中所提及的在对相应图片处理时
分别提取红绿蓝(red green blue,RGB)信息和数字地表模型(digital surface model,DSM)
信息,并将它们融合集成到 SegNet结构中进行语义分割,获得高分辨率的多模态预测 RGB‐DSM数据用于异构数据源的联合学习
参考文献: Sherrah J. Fully Convolutional Networks for Dense Semantic Labelling of High‐Resolution Aerial Imagery[EB/OL]. (2016‐06‐08)[2020‐06‐22].
https://www. doc88. com/p-0704858988942. html
二、数据集的使用
采用的数据集:
国际摄影测量与遥感学会(Interna‐tional Society for Photogrammetry and Remote Sensing,ISPRS),
Potsdam、Vaihingen数据集
数据集介绍:
Potsdam
共38张6000*6000像素无人机影像,分辨率为 5 厘米/像素。
数据集中包含三种不同通道:
- 影像数据
- 地形数据
- 标签数据
TOP RGBIR:真实正射影像,红、绿、蓝、红外四通道;
TOP IRRG:真实正射影像,三通道红外、红、绿;
TOP RGB:真实正射影像,红、绿、蓝三通道;
DSM:数字表面模型;
GT:真实标签
标签数据包括:带边界的和不带边界的
链接:https://pan.baidu.com/s/1fYD6GtGVNt2j5ueYH5wirA
提取码:kwaw
(百度网盘数据,由”小了白了兔_白了又了白“CSDN作者提供)
三、构建模型
使用了两个编码器对 RGB和 DSM进行联合编码,首先将编码后的特征图输入到解码器中进行上采样,然后
由分类器进行弱分类 ,通过 softmax得到最终分割结果
在整个的cat中对DSM的数据进行融合,并采用了两种融合方式
对主数据源和辅助数据源进行一次卷积运算,从而产生一种虚拟模态。将该虚拟模态作为融合数据源之一,
将 DSM分支提取的特征和 RGB分支提取的特征进行融合
对网络的整体把握如下图所示:
四、细节丢失处理
该数据集包含33幅不同大小的遥感图像,每幅图像都是从一个更大的顶层正射影像图片提取的,图像选择的过程避免了出现没有数据的情况。顶层影像和DSM的空间分辨率为9 cm。遥感图像格式为8位TIFF文件,由近红外、红色和绿色3个波段组成。DSM是单波段的TIFF文件,灰度等级(对应于DSM高度)为32位浮点值编码。
反池化操作是根据索引和特征图进行补 0,这种反池化操作将抽象特征转换为几何特征
- 反池化操作后,卷积块增加稀疏特征图的密度。重复此过程,直到特征图与输入分辨率一致
- 利用反池化操作,一定程度上缓解了细节丢失问题,使得该基本结构对于分割小目标地物效果也较好
- 在连接过程中如果空间分辨率不 一致 ,则将输入特征图通过 1×1的卷积核投影成与输出特征图相同的维度
五、测试过程
测试过程说明:
- 设置初始学习率为 0.01
- 每隔 5个迭代次数将学习率除以 10直至 0.00001
- 动量参数为0.9
- 权重衰减为 0.0005
- 归一化大小为 10
【论文阅读】结合空洞卷积的 FuseNet变体网络高分辨率遥感影像语义分割相关推荐
- 【论文阅读】SCAttNet:具有空间和通道注意机制的高分辨率遥感图像语义分割网络
[论文阅读]SCAttNet:具有空间和通道注意机制的高分辨率遥感图像语义分割网络 文章目录 [论文阅读]SCAttNet:具有空间和通道注意机制的高分辨率遥感图像语义分割网络 一.总体介绍 二.概述 ...
- [论文阅读]面向全局:用于高分辨率遥感图像语义分割的宽上下transforms
[论文阅读]面向全局:用于高分辨率遥感图像语义分割的宽上下transforms 文章目录 [论文阅读]面向全局:用于高分辨率遥感图像语义分割的宽上下transforms 一.总体介绍 二.具体作用 3 ...
- 论文阅读:PMF基于视觉感知的多传感器融合点云语义分割Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation
题目:Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation 中文:用于 3D LiDAR 语义分割的多传感器感 ...
- 毕业设计 U-Net遥感图像语义分割(源码+论文)
文章目录 0 项目说明 1 研究目的 2 研究方法 3 研究结论 4 论文目录 5 项目源码 6 最后 0 项目说明 **基于 U-Net 网络的遥感图像语义分割 ** 提示:适合用于课程设计或毕业设 ...
- 论文解读丨空洞卷积框架搜索
摘要:在通用目标检测算法,空洞卷积能有效地提升网络的感受野,进而提升算法的性能.本次解读的文章提出了一种空洞卷积变体及对应的空洞卷积搜索方法,充分探索空洞卷积的潜力,进一步提升网络模型的性能. 本文分 ...
- DeepLabV3论文解读(空洞卷积/膨胀卷积 理解)
DeepLabV3论文解读(空洞卷积/膨胀卷积 理解) 最近在做基础网络研究,设计的网络结构除了在分类数据集上测试,还需要在分割和检测网络上测试效果,故选择了DeepLabV3作为对比平台.本想直接替 ...
- 【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割
[论文阅读]Swin Transformer Embedding UNet用于遥感图像语义分割 文章目录 [论文阅读]Swin Transformer Embedding UNet用于遥感图像语义分割 ...
- 深度卷积网络CNN与图像语义分割
转载请注明出处: http://xiahouzuoxin.github.io/notes/html/深度卷积网络CNN与图像语义分割.html 级别1:DL快速上手 级别2:从Caffe着手实践 级 ...
- 深度学习论文精读01——基于多任务学习的肿瘤医学影像语义分割与分类研究
基于多任务学习的肿瘤医学影像语义分割与分类研究 文章目录 基于多任务学习的肿瘤医学影像语义分割与分类研究 1 背景介绍 2 主要内容 3 材料和方法 3.1卷积神经网络 多层感知模型(全连接) 3.1 ...
最新文章
- 计蒜客 神奇的二叉树 ( 已知先序和中序遍历构建二叉树 )
- Python字符串的两种方式——百分号方式,format的方式
- 百分点大数据技术团队:乘风破浪 海外数据中台项目实践
- java 强制gc_java应用性能调优之详解System的gc垃圾回收方法
- armv8的Serror的理解
- 用好String、String[]和char[]真香(洛谷P1179题题解,Java语言描述)
- mysql查询时传入中文时的乱码问题
- 数据结构上机实践第五周项目1- 建立顺序栈算法库
- 创建hadoop账号
- html全屏代码怎么写,JS实现全屏的四种写法
- 微信小程序开发——字体样式设置
- 海康摄像头如何查看IP,重置密码
- 2048游戏最多能玩到多大的数字?最多能玩多少分?
- 【python】函数和模块
- Pandas08--文本数据
- webmagic保存html页面,WebMagic抓取前端Ajax渲染的页面
- 一号店主页静态页面(HTML)
- 软件加入使用时间_Adobe CC 2020 系列软件更新(Adobe Zii 2020 5.2.1)| Mac软件天堂
- Socket网络编程精讲
- python中time什么意思_python中time包是什么?
热门文章
- Codeforces与洛谷题目之间跳转油猴插件
- MTK平台双卡区分SIM卡1和SIM卡2来电通知
- Google/glog
- 【论文解读 EMNLP 2018 | JMEE】Jointly Multiple EE via Attention-based Graph Information Aggregation
- 中谷项目(九)—如何将图片存入数据库并从中读取
- Cube、Cuboid 和 Cube Segment
- 计算机软件发展的指标,信息化发展指数
- 码牛学院安卓Android移动互联网高级开发正式课
- 负数modulo运算_Java Modulo Operator-Java中的Modulus运算符
- 微信小程序计算三角形面积