点击我爱计算机视觉标星,更快获取CVML新技术


今天上午arXiv出现一篇非常值得参考的语义分割文章《Efficient Ladder-style DenseNets for Semantic Segmentation of Large Images》,来自克罗地亚的研究人员提出了一种基于DenseNets构建的形状像梯子的语义分割架构,其不仅精度达到目前最高(超越DeepLabV3+),而且参数量少,计算速度快,可谓语义分割领域的新突破。

以下是作者信息:

作者来自克罗地亚的萨格勒布大学。

提出问题

作者指出,在深度学习领域图像分类任务验证的有效网络结构,极大促进了计算机视觉其他方向的研究。

比如大放异彩的ResNet深度残差网络,成名于ImageNet图像分类任务,其影响力却席卷整个神经网络的所有应用领域。

但由于语义分割的计算量和参数量往往都很大,在现有硬件使用这些新出的网络结构进行新算法训练时,显存的大小限制了更好地发挥其潜力,尤其是对那些大图像比如百万像素图像的语义分割。

作者详细比较了ResNets与DenseNets(此部分可参考论文原文),认为在拥有相近的网络表达能力的ResNets与DenseNets网络架构中,DenseNets所需要的参数和计算量都相对较小。对于语义分割任务,应以其为基础模块。

网络架构

下图是作者提出算法的网络架构(请点击查看大图):

图中DB代表这Dense Blocks,TD为transition layers,TU为transition-up blocks,f为输出特征图(后面的数字为特征图个数),输出特征图上的x4、x8...x32为下采样倍数,SPP为spatial pyramid pooling module。

可以看出,其最明显的特征是有两个数据路径。

上面的为下采样数据路径,特征图不断缩小。下面为上采样数据路径,并在此进行数据融合。

整个结构宛如梯子,故称梯形风格的(Ladder-style) DenseNets 。

实验结果

作者在主流的语义分割数据库上与基于ResNet的相同结构算法进行了比较,也与其他state-of-the-art进行了比较,验证了该算法精度达到最高的同时,速度快一个数量级,参数也是高精度语义分割算法中最小的(是在Cityscapes数据集上唯一的IoU上80的实时语义分割算法)。

下图为在Cityscapes数据集验证集上使用与ResNet Blocks的算法的比较,可见在使用Dense Blocks时不仅参数少,计算速度快,而且精度也更高。

下图为该算法的两个最好模型与state-of-the-art语义分割算法在 Cityscapes 验证集与测试集的结果比较。

可见该文算法精度最高,计算量也接近最低水平!!

下图上述结果的散点图,该文提出的算法LDN是目前唯一的在Cityscapes数据集上IoU精度超过80的实时语义分割算法!

下图是在CamVid 测试集上与基于ResNet结构的算法结果比较,LDN121依然是精度高、模型小、速度快。

下图是与CamVid测试集上的其他state-of-the-art算法的结果比较,精度依旧是最优秀的。

下图是在Pascal VOC 2012 验证集与测试集上的与其他state-of-the-art算法相比的分割结果,依然取得了精度的新突破。

分割结果示例:

论文地址:

https://arxiv.org/abs/1905.05661v1

作者称代码将在论文被接收后开源,期待!

加群交流

关注语义分割、实例分割技术,欢迎加入52CV-分割专业讨论群,扫码添加CV君拉你入群,

(请务必注明:分割)

喜欢在QQ交流的童鞋,可以加52CV官方QQ群:702781905。

(不会时时在线,如果没能及时通过验证还请见谅)


长按关注我爱计算机视觉

精度高、模型小、速度快!梯形DenseNets结构实现语义分割新高度!相关推荐

  1. mate20por3d人脸识别_体验华为Mate20 Pro 3D结构光 生物识别新高度

    2018年不仅仅是全面屏探索的一年,也同样是手机终端生物识别方案迅速发展的一年.指纹识别和人脸识别分别衍生出光学指纹和3D结构光这两种更高级的形式,但在实际使用了一阵子后,我更加倾向于后者. 不为别的 ...

  2. CV之IS:利用pixellib库基于deeplabv3_xception模型对《庆余年》片段实现语义分割/图像分割简单代码全实现

    CV之IS:利用pixellib库基于deeplabv3_xception模型对<庆余年>片段实现语义分割/图像分割简单代码全实现 目录 利用pixellib库基于deeplabv3_xc ...

  3. 重磅发布!Google语义分割新数据集来啦!又一个分割SOTA模型

    [导读]自动驾驶里视觉一直为人所诟病,特斯拉就是经常被拉出来批判的典型.谷歌最近开发了一个新模型,效果拔群,已被CVPR2021接收. 对于人来说,看一张平面照片能够想象到重建后的3D场景布局,能够根 ...

  4. 实战源码,PP-LiteSeg集速度快、精度高、易部署等为一体,行业应用实战必备

    实战源码,PP-LiteSeg集速度快.精度高.易部署等为一体,行业应用实战必备 图像分割技术在医疗病灶分析.自动驾驶车道线分割.绿幕人像抠图等领域发挥着举足轻重的作用.相比目标检测.图像分类等技术, ...

  5. CVPR2021 | 重新思考BiSeNet让语义分割模型速度起飞

    超强的实时语义分割新网络:STDC,表现SOTA!性能优于BiSeNetV2.SFNet等网络,其中一版本性能高达97.0FPS/76.8%mIoU,代码即将开源! 作者单位:美团 1 简介 BiSe ...

  6. 图像语义分割模型综述

    文章目录 一.语义分割介绍 二.语义分割的思路 空洞卷积 条件随机场 三.经典语义分割算法介绍 1.FCN 2.UNet Family (1)UNet (2)Attention U-Net (3)UN ...

  7. 人人必须要知道的语义分割模型:DeepLabv3+

    点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 前言 图像分割是计算机视觉中除了分类和检测外的另一项基本任务,它意 ...

  8. Fast-SCNN:多分支结构共享低级特征的语义分割网络

    介绍一篇 BMVC 2019 语义分割论文 Fast-SCNN:Fast Semantic Segmentation Network,谷歌学术显示该文已有62次引用. 论文:https://arxiv ...

  9. 语义分割——Enet模型实现

    利用训练好的Enet模型完成,图片和视频的语义分割(适合小白入门) 代码下载 下面附上对于代码的解读 # USAGE # python segment.py --model enet-cityscap ...

最新文章

  1. 计算机能力应用免考证明,青岛学信NIT认证可以免考《管理系统中计算机的应用》笔试+实践...
  2. SAP Spartacus storefront.component.html 里的 SkipLinkComponent 如何创建的
  3. 戴尔新版bios设置中文_戴尔电脑装机过程
  4. 洛谷P2884 [USACO07MAR]Monthly Expense S
  5. python dict遍历_python 字典(dict)遍历的四种方法性能测试报告
  6. 面对微信小程序的威胁,支付宝可以考虑安心做B2C的社交了
  7. html如何把上边角做成椭圆,使用css3的border-radius和border制作半圆、三角、椭圆等各种图形...
  8. Java的几个不错的网站
  9. 计算机组成原理与汇编语言参考答案,计算机组成原理与汇编语言试题及答案
  10. IO流实现csv文件到vcf文件生成
  11. Tcl语言入门(一)基本知识
  12. C# ZPL打印标签
  13. C语言中计算字符串长度的函数
  14. 2021年危险化学品生产单位安全生产管理人员考试内容及危险化学品生产单位安全生产管理人员新版试题
  15. 第 20 章 Document Tools
  16. Python---如何实现千图成像:初级篇(从图片爬取到图片合成)
  17. 使用webpack-cli或vue-cli 解决ie兼容性与报错问题
  18. Java程序设计与项目实战(全程实录)全新上市
  19. OSINT + Python = Custom Hacking
  20. 修改VMware虚拟机IP地址为指定IP

热门文章

  1. Gray Code(格雷码) C++多方法实现
  2. Android localsocket 的基础和使用实践: 01
  3. matlab画直方图下标,matlab画二维数据直方图/画二维概率分布
  4. adb最新版本是多少_新版本更新有问题?别慌,来这里找答案!
  5. 如何检测python是否安装_布同自制Python函数帮助查询小工具
  6. MySQL+create+base,MySQL中CREATE DATABASE和CREATE SCHEMA的区别
  7. 如何设置mysql让其他人能访问_怎么设置MySQL就能让别人访问本机的数据库了?...
  8. Jsp页面用javascript加 滑动验证条
  9. vue 文件转换二进制_vue项目将file转换成二进制流
  10. android wear 处理器,联发科推Android Wear平台可穿戴处理器