一文看懂网络上采样层中的 align_corners
点击我爱计算机视觉标星,更快获取CVML新技术
本文来自于知乎专栏语义分割探索之路,经作者立夏之光授权转载,未经允许请勿二次转载。
https://zhuanlan.zhihu.com/p/87572724
上采样层 (upsample layer),是语义分割等密集输出 (dense prediction) 任务的必备组件。一般默认选择双线性插值 (bilinear) 或者最近邻 (nearest) 的方式。这两种方式在 pytorch 的 interpolate 函数中均有实现。关于它们如何实现,已有好多博客解读。但是 bilinear 情况下,会伴随一个选项 align_corners,默认为 False。关于这个选项的含义,pytorch 1.3.1 官网是如下解释的:
这个解释看起来令人似懂非懂。相比之下,pytorch 0.4.1 的解释更为模糊:
与此同时,熟悉语义分割任务的同学,会发现输入大小通常会设置为 8 的倍数加 1,比如 513 (PASCAL VOC) 或者 769 (Cityscapes)。好多同行会有这种疑惑:为什么不直接设置成 8 的倍数?
本文期望对如上问题做一个全面的解读。根据笔者了解,本文是全网第一篇解读 align_corners 的博文。本文还会对现有 libraries 插值是否 align_corners 做一个总结。看完本文后,相信读者能够全面理解这两个问题。
在接下来的图文中,我们默认以红色表示原图,蓝色表示插值上采样两倍后的图片。
首先介绍 align_corners=False,它是 pytorch 中 interpolate 的默认选项。这种设定下,我们认定像素值位于像素块的中心,如下图所示:
对它上采样两倍后,得到下图:
首先观察绿色框内的像素,我们会发现它们严格遵守了 bilinear 的定义。而对于角上的四个点,其像素值保持了原图的值。边上的点则根据角点的值,进行了 bilinear 插值。所以,我们从全局来看,内部和边缘处采用了比较不同的规则。对比绿色框内外,会有一种违和感。接下来,我们看看 align_corners=True 情况下,用同样画法对上采样的可视化:
这里像素之间毫无对齐的美感,强迫症看到要爆炸。事实上,在 align_corners=True 的世界观下,上图的画法是错误的。在其世界观里,像素值位于网格上,如下图所示:
那么,把它上采样两倍后,我们会得到如下的结果:
强迫症:“整个世界都整齐了”。这里仔细的读者会发现,3*3 的图像上采两倍后,变成了 5*5。更广泛地来讲,对于输入尺寸是 (2x+1) * (2x+1) 的图片,其经过 align_corners=True 的上采样后,尺寸变为 (4x+1) * (4x+1)。所以虽然内容上整齐了,外在的数目上,却没了那种 2 的整数次幂的美感。
下面,我们同时展示两种方法的示例图:
对于密集输出任务,“整整齐齐”才是王道。所以我们最优的选择是 align_corners=True 以及输入尺寸 8 的倍数加 1。这里 8 是因为 dilated ResNet 下采样 8 倍。
如上,我们讨论了上采样的选择。那么,我们对图像处理时,理想情况下,下采样也应该选择对应的方式。既然上采样 align_corners=True,下采样也理应 align_corners。接下来,我们调研下几个流行的图像处理库,看下它们的实现是用了哪种设置。对于输入 [[1, 2], [3, 4]]:
这里我们先列出 pytorch 的结果作为参考:
接下来是 cv2:
然后是 PIL:
还有 MXNet 的:
我们发现,cv2、PIL的插值都是 align_corners=False;MXNet 默认 True。而 pytorch 和 tensorflow 都是可选。为了保持和下采样时的操作对应一致,笔者建议大家进行密集输出任务的图像预处理时 (尤其是 resize 操作),放弃官方的 transform (PIL 实现) 以及 cv2 的实现,转而使用 pytorch 自己实现一份。
这里笔者提供自己 repo 中的代码作为参考,细节请见:
https://github.com/XiaLiPKU/EMANet/blob/master/dataset.py
综上,我们分析了 align_corners 的原理,解释了输入尺寸设置为基数的原因。并且笔者根据分析,推荐使用 pytorch 实现预处理中的 resize。
图像分割交流群
关注最新最前沿的语义分割、实例分割、全景分割技术,扫码添加CV君拉你入群,(如已为CV君其他账号好友请直接私信)
(请务必注明:分割)
喜欢在QQ交流的童鞋,可以加52CV官方QQ群:805388940。
(不会时时在线,如果没能及时通过验证还请见谅)
长按关注我爱计算机视觉
一文看懂网络上采样层中的 align_corners相关推荐
- 一文看懂NLP神经网络发展历史中最重要的8个里程碑!
一文看懂NLP神经网络发展历史中最重要的8个里程碑! https://mp.weixin.qq.com/s/gNZiiEfsQjlF9tArNDIt5Q 作者|Sebastian Ruder 译者|小 ...
- 带你一文看懂--应用层、传输层的协议,HTTP协议及实现,UDP和TCP的报文格式以及为什么3次握手和4次挥手
网络基础:TCP/IP四层模型中的典型协议--理解网络通信的流程原理 应用层协议:负责应用程序之间的数据沟通 网络版计算器:客户端向服务端传递两个数字以及一个运算符,服务端收到数据进行解析得到数字与运 ...
- 一文看懂PCB助焊层跟阻焊层的区别与作用
阻焊层简介 阻焊盘就是soldermask,是指板子上要上绿油的部分.实际上这阻焊层使用的是负片输出,所以在阻焊层的形状映射到板子上以后,并不是上了绿油阻焊,反而是露出了铜皮.通常为了增大铜皮的厚度, ...
- 干货:一文看懂网络爬虫实现原理与技术(值得收藏)
01 网络爬虫实现原理详解 不同类型的网络爬虫,其实现原理也是不同的,但这些实现原理中,会存在很多共性.在此,我们将以两种典型的网络爬虫为例(即通用网络爬虫和聚焦网络爬虫),分别为大家讲解网络爬虫的 ...
- 什么叫组网_小米科普:一文看懂路由器上的 Mesh 组网是什么
IT之家 6 月 12 日消息 近日小米路由器 AX1800 升级支持了 Mesh 技术,拥有两台以上 AX1800 的用户可以将它们进行 Mesh 组网,做到全屋信号无缝覆盖.小米称,小米 AIoT ...
- 判别两棵树是否相等 设计算法_一文看懂生成对抗网络 - GANs?(附:10种典型算法+13种应用)...
生成对抗网络 – GANs 是最近2年很热门的一种无监督算法,他能生成出非常逼真的照片,图像甚至视频.我们手机里的照片处理软件中就会使用到它. 本文将详细介绍生成对抗网络 – GANs 的设计初衷.基 ...
- 一文看懂「生成对抗网络 - GAN」基本原理+10种典型算法+13种应用
生成对抗网络 – Generative Adversarial Networks | GAN 文章目录 GAN的设计初衷 生成对抗网络 GAN 的基本原理 GAN的优缺点 10大典型的GAN算法 GA ...
- 一文看懂推荐系统:Gate网络2:百度GemNN(Gating-Enhanced Multi-Task Neural Networks)
一文看懂推荐系统:Gate网络2:百度GemNN(Gating-Enhanced Multi-Task Neural Networks) 提示:最近系统性地学习推荐系统的课程.我们以小红书的场景为例, ...
- 一文看懂推荐系统:Gate网络(一):新浪微博GateNet,GateNet就是想用attention的方法去搞,和SENet一样,都是张俊林的杰作
一文看懂推荐系统:Gate网络(一):新浪微博GateNet,GateNet就是想用attention的方法去搞,和SENet一样,都是张俊林的杰作 提示:最近系统性地学习推荐系统的课程.我们以小红书 ...
最新文章
- mysql 匹配 findinset
- 你说 Arthas 诊断问题不好用?watch 命令了解多少?
- except but
- 《ASP.NET AJAX程序设计——第II卷:客户端Microsoft AJAX Library相关》定稿+详细章节列表...
- java 根据经纬度计算多边形的面积_强基初中数学amp;学Python——第二十九课 根据海伦秦九韶公式编程计算三角形面积...
- 【状压DP】十二桥问题(nowcoder 1104-B)
- 计算机二级web题目(3)--HTML基础
- [转帖]2015年时微软Win3.1崩溃迫使巴黎奥利机场短暂关闭
- php繁体输出,PHP输出控制功能在简繁体转换中的应用
- 《长安十二时辰》中的跨域行人重识别问题
- python线程池回调函数_python回调函数中使用多线程的方法
- Android流量监控以及流量防火墙的概述
- python 在线网盘源码_发现一个开源的网盘程序!
- “工资3000,一年存20万”:掌握理财技能,让我少奋斗10年
- 谭浩强《C程序设计》(第四版)错误不完全汇集
- mysql 安装没有my.cnf_Linux安装mysql没有my.cnf文件
- 揭开宏的神秘面纱:什么是宏,为什么使用宏?
- css 白色背景如何实现半透明
- Reading Comprehension必读paper汇总
- java DES-CBC加解密
热门文章
- Visual C++ 设置适合自己的解决方案目录结构
- oracle 英文版安装,Oracle10gR2 on RHEL4 x86_64安装技术文档(英文原版)
- .net core 调用c dll_C++ 调用C封装DLL库的两种方式
- python list合并_python基础===两个list合并成一个dict的方法
- 建筑电气工程设计常用图形和文字符号_想要识图无忧?电气工程图图形符号全能图解,电工最爱识图助手...
- java将生成数据写入文件_JAVA-将内容写入文件并导出到压缩包
- 东野圭吾梦幻花读后感_《梦幻花》精选读后感
- matlibplot 一张图画多个曲线_从一张风景照中就学会的SinGAN模型,究竟是什么神操作?| ICCV 2019最佳论文...
- go语言打包html,Go语言-打包静态文件
- 字节跳动-文远知行杯”广东工业大学第十四届程序设计竞赛