图像处理基础:特征金字塔
预备知识
特征金字塔的概念
首先,金字塔的模型我想大家都不陌生,如下图:
我们不难看出的是他的结构呈现自上而下,横向面积越来越大的特点,若将它分为无限可细分的横向平面,便是特征金字塔具体化的表现形式。那它与特征有啥关系呢?
接着,我们需要明白另两个概念:图像的特征|上/下采样
什么是图像的特征?我认为用一句简单的话可以描述为:能够代表图像中物体信息的像素信息,特别地按信息的划分方式可分为:颜色特征、形状特征、纹理特征等;想要具体了解,可以参考以下链接:常见的图像特征_知识搬运工的博客-CSDN博客_图像特征
那什么是上/下采样,我们接触图像处理可以说经常遇到这个词的应用,我们用通俗的话讲,上/下采样可对应为放/缩。是的没错,就是这么简单的2个字,emo。那这2个采样方式跟特征金字塔有什么关系呢?我们可以看到下面这张图:
假设,这个猫猫的图片按金字塔的方式特征提取(是个值得非常值得研究的东西)为3张特征图(图中的像素信息代表了这只猫猫的特征,如耳朵、鼻子、眼睛、身体等)。这里的金字塔方式可以描述为:以黄色特征图为基础,那么橙色就可以理解为是相对于黄色的下采样(缩),灰色就是上采样(放)。那么就有人问了,这样干的理由是什么?那就涉及到金字塔的应用了。那么我们需要对放/缩的实质与应用理解更深刻一点,放缩究竟能干什么?
上/下采样(放/缩)在图像处理领域的应用
结合实际,缩小图像,我们可以更加清楚地关注到图像的全局信息。比如你在微博刷到的小姐姐都是缩略图。
而放大图像,我们可以精细地了解图像的局部信息。看到好看的,是不是点开原图放大看一下?
对于做图像处理的我们,经常可以遇到的是:
上采样系列:插值算法(常说的超分算法等,假的remosic等)
下采样系列:多尺度降噪(讲图像从原尺寸缩小为不同尺寸,分别降噪,然后重新resize融合,从而处理局部噪点)
金字塔的应用
从上面的解释,我们知道了上/下采样,可以使我们关注全局/局部的知识,那么也可以应用于图像处理,我们可以先假设,一张图片可以解析为n个(上采样特征,基值,下采样特征)向量。以上文那只猫为例:每个特征向量可以形象的解释为:
(猫的眼睛,动物的眼睛,眼睛)
(猫的毛发,动物的毛发,毛发)
....
不难看出地是,特征金字塔能够讲图像信息分解为局部、一般、全局信息的特征图,将这3种特征图交由计算机处理便能够图像信息的多尺度处理,我们可以把过程描述为:
1、分解图像信息为Pic_local|Pic_base|Pic_global 等3类特征信息
2、选择需要的信息,若更关注局部,则对Pic_base|Pic_global 进行下采样,此过程称为resize,重新恢复尺寸
3、融合特征图信息,交由后续算法(目标检测算法较为常见,上采样为了识别较大物体,而下采样为了识别更小物体)过程处理
图像处理基础:特征金字塔相关推荐
- 计算机视觉FPN: 特征金字塔网络
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程 公众号:datayx FPN:feature pyramid networks for object detecti ...
- 性能超FPN!北大、阿里等提多层特征金字塔网络
作者 | Qijie Zhao等 编译 | 李杰 出品 | AI科技大本营(ID:rgznai100) 特征金字塔网络具有处理不同物体尺度变化的能力,因此被广泛应用到one-stage目标检测网络(如 ...
- ECCV2020 | 即插即用,涨点明显!FPT:特征金字塔Transformer
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 这篇文章收录于ECCV2020,将Transformer机制应用于对特征金字塔FPN的改进上,整体思路 ...
- 详解何恺明团队4篇大作 !(附代码)| 从特征金字塔网络、Mask R-CNN到学习分割一切
来源:新智元 作者:krish 本文5000字,建议阅读10+分钟. 本文介绍FAIR何恺明.Tsung-Yi Lin等人的团队在计算机视觉领域最新的一些创新,包括特征金字塔网络.RetinaNet. ...
- 重磅开源!目标检测新网络 DetectoRS:54.7 AP,特征金字塔与空洞卷积的完美结合
原文链接:重磅开源!目标检测新网络 DetectoRS:54.7 AP,特征金字塔与空洞卷积的完美结合 论文地址:https://arxiv.org/abs/2006.02334 代码地址(基于mmd ...
- 经典论文复现 | PyraNet:基于特征金字塔网络的人体姿态估计
过去几年发表于各大 AI 顶会论文提出的 400 多种算法中,公开算法代码的仅占 6%,其中三分之一的论文作者分享了测试数据,约 54% 的分享包含"伪代码".这是今年 AAAI ...
- 深度学习阅读导航 | 04 FPN:基于特征金字塔网络的目标检测
写在前面:大家好!我是[AI 菌],一枚爱弹吉他的程序员.我热爱AI.热爱分享.热爱开源! 这博客是我对学习的一点总结与记录.如果您也对 深度学习.机器视觉.算法.Python.C++ 感兴趣,可以关 ...
- 即插即涨2-3%!AC-FPN:用于目标检测的注意力引导上下文的特征金字塔网络
关注 点击关注上方"AI深度视线",并"星标"公号 技术硬文,第一时间送达! 精彩内容 AC-FPN--用于目标检测的注意力引导上下文的特征金字塔网络 ,即插即 ...
- 【CV】FPN:用于目标检测的特征金字塔网络
论文名称:Feature Pyramid Networks for Object Detection 论文下载:https://arxiv.org/abs/1612.03144 论文年份:2016 论 ...
- 目标检测中多尺度:特征金字塔FPN_Feature Pyramid Networks for Object Detection
原始内容来源于: https://blog.csdn.net/cdknight_happy/article/details/100528127 https://blog.csdn.net/WZZ181 ...
最新文章
- Visual Studio 创建封装自己的代码段(C#)
- matlab在图像上画出来的矩形框如何变成可托动的_计算机基础系列:源代码如何被计算机执行...
- Linux驱动之平台设备
- 脑与认知科学3 脑神经影像下
- npm mysql 事务_一文解读MySQL事务
- c#中引用类型作为值参数和引用参数问题
- mysql gtid坑_通过mysqlbinlog --skip-gtids恢复后再备份可能造成的坑
- 江西省2019计算机二级报名日期,2020年3月江西计算机等级报名时间、报名入口【2019年12月18日-27日】...
- Mac安装与配置idea及tomcat
- JavaScript 面试总结
- 手把手教你:安装svn出现could not write value to key的错误
- elasticsearch 常见的概念
- STM32F103+RTT从零开始(二)——RTT系统中点亮LED
- 文件加密器 java_文件加密器: 使用Java Swing编写的文件加密工具,可批量加密电脑中的文件。兼容Windows和Linux。...
- centos添加互信
- 移动 app安全评估检测技术分析
- 站点能源低碳目标网,助力网络碳中和 | 华为发布站点能源十大趋势
- 调试ASP程序时,遇到程序运行错误时怎么查看具体错误位置呢?
- 学会HSB色彩模式,让配色有理有据!
- PPT中如何找到字母上面带尖/冒的符号