Receptive Field(感受野)的理解
基本概念
(1)The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by). 用来表示网络内部的不同位置的神经元对原图像的感受范围的大小。
(2)感受野是指输出特征图中1个像素点,映射到原始图片的区域大小。(更容易理解)
(1)为什么神经元无法接收所有的原始图像信息?
答:网络结构中普遍使用卷积层和pooling层,在层与层之间均为局部相连(通过sliding filter)。
(2)感受野大小代表什么?
a. 感受野的值越大表示其能接触到的原始图像范围就越大,也意味着他可能蕴含更为全局、语义层次更高的特征;
b. 感受野的值越小表示其所包含的特征越趋向于局部和细节。
总结:因此感受野的值可以大致用来判断每一层的抽象层次。
参考文章:(1)https://zhuanlan.zhihu.com/p/28492837
(2)https://medium.com/mlreview/a-guide-to-receptive-field-arithmetic-for-convolutional-neural-networks-e0f514068807
(3)感受野如何计算?
(4)样例
上述过程用了两次3*3 的卷积核,得到了一个1 *1 矩阵,其感受野为5。如果直接用一个5 *5 的卷积核,经过一步卷积也可以得到一个 1 *1 矩阵,其感受野为5。这里就引出一个问题:应该用3 *3卷积核,经过2次卷积效果好,还是直接用5 * 5的卷积核,经过一次卷积的效果好呢?先说答案:大部分情况下,用3 *3 卷积核,经过2次卷积的效果,好于1次。
(5)为什么大多情况下,两层3*3 卷积的效果好于一层5 * 5卷积后的效果
不妨设输入特征图的宽、高均为 x,卷积计算的步长为 1,显然,两个 3 * 3 卷积核的参数量为 9 + 9 = 18,小于 5 * 5 卷积核的 25,前者的参数量更少。
在计算量上,根据图 5-8 所示的输出特征尺寸计算公式,对于 5 * 5 卷积核来说,输出特征图共有(x – 5 + 1)^2 个像素点,每个像素点需要进行 5 * 5 = 25 次乘加运算,则总计算量为 25 * (x – 5 + 1)^2 = 25x^2 – 200x + 400;
对于两个 3 * 3 卷积核来说,第一个 3 * 3 卷积核输出特征图共有(x – 3 + 1)^2 个像素点,每个像素点需要进行 3 * 3 = 9 次乘加运算,第二个 3 * 3 卷积核输出特征图共有(x – 3 + 1 – 3+ 1)^2 个像素点,每个像素点同样需要进行 9 次乘加运算,则总计算量为 9 * (x – 3 + 1)^2 +9 * (x – 3 + 1 – 3 + 1)^2 = 18 x^2 – 108x + 180;
对二者的总计算量(乘加运算的次数)进行对比,18 x^2 – 200x + 400 < 25x^2 – 200x +400,经过简单数学运算可得 x < 22/7 or x > 10,x 作为特征图的边长,在大多数情况下显然会是一个大于 10 的值(非常简单的 MNIST 数据集的尺寸也达到了 28 * 28),
结论:所以两层 3 *3 卷积核的参数量和计算量,在通常情况下都优于一层 5 * 5 卷积核,尤其是当特征图尺寸比较大的情况下,两层 3 * 3 卷积核在计算量上的优势会更加明显。
Receptive Field(感受野)的理解相关推荐
- 卷积神经网路之感受野(receptive field)的理解
卷积神经网路之感受野(receptive field)的理解与计算 感受野,源于生物学中,是一个有界限的媒介,一些生理刺激可以在特定生物体中引起感觉神经元反应.定义,单个感受器与许多感觉神经纤维相联系 ...
- 什么是感受野 Receptive Field 感受野是什么意思
有一个人写的很好,放上他写的文章 彻底搞懂感受野的含义与计算 - 知乎 然后嘞,如果你点进去不想看,那你就适合看我写的哈哈 比较浮躁,那就我来吧 首先我们得知道感受野的英文名字哈 洋气 感受野 Rec ...
- Receptive field 感受野 原理+计算+图解+空洞卷积hole
Receptive field The fixed-sized CNN feature map visualization **1.一般可视化CNN feature map** **2.固定size的 ...
- 感受野(receptive field)
学习RCNN系列论文时, 出现了感受野(receptive field)的名词, 感受野的尺寸大小是如何计算的,在网上没有搜到特别详细的介绍, 为了加深印象,记录下自己对这一感念的理解,希望对理解基于 ...
- 论文详解 + TCN 篇知识点补充: Receptive Field_感受野
此篇延伸补充的源头文章链接: 深度学习 + 论文详解: TCN_时间卷积网络_原理与优势 相关主题推荐文章 A guide to receptive field arithmetic for Conv ...
- 《Understanding the Effective Receptive Field in Deep Convolutional Neural Networks》理解深卷积神经网络中的有效感受野
前言 论文推荐来自B站UP-启释科技,该up对感受野和卷积有深刻的理解 推荐感受野视频讲解: 深度理解感受野(一) 深度理解感受野(二) 深度理解感受野(三) 深度理解感受野(四) 深度理解感受野(五 ...
- 感受野-Receptive Field的理解
之前在阅读yolov1的论文时,发现yolov1用到了Resnet,于是找到了Resnet论文,在研究Resnet的时候,发现自己对卷积的相关操作理解还不够深刻,于是研究卷积,发现其中一个比较重要的概 ...
- 【目标检测】Receptive Field Block Net for Accurate and Fast Object Detection论文理解
摘要 目标检测器现状: (1)目前性能最好的目标检测器依赖于深度CNN骨干,如ResNet-101和Inception,拥有强大的特征表示,但承受着高计算成本. (2)一些基于轻量级模型的 ...
- 深度学习笔记~感受野(receptive field)的计算
以前对CNN中的感受野(receptive field)已经有了一些认识,基本上是从概念理解上得到的. 本篇文章给出了receptive field的计算过程和相应的python代码,对recepti ...
最新文章
- 基于YOLO的目标检测界面化部署实现(支持yolov1-yolov5、yolop、yolox)
- Oracle RMAN中备份表空间名为'TEST'时需要注意的问题
- linux的grup文件,Linux /boot/grub/grub.conf(GRUB配置文件)内容详解
- Redis学习-sorted set数据类型
- python语言控制结构是指_python程序的三种控制结构
- inventor2019有无CAE_Inventor2019最新下载_Inventor2019正式版 - 软件帝
- 改变自己就是改变世界的开始
- C# yield简单迭代
- Python学习笔记(五)--Python数据类型-数字及字符串
- SnakeWords开发--Android 2.2
- jep在java的SpringBoot中的使用
- 【极乐净土mmd】动作+镜头数据下载
- 关于STM32单片机延时微妙(delay_us)函数-hal库
- 产品研发技术团队如何做360度评估
- Windows下Eclipse for C/C++的“Launch failed. Binary not found”完美解决方案
- 27个最佳Beaver Builder主题和模板(2020)
- 【AI】图灵奖得主 Yann LeCun 最新文章 :自监督学习,人工智能世界的“暗物质”...
- C++编程-leetcode-19-删除链表的倒数第N个结点
- 还不了解什么是商业智能(BI)?看完这篇文章就懂了
- 闻道有先后,术业有专攻