【AI-1000问】为什么现在大家喜欢用3*3小卷积？
往期视频（前往公众号有三AI观看）
为什么现在大家喜欢用3*3小卷积？
我们知道现在在构建CNN时大家喜欢用3*3的卷积，而不是早期的5*5，7*7等更大尺寸的卷积，如vgg系列网络中全部使用了3*3的卷积。那么你知道为什么这样做吗？
作者/编辑 汤兴旺
这里既然用3*3卷积来替代更大尺寸的卷积，那么有一个前提，就是要保证两者具有同样大小的输出和感受野。
两个3*3的卷积才能代替一个5*5的卷积；三个3*3的卷积才能代替一个7*7的卷积。
以stride=1，padding=0我们来看看为何。
我们首先看一下采用5*5卷积的方案。
假设图像大小为n*n，采用5*5的卷积核其输出为(n-5)/1+1=n-4。
我们再看一下采用3*3卷积的方案。
同样图像大小为n*n，第一次卷积后输出为（n-3)/1+1=n-2，第二次卷积后输出为（n-2-3）/1+1=n-4。
从上面的图可以看出，采用一个5*5卷积核和两个3*3卷积核，它们卷积后的输出是相同大小，输出的每一个像素的感受野也相等。
在这样的前提下，有什么好处呢？
1、网络层数增加了，这增加了网络的非线性表达能力。
2、参数变少了，两个3*3和一个5*5的参数比例为3×3×2/(5×5)=0.72，同样的三个3×3和一个7×7参数比例为3×3×3/(7×7)=0.55，将近一倍的压缩，这可是很大提升。
这就是用3*3卷积带来的最明显的两个优势。
思考
近几年的经典网络中多半都采用了3*3的小卷积，关于它的好处还有一些值得研究的空间，大家可以延伸思考下。
转载文章请后台联系
侵权必究
技术交流请移步知识星球
感谢各位看官的耐心阅读，不足之处希望多多指教。后续内容将会不定期奉上，欢迎大家关注有三公众号 有三AI！
【AI-1000问】为什么现在大家喜欢用3*3小卷积？相关推荐
- 有三AI 1000问回归，备战秋招，更多，更快，更好，等你来战！
文/编辑 | 言有三 最近遇到了很多朋友来询问<有三AI 1000问>在哪里?本来我做这个专栏的初衷只是想提醒大家要多主动思考,多注意细节,没想到击中了很多同学的痛点,不过之前已经停更了. ...
- 为什么现在大家喜欢用3*3小卷积？
https://www.toutiao.com/a6706311102759698948/ 我们知道现在在构建CNN时大家喜欢用3*3的卷积,而不是早期的5*5,7*7等更大尺寸的卷积,如vgg系列网 ...
- 洞悉物联网发展1000问之可穿戴设备的未来会怎样？
现如今可穿戴设备已经成为标配,无论是手环还是手表,其市场份额大抵处于相对稳定状态.从2012年开始的这波行情经历了各种洗牌,现在可穿戴设备市场的下一步会走向何处? 大抵判断下,当前从白领标配的时髦到医 ...
- 洞悉物联网发展1000问之为什么新零售不仅仅是无人零售？
洞悉物联网发展1000问之为什么新零售不仅仅是无人零售?未来会智能零售吗? 无人零售最早是2016 年12 月亚马逊在西雅图建立的首家无人便利店Amazon Go,名噪一时!与此同时,2016年10月 ...
- 洞悉物联网发展1000问之软银孙正义的最新三大投资秘诀是什么？
最近,软银集团发布了2018年的业绩会,不出所料,目前主要的收益来源股票价值约27兆日元,其中阿里巴巴接近占据半壁江山!其他收入主要由从事通信业务的软银株式会社以及Sprint.芯片业务ARM.软银愿 ...
- 洞悉物联网发展1000问之智能门锁会成为新爆品吗？
2018年,智能家居出现了全屋智能的概念,同时随着"房子是住的不是用来炒的"政策深化,出现了大量的公租房市场,也就大把的智能门锁的集采订单出现.当然还有一个主因,就是NB-IOT的 ...
- 洞悉物联网发展1000问之应该如何启动物联网的顶层设计？
时间如白驹过隙,又到了我们中关村物联网联盟年会的时间了,今天就写如何启动物联网的顶层设计?相信对于千百万物联网的老板或者创业者来说会有帮助! 为什么要启动物联网顶层设计这么大的概念 最近笔者一直强调, ...
- 洞悉物联网发展1000问之从精益管理到互联工业带来的启示是什么？
去过日本的朋友都听说过,日 本 本 国的制造产品大体分为三种,最好的是"made in Japan" ,基本不出口,因为质量最好!第二类是出口到欧 美市场,当然第三类是出口到第 三 ...
- 洞悉物联网发展1000问之ZigbeePRO技术会卷土重来占领物联网吗
物联网的基础架构包括感知.传输.应用,其中传输技术目前因为5G的到来,格外引人注目!当然,在近距离无线传输技术中,可能大多数人都不知道,Zigbee 技术实际上也是一种很实用,很有效的无线连接手段. ...
最新文章
- 【Python 第8课】while
- 深度学习多变量时间序列预测：Encoder-Decoder LSTM算法构建时间序列多变量模型预测交通流量+代码实战
- 用VC++实现一个文本文件阅读器
- 汇编语言实验 3 编程、编译、连接、跟踪
- 深度前沿：对话管理模型研究最新进展
- hadoop练习处理地震数据
- python服务器qt客户端_python3+PyQt5 创建多线程网络应用-TCP客户端和TCP服务器实例...
- c#下不同命名空间的引用（一个project使用另外一个project的名称空间）
- Java基础(六) static五大应用场景
- eclipse没有java web,Eclipse Juno在Dynamic Web Project中没有JSP（但其他一切都很好）
- Cesium加载GeoJson数据
- 最新声音鉴定鉴卡引流神器PHP源码
- vs2015显示方法引用个数
- Selenium使用自带浏览器自动化
- 惯性导航累积误差的由来
- 全网营销优势在于打造营销闭环，全网营销的经典营销方式推荐
- unity 所有版本下载地址
- 一个人并不寂寞，想一个人才寂寞：QQ空间情感日志
- Week 5: Management of the Sporadic Nature of Data Flows 4 - UE-Triggered Service Request
- 功率MOS管驱动设计与PCB layout注意事项