为什么现在大家喜欢用3*3小卷积？

https://www.toutiao.com/a6706311102759698948/

我们知道现在在构建CNN时大家喜欢用3*3的卷积，而不是早期的5*5，7*7等更大尺寸的卷积，如vgg系列网络中全部使用了3*3的卷积。那么你知道为什么这样做吗？

这里既然用3*3卷积来替代更大尺寸的卷积，那么有一个前提，就是要保证两者具有同样大小的输出和感受野。

两个3*3的卷积才能代替一个5*5的卷积；三个3*3的卷积才能代替一个7*7的卷积。

以stride=1，padding=0我们来看看为何。

我们首先看一下采用5*5卷积的方案。

假设图像大小为n*n，采用5*5的卷积核其输出为(n-5)/1+1=n-4。

我们再看一下采用3*3卷积的方案。

同样图像大小为n*n，第一次卷积后输出为（n-3)/1+1=n-2，第二次卷积后输出为（n-2-3）/1+1=n-4。

从上面的图可以看出，采用一个5*5卷积核和两个3*3卷积核，它们卷积后的输出是相同大小，输出的每一个像素的感受野也相等。

在这样的前提下，有什么好处呢？

1、网络层数增加了，这增加了网络的非线性表达能力。

2、参数变少了，两个3*3和一个5*5的参数比例为3×3×2/(5×5)=0.72，同样的三个3×3和一个7×7参数比例为3×3×3/(7×7)=0.55，将近一倍的压缩，这可是很大提升。

这就是用3*3卷积带来的最明显的两个优势。

思考：近几年的经典网络中多半都采用了3*3的小卷积，关于它的好处还有一些值得研究的空间，大家可以延伸思考下。

为什么现在大家喜欢用3*3小卷积？相关推荐

【AI-1000问】为什么现在大家喜欢用3*3小卷积？
往期视频(前往公众号有三AI观看) 为什么现在大家喜欢用3*3小卷积? 我们知道现在在构建CNN时大家喜欢用3*3的卷积,而不是早期的5*5,7*7等更大尺寸的卷积,如vgg系列网络中全部使用了3*3 ...
女人喜欢大男人还是小男人
转载自 http://hi.baidu.com/512347937/blog/item/6651e4cdec149c510eb3452c.html 大男人,小男人,到底谁能满足现代女人?现代女人首先 ...
程序员喜欢的5种小姐姐类型
一副黑框眼镜,身上格子衬衫,背后一个黑色双肩包,耳边戴着一副耳机.没错,说的就是你--程序员!这就是典型的IT男,或者程序员在大众心目中的形象,虽然不帅但丝毫不影响他们对女神的要求!猿们心中期待的小姐 ...
学好Python，为你喜欢的抖音小姐姐疯狂打call
什么是抖音抖音是2016年9月上线的一款音乐创意短视频社交软件,是一个专注年轻人的15秒音乐短视频社区.用户可以通过这款软件选择歌曲,拍摄15秒的音乐短视频,形成自己的作品. 效果抖音经常能刷到很 ...
【Pygame实战】趣味篮球——迎“篮”而上，乐在“球”中，喜欢打篮球的小可爱前来报道~
导语贪玩的我~终于回来了!
【完结】AI1000问以后知识星球和B站见啦
文/编辑 | 言有三学习从来都是从大处着眼,小处着手.前段时间公众号开通了专栏<AI 1000问>,专门选择那些很小,容易被忽视,普通但是不简单,可以引申很多思考的问题,得到了大家的喜欢 ...
三分钟教会你用Python爬取到喜欢的小姐姐图片
使用Python爬取小姐姐图片首先上网站链接唯vb.net教程美女生爬取图片主要分为一下几步: 1.打开一个你喜欢c#教程的小姐姐的网站 E.g xiaojiejie web 2.下载并安装p ...
房产小程序需要加入哪些功能才能让用户喜欢？
对于我们中国人来说,买房子可是一件大事,在以前大家购买房子需要到楼盘所在地了解,而现在互联网高速发展,人们足不出户通过微信小程序就可以了解各个地区的楼盘信息,这样确实节省下来不少时间.不过不是所有房产 ...
智能视觉组参赛总结及体会- 西安邮电大学 - AI小布丁
§01 参赛总结卓老师您好,我们是西安邮电大学参与16届智能视觉组的代表队,很荣幸拿到了今年全国总决赛一等奖的好成绩.下面我将分享我们的参赛总结. Ⅰ.总体分析相较于15届的AI电磁以及今 ...

为什么现在大家喜欢用3*3小卷积？

为什么现在大家喜欢用3*3小卷积？相关推荐

最新文章

热门文章