卷积层的dropout - dropblock
DropBlock: A regularization method for convolutional networks
dropout的不足
dropout是深度学习中避免过拟合的手段之一，经典网路结构中，dropout都被放到全连接层之后，鲜有放到卷积层之后。这是因为实验证明卷积层后的dropout层对网络泛化能力的改进微乎其微，本文分析了其中的原因：卷积层输出特征图各个元素之间存在很强的相关性，随机把某些原始置为0，其邻域元素带有何其相似的信息，dropout的功能没法实现。基于这个分析，本文提出了针对卷积层输出特征的dropout改进版：dropblock，不是随机把某些元素置零，而是随机把某些block都置零。如下图所示。
实现
dropblock有两个参数：block_size和γ\gammaγ。其中γ\gammaγ的含义和dropout中参数一致，表示每个元素被置零的概率，被用来从特征图的valid区域中选择一些需要置为0的元素(valid区域是指区域内任意点作为中心点，block_sized大小的邻域不会超出特征图尺寸)。以这些选中的元素为中心，确定block_size x block_size的邻域，这个区域内所有特征点都要置为0。算法伪码如下：
scheduled dropblock
和dropout不同，实验发现dropblock的γ\gammaγ值如果训练初始就设置较小的值，则会影响网络收敛。文中采用factor=4factor=4factor=4的线性函数在训练过程中从1开始逐步降低γ\gammaγ的值，直至达到目标值
实验
DropBlock for Resnet50
合适配置DropBlock，可以帮助resnet50在ImageNet上提高1~2%， resent的bottleneck模块包括skip和conv两个分支，dropBlock不仅可以作用在conv分支，也可以作用在skip分支上。如下下图所示
第一列base实验，第二列是在skip分支增加dropblock模块，第三列是利用scheduled dropblcok。最优的参数是block_size=7.
卷积层的dropout - dropblock相关推荐
- Lesson 16.1016.1116.1216.13 卷积层的参数量计算，1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化，NiN网络复现
二 架构对参数量/计算量的影响 在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
- 狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层
狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层 在这篇文章中您将会从数学和算法两个角度去重新温习一下卷积层,激活函数,池化层,Dropout层,BN层,全链接 ...
- Keras.layers各种层介绍，网络层、卷积层、池化层 等
[转载]Keras.layers各种层介绍 - 心冰之海 - bk园 https://www.cnblogs.com/lhxsoft/p/13534667.html 文章导航 一.网络层 1.常用网络 ...
- 深度学习：卷积层的实现
文章目录 卷积层的数据shape和普通层的数据shape差别: 卷积层实现 实现池化层 实现 CNN 中的特殊层结构 实现 LayerFactory 网络结构 卷积层的数据shape和普通层的数据sh ...
- 基于Keras的卷积神经网络用于猫狗分类(进行了数据增强)+卷积层可视化
接着我上一篇博客,https://blog.csdn.net/fanzonghao/article/details/81149153. 在上一篇基础上对数据集进行数据增强.函数如下: "&q ...
- 深入学习卷积神经网络中卷积层和池化层的意义（转）
为什么要使用卷积呢? 在传统的神经网络中,比如多层感知机(MLP),其输入通常是一个特征向量:需要人工设计特征,然后将这些特征计算的值组成特征向量,在过去几十年的经验来看,人工找到的特征并不是怎么好用 ...
- padding和卷积的区别_NiN：使用11卷积层替代全连接层
微信公号:ilulaoshi, 原文发表在我的个人网站:https://lulaoshi.info/machine-learning/convolutional/nin.html LeNet.Alex ...
- 深度之眼Pytorch打卡（十三）：Pytorch全连接神经网络部件——线性层、非线性激活层与Dropout层（即全连接层、常用激活函数与失活 ）
前言 无论是做分类还是做回归,都主要包括数据.模型.损失函数和优化器四个部分.数据部分在上一篇笔记中已经基本完结,从这篇笔记开始,将学习深度学习模型.全连接网络MLP是最简单.最好理解的神经网络, ...
- 【卷积神经网络】卷积层，池化层，全连接层
转于:<入门PyTorch> 卷积层是卷积神经网络的核心, 大多数计算都是在卷积层中进行的. 1 卷积层 1.1 概述 首先介绍卷积神经网络的参数. 这些参数是由一些可学习的滤波器集合构成 ...
最新文章
- 同样在JavaScript中
- GDCM：gdcm::Fragment的测试程序
- SAStruts リンク記述におけるs:linkとhtml:linkの比較
- PaddleDetection支持的数据格式
- Java中代码块和继承
- C++传指针和引用demo
- 计算机病毒与反病毒技术
- 问题解决之——未知usb设备设备描述符请求失败（Jlink驱动）
- unity3D游戏素材素材哪家强？Top3都在这！
- 最简单的数据地图制作，只要6步就搞定！
- Android或者是IOS/普通屏全面屏及qq浏览器和qq内置浏览器判断
- SecureCRT 关键字配色显示
- 【实践】人体红外传感器
- 数学一年级应用题_一年级数学下册应用题大全(附带答案)
- Dynamic Few-Shot Visual Learning without Forgetting||论文阅读
- Kafka坑之一：Lag与HW、LEO
- DX11 游戏开发笔记 （二） DX11 基础框架三角形 下
- 两寸照片有多大？教你把照片尺寸修改成两寸的方法
- Python爬取淘宝图片
- 2021-2027全球与中国演播室和外场超高清和高清镜头市场现状及未来发展趋势