efficientnet

EfficentNet详解之MBConvBlock - 知乎Efficientnet 是基于MBConvBlock建立的网络。MBConvBlock模块的拓朴图如下： class MBConvBlock(nn.Module): """ Mobile Inverted Residual Bottleneck Block Args: block_args (namedtuple): BlockAr…https://zhuanlan.zhihu.com/p/258386372后ResNet时代的顶流EfficientNet - 知乎首发于Smarter公众号第一次做视频讲解，很多瑕疵，可以留言建议视频：后ResNet时代的顶流EfficientNet 其实，我对于EfficientNet流派的网络是排斥的，暴力搜索的方法看起来跟创新背道而驰，总觉得不太光彩，这对…https://zhuanlan.zhihu.com/p/362437659

efficientnet讨论了width,depth and resolution三者之间的关系，并且给出了一个ratio来保证一个高的精度（对于要处理的问题的几何复杂度所构建的网络结构和loss之间的对应关系，黎曼空间的测地线，构建一个更好更平滑的解空间，寻找复杂度和数据复杂度对应的测地线）

1.Introduction

论文的中心问题：是否有一种原则性的方法来扩展CONVNET，以获得更好的准确性和效率？我们的实证研究表明，平衡网络宽度/深度/分辨率的所有维度是至关重要的，令人惊讶的是，这种平衡可以通过简单地以恒定比率缩放每个维度来实现。用一个固定的scaling coefficient来均匀的scale网络的width，depth和resolution。

Intuitively, the compound scaling method makes sense because if the input image is bigger, then the network needs more layers to increase the receptive field and more channels to capture more fine-grained patterns on the bigger image.

2.compound model scaling

2.1 问题定义：

转成一个优化问题，目标是最大限度地提高任何给定资源约束下的模型精度。

2.2 scaling dimensions

网络过深并不好，即便是resnet过深的网络也不一定在对应的问题复杂度上获取很好的效果，对于过深网络造成的梯度消失和爆炸都可以通过BN得到缓解，包括shortcut也可以处理梯度退化问题。

网络极宽而浅也不好，Scaling network width is commonly used for small size models,wider networks tend to be able to capture more fine-grained features and are easier to train.

wider networks tend to be able to capture more fine-grained features and are easier to train.

Observation 1: 放大网络宽度、深度或分辨率的任何维度都可以提高精度，但对于较大的模型，精度增益会减小。

论文做了实验，width，depth，resolution这三个维度都会随着模型的变大收益呈现边际递减。

2.3 compound sacliing

We empirically observe that different scaling dimensions are not independent. Intuitively, for higher resolution images,we should increase network depth, such that the larger receptive fields can help capture similar features that include more pixels in bigger images. Correspondingly, we should also increase network width when resolution is higher, in order to capture more fine-grained patterns with more pixels in high resolution images(高resolution，增加深度，用更大的感受野去捕获相似的特征，增加宽度，去捕获更多细粒度的图案).

Observation 2 – In order to pursue better accuracy and efficiency, it is critical to balance all dimensions of network width, depth, and resolution during ConvNet scaling.

观察1说width，depth，resolution这三个维度的边际递减，都有用，观察2说balance这三个维度会产生更好的效果。

于是提出了一种compound scaliing method

d,w,r是一组中的三个因子，通过一个compound coefficient来控制。

3.efficientnet architecture

baseline主要是由mbconv模块构成，mbconv模块包括了 se和shortcut连接。

efficientnet整体来看是在讨论width，depth，resolution这三者的一个联系，并且定量的描述了出来，通过nas重组出了更好的网络，本身也在揭示，width，depth，resolution这三者在面对问题复杂度时也不是越多越好，而是模型负责度和问题匹配上时最好，基础结果是mbconv，是se和shortcut的组合，极具有代表的基础结构。（通常分类输入是224，再训练的时候抛开一些数据增强不谈，一般也是resize成224*224来输入网络，但是即便是resize操作，对于resolution来说，也是有区别的，capture similar features that include more pixels in bigger images,图像的尺度其实变了，有点多尺度训练的意思了。）

2021.12.11，paperwithcode在imagenet上，

EfficientNet-B0的top1精度76.3&，top5精度93.2%，参数量：5.3M，EfficientNet-B1上top1:78.8%，top5:94.4%，7.8M,EfficientNet-B2，top1：79.8%，top5:94.9%，9.2M，EfficientNet-B3.top1:81.1%，top5:95.5%，12M,EfficientNet-B4，top1:82.6%，top5:96.3%，19M，EfficientNet-B5，top1:83.3%，top5:96.7%，30M，EfficientNet-B6,top1:84%，top5:96.9%，43M，EfficientNet-B7，top1:85%，66M.

efficientnet相关推荐

【神经网络】(17) EfficientNet 代码复现，网络解析，附Tensorflow完整代码
各位同学好,今天和大家分享一下如何使用 Tensorflow 复现 EfficientNet 卷积神经网络模型. EfficientNet 的网络结构和 MobileNetV3 比较相似,建议大家在学 ...
Google出品，EfficientNet在目标检测达到最新SOTA | CVPR 2020
作者 | tanmingxing,rpang,qvl 来源 | 晓飞的算法工程笔记() 介绍目前目标检测领域,高精度的模型通常需要很大的参数量和计算量,而轻量级的网络则一般都会牺牲精度.因此,论文希 ...
谷歌开源新模型EfficientNet，或成计算机视觉任务新基础
作者 | Mingxing Tan,Quoc V. Le,Google AI 译者 | 刘畅责编 | 夕颜出品 | AI科技大本营(id:rgznai100) 开发一个卷积神经网络(CNN)的成本 ...
EfficientNetV2：更小，更快，更好的EfficientNet
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者 | Mostafa Ibrahim 编译 | ronghuai ...
如何使ResNet优于EfficientNet？
视学算法报道转载自:机器之心编辑:魔王.维度架构变化.训练方法和扩展策略是影响模型性能的不可或缺的重要因素,而当前的研究只侧重架构的变化.谷歌大脑和 UC 伯克利的一项最新研究重新审视了 Res ...
EfficientNet模型的完整细节
↑ 点击蓝字关注视学算法作者丨Vardan Agarwal.ronghuaiyang(译) 来源丨AI公园编辑丨极市平台极市导读本文介绍了一种高效的网络模型EfficientNet,并分析了 ...
超越EfficientNet，GPU上加速5倍，何恺明组CVPR 2020论文提出新型网络设计范式
选自arXiv 作者:Ilija Radosavovic等机器之心编译机器之心编辑部近日,何恺明大神组又发了一篇新论文,提出了一种新的网络设计范式.与以往研究不同,他们没有专注于设计单个网络实例 ...
独家 | 使EfficientNet更有效率的三种方法（附链接）
作者:Dominic Masters翻译:王可汗校对:欧阳锦本文约3300字,建议阅读5分钟本文为大家介绍了提升EffcientNet效率和性能的三个策略. 在实践中有更好性能的EfficientNe ...
谷歌提出新型卷积网络EfficientNet：推理速度提升5.1倍，参数减少88%（附论文代码）...
来源:机器之心本文共1500字,建议阅读8分钟. 谷歌提出了一种新型CNN网络EfficientNet,该网络具备极高的参数效率和速度. [ 导读 ]谷歌提出了一项新型模型缩放方法:利用复合系数统一 ...
时隔两年，EfficientNet v2来了！更快，更小，更强！
导读谷歌在EfficientNet的基础上,引入了Fused-MBConv到搜索空间中:同时为渐进式学习引入了自适应正则强度调整机制,组合得到了EfficientNetV2,它在多个基准数据集上取得 ...

efficientnet

efficientnet相关推荐

最新文章

热门文章