谷歌大脑提出EfficientNet平衡模型扩展三个维度，取得精度-效率的最大化！

点击我爱计算机视觉标星，更快获取CVML新技术

今天要跟大家重磅介绍上午谷歌大脑新出的论文《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》，在模型扩展时平衡好深度、宽度、分辨率，取得精度、效率、模型大小的最大化。

借由此简单有效的模型扩展方法，作者在使用神经架构搜索得到的基模型上扩展出一系列EfficientNets模型，达到了更好的精度和效率的平衡，其中EfficientNet-B7模型在ImageNet数据集上达到 state-of-the-art 84.4% top-1 / 97.1% top-5 精度，并且相比目前最好的方法模型size减小8.4倍，速度快6.1倍！！

简直是神级操作！

该文已被ICML 2019录用，这可能是一篇要改变整个深度卷积网络模型设计的论文了。

下面是作者信息：

两位作者均来自谷歌大脑。

下图是作者使用该文方法得到的7个EfficientNets与目前知名的state-of-the-art模型精度-参数量的比较：

可见本文得到的模型在相近模型大小时，精度高于所有之前的竞争对手！

什么是模型扩展？

模型扩展是借由改变深度卷积网络的宽度、深度、分辨率进而寻找更高精度模型，或者寻找精度-计算量-模型size满足一定要求的模型的方法。

下图展示了这一过程：

其中最右为作者提出的方案，即在三个维度（宽度、深度、分辨率）进行复合扩展。

（模型扩展是很常见的操作，只是之前大家总是关注在宽度和深度，作者在这里将分辨率纳入考量）

这是作者做的实验，单一调整一个维度能够获得精度提升，随着参数调的越大，精度增益越平滑，即改进不再明显。

下图为同时调整深度和分辨率获得的模型的结果，可见联合调整能够获得更好的精度增益曲线。

方法

作者就是把深度d、宽度w和分辨率r纳入一个受限的搜索空间，如下：

对于特定的基模型，采用如下两个步骤获得一系列扩展模型，从计算量参数量小精度低到计算量参数量大精度高的一系列模型。

下面是作者用神经网络搜索得到的基模型EfficientNet-B0。

实验结果

实验结果实在是太靓丽了！

这是作者得到的七个模型与现有最好的算法在ImageNet数据集上的比较，在精度超越的同时，计算复杂度和参数量都下降了一个数量级！

下图为在MobileNets和ResNet上与单一维度扩展的比较，计算量相近的情况下，本文方法精度表现出一致性的更高！

在实际的硬件上计算同样验证了理论的结论：

作者用得到的新模型在8个数据集上进行了迁移学习实验，取得了5个state-of-the-art的结果，而且计算量和参数量依旧小一个数量级！

该算法虽然简单，但结果实在是太吸引人了，强烈推荐大家关注！

论文地址：

https://arxiv.org/pdf/1905.11946v1.pdf

开源地址：

https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet

专业交流群

关注最新计算机视觉与机器学习技术，欢迎加入52CV专业交流群，扫码添加CV君拉你入群，

（请务必注明:52CV）：

喜欢在QQ交流的童鞋可以加52CV官方QQ群：702781905。

（不会时时在线，如果没能及时通过还请见谅）

长按关注我爱计算机视觉

谷歌大脑提出EfficientNet平衡模型扩展三个维度，取得精度-效率的最大化！相关推荐

重磅！谷歌大脑提出EfficientNet平衡模型扩展三个维度，取得精度-效率的最大化！...
点击我爱计算机视觉标星,更快获取CVML新技术今天要跟大家重磅介绍上午谷歌大脑新出的论文<EfficientNet: Rethinking Model Scaling for Convolut ...
谷歌大脑提出DropBlock卷积正则化方法，显著改进CNN精度
点击我爱计算机视觉标星,更快获取CVML新技术昨天arXiv新上一篇被NIPS2018会议接收的论文<DropBlock: A regularization method for convol ...
EfficientDet：COCO 51.0 mAP！谷歌大脑提出目标检测新标杆
点击我爱计算机视觉标星,更快获取CVML新技术昨天谷歌大脑团队发布了论文 EfficientDet: Scalable and Efficient Object Detection ,通过改进 FP ...
谷歌大脑提出“洗发水”二阶优化算法，Transformer训练时间减少40%，Jeff Dean点赞...
晓查发自凹非寺量子位报道 | 公众号 QbitAI 机器学习的优化步骤,目前都是一阶方法主导. 无论是SGD还是Adam,此类优化算法在都是计算损失函数的一阶导数--梯度,然后按照某种规定的 ...
告别深度学习炼丹术！谷歌大脑提出“权重无关”神经网络
来源:新智元本文约5600字,建议阅读10+分钟. 无需权重训练!谷歌再向深度学习炼丹术发起"攻击". [ 导读 ]神经网络训练中"权重"有多重要不言而喻.但 ...
比9种SOTA GNN更强！谷歌大脑提出全新图神经网络GKATs
来源:Google.新智元本文约2550字,建议阅读5分钟本文为你介绍谷歌大脑与牛津大学.哥伦比亚大学的研究人员提出的一种全新GNN:GKATs. [ 导读 ]GNN虽牛,但也避免不了计算复杂性等问 ...
边做边思考，谷歌大脑提出并发RL算法，机械臂抓取速度提高一倍！
选自arXiv 作者:Ted Xiao 等机器之心编译机器之心编辑部 RL 算法通常假设,在获取观测值.计算动作并执行期间环境状态不发生变化.这一假设在仿真环境中很容易实现,然而在真实机器人控制当 ...
谷歌大脑提出对智能体进行「正向-反向」强化学习训练，加速训练过程
原文来源:arXiv 作者:Ashley D. Edwards.Laura Downs.James C. Davidson 「雷克世界」编译:嗯~是阿童木呀.KABUDA.EVA 在强化学习问题中,关 ...
【计算机视觉 | ViT-G】谷歌大脑提出 ViT-G：缩放视觉 Transformer，高达 90.45% 准确率
文章目录一.简介二.如何做到的? 三.扩展数据四.「head」的解耦权重衰减五.通过移除 [class] token 节省内存六.实验结果 6.1 将计算.模型和数据一起扩展 6.2 Vi ...

谷歌大脑提出EfficientNet平衡模型扩展三个维度，取得精度-效率的最大化！

谷歌大脑提出EfficientNet平衡模型扩展三个维度，取得精度-效率的最大化！相关推荐

最新文章

热门文章