EfficientNet v2来了更快、更小、更强

2024-05-14 22:47:36

源码测试，s模型78m多，还是挺多，我自己改了一版轻量级，3.4m，代码附在本文最后。

本文提出一种训练速度更快、参数量更少的卷积神经网络EfficientNetV2。我们采用了训练感知NAS与缩放技术对训练速度与参数量进行联合优化，NAS的搜索空间采用了新的op(比如Fused-MBConv)进行扩充。实验表明：相比其他SOTA方案，所提EfficientNetV2收敛速度更快，模型更小(6.8x)。

在训练过程中，我们可以通过逐步提升图像大小得到加速，但通常会造成性能掉点。为补偿该性能损失，我们提出了一种改进版的渐进学习方式，它自适应的根据图像大小调整正则化因子，比如dropout、数据增广。

受益于渐进学习方式，所提EfficientNetV2在CIFAR/Cars/Flowers数据集上显著优于其他模型；通过在ImageNet21K数据集上预训练，所提模型在ImageNet上达到了87.3%的top1精度，以2.0%精度优于ViT，且训练速度更快(5x-11x)。

在正式介绍EfficientNetV2之前，我们先简单看一下EfficientNet；然后引出训练感知NAS与缩放，以及所提EfficientNetV2.

Understanding Training Efficiency

Training with very large image sizes is sl

EfficientNet v2来了更快、更小、更强相关推荐

更快地编写更好的代码：5 分钟阅读
更快地编写更好的代码:5 分钟阅读关于如何在不影响质量的情况下更快地编码的小技巧最近,我阅读了David Farley的"现代软件工程",它详细阐述了现代软件开发核心的持久性原 ...
IntelliJ IDEA 2019.3 发布，启动更快，性能更好（新特性解读）
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料原文地址:https://www.jetbrains.com/id ...
Java 启动和停止界面_IntelliJ IDEA 2019.3 发布，启动更快，性能更好（新特性解读）...
点击上方"小哈学Java",选择"星标" 回复"资源",领取全网最火的Java核心知识总结~ 2019.3 11 月 28 IntelliJ ...
超越Swin Transformer！谷歌提出了收敛更快、鲁棒性更强、性能更强的NesT
[导读]谷歌&罗格斯大学的研究员对ViT领域的分层结构设计进行了反思与探索,提出了一种简单的结构NesT,方法凭借68M参数取得了超越Swin Transformer的性能. 文章链接:htt ...
UP-DETR：收敛更快！精度更高！华南理工微信开源无监督预训练目标检测模型...
关注公众号,发现CV技术之美 0 写在前面基于Transformer编码器-解码器结构的DETR达到了与Faster R-CNN类似的性能.受预训练Transformer在自然语言处理方面取得巨大成 ...
更快，可扩展性更强的 Apache Cassandra 4.0 正式发布
责编 | 张红月出品 | CSDN(ID:CSDNnews) 上周刚刚宣布因 Bug 延迟发布的 Apache Cassandra 4.0 版本正式发布了.Apache Cassandra 副总裁 ...
EfficientNetV2：训练速度快了5~10x，更小，更快，精度更高的EfficientNet
本文转自AI公园. 作者:Mostafa Ibrahim 编译:ronghuaiyang 导读相比于之前的SOTA,训练速度快了5~10x,而且性能更高. 论文链接:https://arxiv.or ...
巧用键盘鼠标！打字更快—办公效率更好！
很多人是不是经常只用鼠标划来划去? 你有没有发现?电影里的黑客都不用鼠标的? 其实!巧用你的键盘,能让你的办公效率更好!让你Show起来! 接下来,教你玩转键盘! 一.windows键 1.快速锁屏 ...
Wi-Fi 6强势来袭-更大容量更低延迟更快网速更安全
- 季冠闪星云 - Wi-Fi 6时代 -大容量 • 低延迟- 近几年,5G和Wi-Fi 技术都是热门话题,随着科技互联网的飞速发展,Wi-Fi 技术也随之得到了大规模提升.各行各业都在进行企业数字化 ...
德鲁伊 oltp oltp_内存中OLTP –更快变得更简单！
德鲁伊 oltp oltp In-memory OLTP is a revolutionary tool introduced on SQL Server 2014. On SQL Server 20 ...

最新文章

热门文章