“非深度网络”12层打败50层,普林斯顿+英特尔:更深不一定更好
点击上方“AI遇见机器学习”,选择“星标”公众号
重磅干货,第一时间送达
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
“深度”是深度神经网络(DNN)的关键词。但网络越深也就意味着,训练时反向传播的链条更长,推理时顺序计算步骤更多、延迟更高。
而深度如果不够,神经网络的性能往往又不好。
这就引出了一个问题:是否有可能构建高性能的“非深度”神经网络?
普林斯顿大学和英特尔最新的论文证明,确实能做到。
他们只用了12层网络ParNet就在ImageNet上达到了接近SOTA的性能。
ParNet在ImageNet上准确率超过80%、在CIFAR10上超过 96%、在CIFAR100上top-1准确率 达到了81%,另外在MS-COCO上实现了48%的AP。
他们是如何在网络这么“浅”的情况下做到的?
并行子网提升性能
ParNet 中的一个关键设计选择是使用并行子网,不是按顺序排列层,而是在并行子网中排列层。
ParNet由处理不同分辨率特征的并行子结构组成。我们将这些并行子结构称为流(stream)。来自不同流的特征在网络的后期融合,这些融合的特征用于下游任务。
在 ParNet 中,作者使用VGG样式的块。但是对于非深度网络来说,只有3×3卷积感受野比较有限。
为了解决这个问题,作者构建了一个基于Squeeze-and-Excitation设计的 Skip-Squeeze-Excitation (SSE) 层。使用SSE模块修改后的Rep-VGG称之为Rep VGG-SSE。
对于ImageNet等大规模数据集,非深度网络可能没有足够的非线性,从而限制了其表示能力。因此,作者用SiLU激活函数替代了ReLU。
除了RepVGG-SSE块的输入和输出具有相同的大小外,ParNet还包含下采样和融合块。
模块降低分辨率并增加宽度以实现多尺度处理,而融合块组合来自多个分辨率的信息,有助于减少推理期间的延迟。
为了在小深度下实现高性能,作者通过增加宽度、分辨率和流数量来扩展ParNet。
作者表示,由于摩尔定律放缓,处理器频率提升空间也有限,因此并行计算有利于神经网络实现更快的推理。而并行结构的非深度网络ParNet在这方面具有优势。
实际性能如何
在ImageNet数据集上,无论是Top-1还是Top-5上,ParNet都接近SOTA性能。
在MS-COCO任务中,ParNet在性能最佳的同时,延迟最低。
不过也有人质疑“非深度网络”的实际表现,因为虽然层数少,但网络宽度变大,实际上ParNet比更深的ResNet50的参数还要多,似乎不太有说服力。
但作者也表示“非深度”网络在多GPU下能发挥更大的并行计算优势。
最后,ParNet的GitHub页已经建立,代码将在不久后开源。
参考链接:
[1]https://arxiv.org/abs/2110.07641
[2]https://github.com/imankgoyal/NonDeepNetworks
欢迎关注我们,看通俗干货!
“非深度网络”12层打败50层,普林斯顿+英特尔:更深不一定更好相关推荐
- 12层打败50层,ParNet 普林斯顿+英特尔:更深不一定更好
网友实现的: https://github.com/Pritam-N/ParNet/blob/main/parnet.py 2021.11.1,还没代码: https://github.com/ima ...
- 12层也能媲美ResNet?YOLOv4一作邓嘉团队提出ParNet:非深度网络!
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨happy 转载自丨极市平台 导读 是否有可能构建一个高性能的Non-deep(非深度)神经网络 ...
- 非深度网络 Non-deep Network:低延迟平行网络 ParNet,仅 12 层媲美 ResNet
Non-deep Network Ankit Goyal1,2 Alexey Bochkovskiy2 Jia Deng1 Vladlen Koltun2 1Princeton Unive ...
- 50岁的英特尔,老了吗?
1968年7月18日,英特尔诞生,到今天,整整走过半个世纪. 很难想象:如果这个世界上没有了英特尔,那会变成什么样? 再直观一点,想象一下没有CPU的世界将是什么样? 如果没有CPU,可以说几乎一切都 ...
- 小米回应有品特殊激励需放弃年终奖……外媒说,荷兰运营商KPN允许华为有限参与5G网络建设;传苹果挖角英特尔5G工程师...
关注并标星星CSDN云计算 极客头条:速递.最新.绝对有料.这里有企业新动.这里有业界要闻,打起十二分精神,紧跟fashion你可以的! 每周三次,打卡即read 更快.更全了解泛云圈精彩news g ...
- 神经网络其实并不需要那么深!普林斯顿大学英特尔提出ParNet,12层的网络就能达到80%以上的准确率!...
关注公众号,发现CV技术之美 本文分享论文『Non-deep Networks』,由普林斯顿大学&英特尔联合提出<ParNet>,表示深度神经网络其实并不需要那么深!12层的网络就 ...
- 网络结构 - Inception深度网络家族盘点
Inception深度网络家族盘点 | Inception v4 和Inception-ResNet未来走向何方 ? 原文转自 Inception深度网络家族盘点 | Inception v4 和In ...
- 深度并非一切:普林斯顿、英特尔提出ParNet,速度和准确性显著优于ResNet
点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 神经网络的深度并不意味着一切?在近期的一项研究中,普林斯顿和英特尔的研究者提出了一种使 ...
- 全栈创新加速“算力网络”时代来临:英特尔携手中国移动共谱数智华章
十年同行,十年辉煌! 以"聚力融合创新 共谱数智华章"为主题的第十届中国移动全球合作伙伴大会于12月11日-12日隆重拉开帷幕.虽然受疫情原因,本次大会以线上的形式召开,但是作为移 ...
最新文章
- 接口冲突的一种解决方法
- VDI序曲二十 桌面虚拟化和RemoteApp集成到SharePoint 2010里
- Async Mode: Future使用
- java之整数的分解可以理解为倒序输出
- java表格树_Java程序员值得拥有的TreeMap指南
- iphone桌面横屏设置在哪里_我和我各司其职的桌面们
- python做自动化控制postman_python自动化测试入门篇-postman
- linux用户密码转换为明文,Linux运维知识之linux下抓取内存中明文密码mimipenguin
- php mysql怎么实现,使用php与mysql怎么实现一个无限级分类
- TCP/IP ---封装与分用
- 网络用词:小狼狗小奶狗区别
- 在Power BI Desktop报告中使用图像
- mysql配置文件my.cnf解析
- diff测试与流量回放测试
- Perl语言学习总结
- ElasticSearch学习(二):ElasticSearch下载与运行
- 微信小程序毕业设计 基于微信小程序外卖点餐系统开题报告
- 海康威视录像机(DS-8632N-E8)开机卡LOGO
- iTop-4412精英版的u-boot-2017.11移植教程(二)
- 用java求梯形面积