CVPR2020 Oral | 华为开源只有加法的神经网络,实习生领衔,效果不输传统CNN
关注上方“深度学习技术前沿”,选择“星标公众号”,
资源干货,第一时间送达!
编译:量子位&深度学习技术前沿
没有乘法的神经网络,你敢想象吗?无论是单个神经元的运算还是卷积运算,都不可避免地要使用乘法。
然而乘法对硬件资源的消耗远大于加法。如果不用乘法,全部改用加法应该可以让运算速度大大提升。
去年年底,来自北京大学、华为诺亚方舟实验室、鹏城实验室的研究人员将这一想法付诸实践,他们提出了一种只用加法的神经网络AdderNet(加法器网络)。一作是华为诺亚方舟实习生,正在北大读博三。
如今,这篇文章已经被CVPR 2020收录(Oral),官方也在GitHub上开放了源代码。有兴趣的同学不妨前往一试究竟。
加法器网络简介
加法器网络的核心在于:用L1距离代替欧氏距离。
L1距离是求两点之间坐标差值的绝对值之和,因此全程不涉及乘法。
在这种新的定义下,反向传播中用到的求偏导数运算也变成了求减法。梯度下降的优化过程也被叫做符号SGD(signSGD)。
在加法器网络的新定义下,AdderNet的特征可视化以及特征向量的空间分布也和CNN有很大的不同。
那么AdderNet的实际效果如何呢?
在CIFAR-10的图像分类任务中,AdderNet相比当初Bengio等人提出的加法神经网络BNN性能有大幅提升,并且已经接近了传统CNN的结果。在ImageNet的图像分类任务中,AdderNets可以达到74.9%的top-1正确率和91.7%的top-5正确率,与CNN接近。
开源代码
官方的AdderNet基于Python3和PyTorch。
先按照PyTorch的官方文档准备ImageNet数据集,运行程序评估它在验证集上的效果:
python test.py —data_dir 'path/to/imagenet_root/'
AdderNet可以在ImageNet数据集上达到74.9%的Top-1准确度和91.7%的Top-5准确度。
或者将CIFAR-10数据集下载到本地,测试一下它在CIFAR-10上的效果:
python test.py —dataset cifar10 —model_dir models/ResNet20-AdderNet.pth —data_dir 'path/to/cifar10_root/'
不过AdderNet仍需自己训练,官方表示将很快发布预训练模型。
现阶段的AdderNet并非没有缺陷,作者在项目主页中说,由于AdderNet是用加法过滤器实现的,因此推理速度较慢,需要用CUDA编写才能提高速度。
这与作者希望提高神经网络运算速度的初衷还有一段距离。
但这篇论文的作者表示,今后还会继续加法器神经网络的研究,发表更多的成果,让我们一起期待这项研究取得新的进展吧。
华为诺亚实验室实习生领衔打造
AdderNet这篇文章的一作名叫陈汉亭,毕业于同济大学数学系,现在在北京大学信息科学技术学院攻读博士学位,同时在华为诺亚方舟实验室实习。
在硕博连读的前三年中,他已经以一作身份发表了5篇论文,其中一篇《Data-Free Learning of Student Networks》被ICCV 2019收录,另外它参与多篇论文还被NeurIPS、IJCAI、ICML等顶会收录。
传送门
源代码:
https://github.com/huawei-noah/AdderNet
论文地址:
https://arxiv.org/abs/1912.13200
重磅!深度学习技术前沿-微信群已成立
扫码添加群助手,可申请加入 深度学习技术前沿 微信群,旨在交流深度学习方面的学习、科研、工程项目等内容,并且还会在群中分享求职内推资料。后续还会根据大家的研究方向细分技术交流群。
一定要备注:研究方向+学校/公司+姓名(如图像分割+浙大+李四),按照格式备注,可更快被通过且邀请进群。
???? 长按识别,即可加群
???? 长按识别,即可关注
CVPR2020 Oral | 华为开源只有加法的神经网络,实习生领衔,效果不输传统CNN相关推荐
- 华为开源只用加法的神经网络:实习生领衔打造,效果不输传统CNN | CVPR 2020 Oral...
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 没有乘法的神经网络,你敢想象吗?无论是单个神经元的运算还是卷积运算,都不可避免地要使用乘法. 然而乘法对硬件资源的消耗远大于加法.如果不用 ...
- <CVPR2020 Oral>AI妆容迁移: Pose-Robust Spatial-Aware GAN for Customizable Makeup Transfer
写在前面: 跟朋友讨论的时候,发现妆容迁移也有挺大的市场,看到一篇关于这个的介绍文,学习一下- 论文地址: https://arxiv.org/pdf/1909.06956.pdf 这篇论文是CVPR ...
- CVPR 2020 Oral:北大华为等提出只用加法的神经网络,重磅开源
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :华为 AI博士笔记系列推荐 ...
- 【CVPR 2020 Oral】华为开源加法神经网络
作者:王云鹤 本文转载自知乎,作者已授权,未经许可请勿二次转载. 此前备受大家关注的加法神经网络(AdderNet,ANN)已被CVPR 2020接受,并录用为Oral(接受率约6%).在这篇工作中, ...
- 华为开源加法神经网络 | CVPR20 Oral
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 本文由知乎作者王云鹤授权转载,不得擅自二次转载.原文链接:https://zhuanlan.zhihu ...
- 华为开源构建工具_为什么我构建了用于大数据测试和质量控制的开源工具
华为开源构建工具 I've developed an open-source data testing and a quality tool called data-flare. It aims to ...
- “哪吒”出世!华为开源中文版BERT模型
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :诺亚实验室 [人工智能资源 ...
- 华为开源深度学习框架MindSpore背后的商业野心
最近华为开源了深度学习框架MindSpore,一时成为了热点.我之前也点评了很多微软.Google.腾讯等厂商的框架,有些点评文章还被官方社区收录,今天为大家解析下MindSpore. 首先阐明下我个 ...
- 鸿蒙系统发布IT直播,华为开源平台上线:鸿蒙系统、方舟编译器在列
华为近日官方宣布,方舟编译器将于8月31日正式开源.这一颠覆式的技术堪称安卓系统性能革命,将带来巨大的性能提升,官方称操作流畅度提升可高达60%. 8月31日凌晨,华为开源平台网站(HUAWEI Op ...
最新文章
- MySql中添加用户,新建数据库,用户授权,删除用户,修改密码
- matlab 基于 libsvm工具箱的svm分类遇到的问题与解决
- ZOJ 3829 Known Notation(贪心)
- PowerPoint2010 中停止使用和修改的功能
- 枚举法 POJ1411
- 光流 | 光流算法对比:Farneback、Horn-Schunck、Lucas-Kanade、Lucas-Kanade derivative of Gaussian(附Matlab与C++代码)
- mac下hive-2.2.0-src版本的编译
- redis数据类型-列表(List)
- 怎么计算算法复杂度 big O
- 《数值分析(原书第2版)》—— 1.5 不需要导数的根求解
- 大漠为什么不支持win10_Win10系统注册使用大漠插件的方法与设置!常见错误0x8002801...
- 此更新不适用于您的计算机 kb4012212,这才是正确的全球勒索软件处置方法(含Windows补丁)...
- Fiddler对安卓模拟器里的APP抓包(步骤详细,各种抓包工具总结)
- terrasolid时间设置
- 2012电商倒闭潮——死亡的电商整理
- 指导手册05:MapReduce编程入门.md
- 数据库设计 - 01外卖配送系统
- Android拍照,照片会自己旋转
- Vim的几个高级玩法
- SVM-支持向量机理解(拉格朗日乘子法(Lagrange multiplier))
热门文章
- vs2010给c语言文件添加头注释
- python threading join_Python中threading模块join函数用法实例分析
- java反射 int_java反射如何调用参数为int的方法?
- idea 连接 mysql_IDEA 与MySQL连接问题
- 数据结构与算法的八股文自述(持续更新)
- Leetcode刷题 225题:用队列实现栈(基于Java和c++两种语言)
- @RequestMapping执行过程
- 软件配置管理(Software Configuration Management,SCM)
- 计算机软件考试预测,2020年计算机软件水平考试信息技术处理员预测试题及参考答案...
- “智源论坛Live”报名 | 清华大学高天宇:实体关系抽取的现状和未来