加法神经网络--AdderNet: DoWe Really Need Multiplications in Deep Learning?

AdderNet: DoWe Really Need Multiplications in Deep Learning?
CVPR2020
https://arxiv.org/abs/1912.13200

当前主流的CNN网络使用了大量的乘法运算来计算输入特征层和卷积滤波器的相似性（cross-correlation），由于乘法运算耗时明显大于加法运算耗时，所有本文提出一个加法神经网络，使用 l1 范数来计算输入特征层和卷积滤波器的相似性。这样在计算滤波器的输出响应时基本不用乘法运算。针对该加法神经网络，对网络的训练优化深入分析，根据其实际情况做出相应的调整。最后通过实验数据验证了该加法网络的有效性。

Related works
2.1. Network Pruning 网络裁剪
基于裁剪的方法主要思路是去除冗余的网络连接从而实现压缩和加速原始网络

2.2. Efficient Blocks Design
该方法主要是针对传统卷积滤波器 conventional convolution filters 进行优化，设计简洁的模块以降低卷积运算量（降低滤波器数量）

2.3. Knowledge Distillation
简单的说就是用一个小网络去逼近一个复杂网络，minimizing the Kullback-Leibler divergence between their outputs

上面各种方法只是减少了乘法运算量，但是还是有很多乘法运算，这里我们提出一个基本没有乘法的加法网络

Networks without Multiplication

传统卷积模块可以用下面公式表达

这里的 S 是一个预定义的相似性度量，大多数相似性度量都涉及到乘法，运算量较大。

3.1. Adder Networks
这里我们主要寻找一个不用乘法的相似性度量，l1 距离没有乘法

l1 距离和 cross-correlation 具有一定的差异性，主要是输出的取值范围。我们使用 batch normalization 对输出响应进行归一化，这样传统卷积网络中的激活响应函数就可以在加法神经网络中使用。 batch normalization 虽然也有乘法运算，但是这个乘法运算量和卷积响应的乘法运算量相比较来说很小。

3.2. Optimization
这里我们采用了 full-precision gradient 进行梯度更新

3.3. Adaptive Learning Rate Scaling
不同的网络层采用了不同的学习率
By using the proposed adaptive learning rate scaling, the adder filters in different layers can be updated with nearly the same step

Experiment 实验数据

希望移动端的CNN模型能够早日得到大规模应用

加法神经网络--AdderNet: DoWe Really Need Multiplications in Deep Learning?相关推荐

第一门课神经网络和深度学习(Neural Networks and Deep Learning)
第一门课神经网络和深度学习(Neural Networks and Deep Learning) 文章目录第一门课神经网络和深度学习(Neural Networks and Deep Learn ...
吴恩达：神经网络和深度学习(Neural Networks and Deep Learning)
文章目录 1.1欢迎 1.2 什么是神经网络 1.3 用神经网络进行监督学习 1.4 为什么深度学习会兴起? 2.1 二分分类 2.2 logistic回归 2.3 logistic回归损失函数 lo ...
深度学习吴恩达老师（一）：神经网络和深度学习(Neural Networks and Deep Learning)：内容整理 + 习题分享
华为开源加法神经网络 | CVPR20 Oral
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文由知乎作者王云鹤授权转载,不得擅自二次转载.原文链接:https://zhuanlan.zhihu ...
【CVPR 2020 Oral】华为开源加法神经网络
作者:王云鹤本文转载自知乎,作者已授权,未经许可请勿二次转载. 此前备受大家关注的加法神经网络(AdderNet,ANN)已被CVPR 2020接受,并录用为Oral(接受率约6%).在这篇工作中, ...
Bengio Deep Learning 初探 —— 第6章：前馈神经网络
基于梯度的学习 1)深度前馈网络(deep feedforward network),又名前馈神经网络或多层感知机(multilayer perceptron,MLP),前馈的意思是指在这个神经网络里 ...
Deep Learning论文笔记之（五）CNN卷积神经网络代码理解
Deep Learning论文笔记之(五)CNN卷积神经网络代码理解 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但 ...
Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现
Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文, ...
训练softmax分类器实例_CS224N NLP with Deep Learning（四）：Window分类器与神经网络
Softmax分类器我们来回顾一下机器学习中的分类问题.首先定义一些符号,假设我们有训练集 ,其中为输入, 为标签,共包括个样本: 表示第个样本,是一个维的向量: 表示第个样本的标签,它的 ...

加法神经网络--AdderNet: DoWe Really Need Multiplications in Deep Learning?

加法神经网络--AdderNet: DoWe Really Need Multiplications in Deep Learning?相关推荐

最新文章

热门文章