Dynamic ReLU 解读
论文地址：https://arxiv.org/pdf/2003.10027.pdf
这是Microsoft团队2020年发表的文章，提出动态relu激活函数称之为DY-RELU，比普通的relu函数效果好。
简介：以前的relu不论是有参数的还是没用参数的都是静态的，本文提出动态relu，其参数（一个机能增强函数）由所有输入元素决定，其关键原理是DY-RELU编码全局上下文信息到它的机能增强函数中，并让其分段线性函数分别的适应。相比于静态RELU,DY-RELU只增加了很少的计算量但是显著的增强了其表征能力，尤其对于轻量级网络，在MobileNetV2上使用DY-RELU，只是简单的替换激活函数，在ImageNet上的top1分类精度从72%提高到了76.2%但是计算量只增加了5%flops。
提出问题：激活函数RELU应用很广泛，最近的很成功的网络都用到了它，但是无论是RELU还是它的变体Leaky-RELU还是PRELU，都是静态的，也即是说，无论它们的输入是什么数据分布，它们都只按特定的规律进行变化。激活函数到底需不需要适应它的输入数据呢？也即是说，激活函数需不需要根据其输入数据的不同调整它的变换规律呢？本文将详细讨论。
解决方案：本文提出的DY-RELU其实就是一个分段函数，如图1。
DY-RELU根据输入的数据生成一个函数，根据这个函数来决定这个分段线性函数的两个斜率。
本文提出了DY-RELU的三种形式：(a) spatial and channel-shared DY-ReLU-A (b) spatial-shared and channel-wise DY-ReLU-B (c) spatial and channel-wise DY-ReLU-C这三种形式分别使用不同的任务，b和c适用于分类任务，作为骨干网络，c适用作为头网络。下图是三种函数形式的用法和结构，图中的符号a、b代表分段函数的两段斜率。
下面是DY-ReLU和之前的激活函数相比的异同点。
实验结果：
我的思考：结果可以看出，DY-ReLU应用之后网络的精确度提升了不少，参数却没增加多少，是一个实用的模块。本文作者在文中说到，现在的轻量级网络设计NAS是主流，作者的目的就是设计一个更好的激活函数模块以便网络构架搜索的时候可以作为一个构成基本单元。
这一篇文章的证明部分没用看懂，结尾也没有细看，以上文章如有错误请大家指正。
Dynamic ReLU 解读相关推荐
- Dynamic ReLU论文解读
其实一直在做论文阅读心得方面的工作,只是一直没有分享出来,这篇文章可以说是这个前沿论文解读系列的第一篇文章,希望能坚持下来. 简介 论文提出了动态线性修正单元(Dynamic Relu,下文简称 DY ...
- input自适应_一种Dynamic ReLU：自适应参数化ReLU（调参记录26）Cifar10~95.92%
自适应参数化ReLU,是一种动态的ReLU(Dynamic ReLU),在2019年5月投稿至IEEE Trans. on Industrial Electronics,2020年1月录用,2020年 ...
- input自适应_一种Dynamic ReLU：自适应参数化ReLU激活函数（调参记录13）
自适应参数化ReLU,本身就是一种动态的ReLU(Dynamic ReLU,Dy-ReLU).该论文在2019年5月的时候,投稿到IEEE Transactions on Industrial Ele ...
- 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录26）Cifar10~95.92%
本文介绍哈工大团队提出的一种动态ReLU(Dynamic ReLU)激活函数,即自适应参数化ReLU激活函数,原本是应用在基于一维振动信号的故障诊断,能够让每个样本有自己独特的ReLU参数,在2019 ...
- Dynamic ReLU论文简析
文章目录 一.前言 二.拟解决的关键问题 三.Dynamic ReLU 1. 激活函数 2. Dynamic ReLU 3. Dynamic ReLU的实现 四.总结 参考文献 一.前言 论文地址:h ...
- 微软推出提点神器动态ReLU，可能是最好的ReLU改进
作者 | Vincent 来源 | 晓飞的算法工程笔记 简介 ReLU是深度学习中很重要的里程碑,简单但强大,能够极大地提升神经网络的性能.目前也有很多ReLU的改进版,比如Leaky ReLU和 P ...
- Dynamic Head: Unifying Object Detection Heads with Attentions
Dynamic Head 论文标题:Dynamic Head: Unifying Object Detection Heads with Attentions 论文地址:https://arxiv.o ...
- Dynamic Head: Unifying Object Detection Heads with Attentions 阅读
Abstract 这里就是说在目标检测领域,很多工作都想提高检测头的性能,这篇文章提出了动态头,也就是Dynamic Head,来将检测头和注意力(Attention)结合.在尺度(scale-awa ...
- Dynamic Head: Unifying Object Detection Heads with Attentions论文阅读
Dynamic Head: Unifying Object Detection Heads with Attentions论文阅读 摘要 介绍 相关工作 方法 Dynamic Head 扩展到现存的检 ...
最新文章
- vim-snipmate编写snippet的语法
- jQuery中append()、prepend()与after()、before()的区别
- PD连接远程mysql_PowerDesigner连接远程Oracle数据库 | 学步园
- source insight 无法查找与跳转和恢复默认设置
- 005-垃圾收集算法
- java中如何用2位数表示日期_java – 如何解析2位数的年份日期？
- php+对象和数组装备_php对象和数组有什么区别
- mac使用代理后出现502
- python中compile函数_Python compile函数有什么用？
- 创业公司第三方服务精选（移动互联网版）
- python dataframe 写入到doc文件_将Python Pandas DataFrame写入Word文档
- STM32——WebSocket
- 模糊神经网络应用实例,什么是模糊神经网络
- 计算机定时开机关机设置,电脑定时开关机,小编教你怎么设置电脑定时开关机...
- Willy Woo：BTC作为新兴“完全数字化”资产类别正在吞噬资本
- ubuntu 公网FTP搭建，解决无法连接
- 调用农行融资申请的接口 代码梳理
- 你有没有想过用电子表格做MES、WMS、SRM和MRP
- 第二证券|沪指冲上3200点，中字头太火爆！
- 词霸天下---词根258【-fus-=-fut-=-fund-=-found- 熔化；倾倒】