Soft-Clipping激活函数

论文：Soft Clipping Mish – A Novel Activation Function for Deep Learning

年份：2021

简介

该函数与Soft-Clipping Swish激活函数十分相似，同样都是在负区域硬规定为0，正区域为Mish激活函数。这样可以增加正区域的非线性，但同样负区域容易造成神经元死亡。
Mish(x)=x⋅tanh(softplus(x))Mish(x) = x\cdot tanh(softplus(x)) Mish(x)=x⋅tanh(softplus(x))
其中，Softplus激活函数为：
Softplus(x)=log(1+ex)Softplus(x) = log(1+e^x) Softplus(x)=log(1+ex)
由此可以获得SC_Mish的公式：
f(x)=max⁡(0,x⋅tanh(softplus(αx)))f(x) = \max(0, x\cdot tanh(softplus(\alpha x))) f(x)=max(0,x⋅tanh(softplus(αx)))
参数α\alphaα是一个预定义参数，它被设置为1。SC_Mish是一种连续的，单调的功能，底部有边界，顶部无边无际。它接受范围内的值[0,+∞)\left[0, +\infty\right)[0,+∞)。

当α\alphaα为可学习参数时，该可学习参数在训练阶段初始化，初始值为0.25，在网络权值更新的情况下进行更新。
SC_Mish的导数为：
f′(x)=tanh(softplus(αx))+αeαxxsech2(softplus(1+eαx))1+eαxf^\prime(x) = tanh(softplus(\alpha x)) + \frac{\alpha e^{\alpha x}x sech^2(softplus(1+e^{\alpha x}))}{1+e^{\alpha x}} f′(x)=tanh(softplus(αx))+1+eαxαeαxxsech2(softplus(1+eαx))
SC_Mish的曲线如下图所示。

SC_Mish的导数如下图所示

Soft-Clipping Mish激活函数相关推荐

YOLOv4 中的 Mish 激活函数
作者 | Miracle R 编译 | ronghuaiyang 转自 | AI公园导读对YOLOv4中的Mish激活函数进行解释和优缺点对比. YOLO,是一种 one-shot 的目标检测技术 ...
Mish激活函数，ReLU的继任者
参考链接:https://blog.csdn.net/u011984148/article/details/101444274 对激活函数的研究一直没有停止过,ReLU还是统治着深度学习的激活函数,不 ...
【激活函数】Mish激活函数详解
2019年 ● Mish公式: ● Mish图像: ● 导数: ● Mish优点: ● 和其他激活函数的比较: 代码实现: def mish(x):return x * torch.tanh(F.so ...
python绘制mish激活函数图像
直接上代码 import numpy as np import math import matplotlib.pyplot as plt e=math.edef tanh(x):return (e** ...
【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU
①激活函数:主要通过加入非线性因素,你不线性模型表达能力不足的缺陷,因为神经网络中的数学基础是处处可微分的函数,故要求激活函数也应该保证数据的输入与输出是可微分. ②激活函数可以分为饱和激活函数与不饱 ...
【深度学习】之激活函数篇[Sigmoid、tanh、ReLU、Leaky ReLU、Mish、Hardswish、SiLU]附绘图Python代码。
激活函数的作用为卷积神经网络提供非线性 1.Sigmoid激活函数 Sigmoid激活函数是常用的连续.平滑的"s"型激活函数,其数学定义比较简单,如公式1所示: 简单来说,Si ...
42个激活函数的全面总结
2015 年 11 月,wikipedia的用户 Laughinthestocks 首次引入了"激活函数表".从那时开始到现在,维基百科页面已经发生了 391 次更改.在本文中,我 ...
Soft-Clipping Swish激活函数
Soft-Clipping Swish激活函数论文:Soft-Clipping Swish: A Novel Activation Function for Deep Learning 年份:202 ...
深度学习基础笔记——激活函数
相关申明及相关参考: 体系学习地址主要学习笔记地址激活函数,你真的懂了吗? - 知乎 (zhihu.com) 聊一聊深度学习的activation function - 知乎 (zhihu.com ...

Soft-Clipping Mish激活函数

Soft-Clipping激活函数

简介

Soft-Clipping Mish激活函数相关推荐

最新文章

热门文章