机器学习中的数学——激活函数（六）：Parametric ReLU（PReLU）函数

分类目录：《机器学习中的数学》总目录
相关文章：
· 激活函数：基础知识
· 激活函数（一）：Sigmoid函数
· 激活函数（二）：双曲正切函数（Tanh函数）
· 激活函数（三）：线性整流函数（ReLU函数）
· 激活函数（四）：Leaky ReLU函数
· 激活函数（五）：ELU函数
· 激活函数（六）：Parametric ReLU（PReLU）函数
· 激活函数（七）：Softmax函数
· 激活函数（八）：Swish函数
· 激活函数（九）：Maxout函数
· 激活函数（十）：Softplus函数
· 激活函数（十一）：Softsign函数
· 激活函数（十二）：高斯误差线性单元(GELUs)

PReLU 也是 ReLU 的改进版本：
PReLU(x)={x,x>0αix,x≤0PReLU(x)=\left\{ \begin{aligned} x & \quad ,x > 0 \\ \alpha_i x & \quad , x\leq 0\\ \end{aligned} \right. PReLU(x)={xαix,x>0,x≤0

PReLU函数中，参数α\alphaα通常为0到1之间的数字，并且通常相对较小。

如果αi=0\alpha_i=0αi=0，则PReLU(x)变为 ReLU。
如果αi>0\alpha_i>0αi>0，则PReLU(x)变为Leaky ReLU。
如果αi\alpha_iαi是可学习的参数，则PReLU(x)为PReLU函数。

PReLU函数的特点：

在负值域，PReLU的斜率较小，这也可以避免Dead ReLU问题。
与ELU相比，PReLU 在负值域是线性运算。尽管斜率很小，但不会趋于0。

机器学习中的数学——激活函数（六）：Parametric ReLU（PReLU）函数相关推荐

机器学习中的数学——激活函数（四）：Leaky ReLU函数
分类目录:<机器学习中的数学>总目录相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
机器学习中的数学——激活函数（三）：线性整流函数（ReLU函数）
分类目录:<机器学习中的数学>总目录相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
机器学习中的数学——激活函数（十）：Softplus函数
分类目录:<机器学习中的数学>总目录相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
机器学习中的数学——激活函数（七）：Softmax函数
分类目录:<机器学习中的数学>总目录相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
机器学习中的数学——激活函数（五）：ELU函数
分类目录:<机器学习中的数学>总目录相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
机器学习中的数学——激活函数（八）：Swish函数
分类目录:<机器学习中的数学>总目录相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
机器学习中的数学——病态条件
分类目录:<机器学习中的数学>总目录条件数表征函数相对于输入的微小变化而变化的快慢程度.输入被轻微扰动而迅速改变的函数对于科学计算来说可能是有问题的,因为输入中的舍人误差可能导致输出的巨 ...
机器学习中的数学(六)--信息论与激活函数
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
机器学习中的数学——距离定义（十六）：豪斯多夫距离（Hausdorff Distance）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
机器学习中的数学——常用概率分布（六）：指数分布（Exponential分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...

机器学习中的数学——激活函数（六）：Parametric ReLU（PReLU）函数

机器学习中的数学——激活函数（六）：Parametric ReLU（PReLU）函数相关推荐

最新文章

热门文章