深度学习常用非线性函数及其导数

2024-04-22 23:49:51

01 Sigmoid

Sigmoid将输入映射到[0, 1]，梯度下降明显，至少减少75%
f(x)=sigmoid(x)=11−e −x f(x)=sigmoid(x)=\frac {1} {1 - e^{-x}}
f ′ (x)=f(x)(1−f(x))) f^{'}(x)=f(x)(1-f(x)))

02 tahn

tahn将输入数据映射到[-1, 1]，梯度损失明显
f(x)=tahn(x)=21+e −2x −1 f(x)=tahn(x)= \frac {2} {1 + e^{-2x}} - 1
f ′ (x)=1−f(x) 2 f^{'}(x)=1-f(x)^{2}

03 ReLU

ReLU(Rectified linear unit):正向截断负值，损失大量特征；反向梯度没有损失
f(x)=max(x,0)={0forx<0xforx≥0 f(x) = max(x, 0) = \left\{\begin{array}\\{ 0 \qquad for \qquad x
f ′ (x)={0forx<01forx≥0 f^{'}(x) = \left\{\begin{array}\\{ 0 \qquad for \qquad x

04 Keaky ReLU

Leaky RuLU(Rectified linear unit):正向截断负值(保留更多参数，少量梯度方向传播)，损失大量特征(为什么还在用？因为特征足够多)；反向梯度少量损失；(为什么不变成y=x？不行，会成为纯线性)
f(x)={0.01xforx<0xforx≥0 f(x) = \left\{\begin{array}\\{ 0.01x \quad for \qquad x
f ′ (x)={0.01forx<01forx≥0 f^{'}(x) = \left\{\begin{array}\\{ 0.01 \quad for \qquad x

深度学习常用非线性函数及其导数相关推荐

自动驾驶深度学习常用中英文对照表
自动驾驶深度学习常用中英文对照表 A B C D E F G H I J K L M N O P Q R S T U V W Z A 英文中文词性 activation 激活值 n,名词 acti ...
深度学习常用数学知识
深度学习常用数学知识为什么图片能被计算机读取?为什么我们可以用CNN对成千上万中图片进行分类,这背后的原理是什么?在了解原理之前,先给大家补点数学知识.因为无论是深度学习还是机器学习,背后都是有一些 ...
深度学习常用python库学习笔记
深度学习常用python库学习笔记常用的4个库一.Numpy库 1.数组的创建 (1)np.array() (2)np.zeros() (3)np.ones() (4)np.empty() (5) ...
深度学习入门之Python小白逆袭大神系列（三）—深度学习常用Python库
深度学习常用Python库介绍目录深度学习常用Python库介绍简介 Numpy库 padas库 PIL库 Matplotlib库简介 Python被大量应用在数据挖掘和深度学习领域,其中使用 ...
妈耶，讲得好详细，十分钟彻底看懂深度学习常用优化器SGD、RMSProp、Adam详解分析
深度学习常用优化器学习总结常用优化器 SGD RMS Prop Adam 常用优化器 SGD 基本思想:通过当前梯度和历史梯度共同调节梯度的方向和大小我们首先根据pytorch官方文档上的这个流程 ...
深度学习常用工具-数据增强+绘图
深度学习常用工具 1. 数据增强工具-albumentations 2.绘图工具-matplotlib 1. 数据增强工具-albumentations 推荐这个库的原因是:这个库可以将图片和标签一起 ...
DL：关于深度学习常用数据集中训练好的权重文件(Deeplab v3、MobileNet、InceptionV3、VGG系列、ResNet、Mask R-CNN )下载地址集合(持续更新)
DL:关于深度学习常用数据集中训练好的权重文件(Deeplab v3.MobileNet.InceptionV3.VGG系列.ResNet.Mask R-CNN )下载地址集合(持续更新) 目录基于 ...
深度学习（二）——深度学习常用术语解释, Neural Network Zoo, CNN, Autoencoder
Dropout(续) 除了Dropout之外,还有DropConnect.两者原理上类似,后者只隐藏神经元之间的连接. 总的来说,Dropout类似于机器学习中的L1.L2规则化等增加稀疏性的算法,也 ...
深度学习常用性能评价指标
深度学习常用性能评价指标前言基于准确度的指标基于排名的指标基于图数据的指标前言深度学习性能指标是用于评价深度学习模型性能的依据,是设计模型的重要依据. 基于准确度的指标对于模型而言仅统计 ...

最新文章

热门文章