函数

logistic sigmoid 函数： σ(x)=11+e−x\sigma (x) = \dfrac {1} {1 + e ^ {-x} }
softplus 函数： ζ(x)=log(1+ex)\zeta (x) = \log (1 + e ^x)
positive part (正部)函数 x+=max(0,x)x ^+ = \max (0, x)
negative part (负部)函数 x−=max(0,−x)x ^- = \max (0, -x)

性质

σ(x)=ex1+ex\sigma (x) = \dfrac {e ^ {x} } {1 + e ^ {x} }
ddxσ(x)=−1(1+e−x)2(−e−x)=σ(x)[1−σ(x)]\dfrac {\mathrm {d}}{\mathrm {d} x} \sigma (x) = - \dfrac {1}{(1 + e ^ {-x}) ^2} (- e ^ {-x}) = \sigma (x)[1 - \sigma (x)]
1−σ(x)=σ(−x)1 - \sigma (x) = \sigma (-x)
logσ(x)=−ζ(−x)\log \sigma (x) = - \zeta (-x)
ddxζ(x)=σ(x)\dfrac {\mathrm {d}}{\mathrm {d} x} \zeta (x) = \sigma (x)
∀x∈(0,1),σ−1(x)=log(x1−x)\forall x \in (0, 1), \sigma^{-1} (x) = \log \left ( \dfrac {x} {1 - x} \right )
ζ(x)=∫x−∞σ(t)dt\zeta (x) = \int _{- \infty} ^{x} \sigma(t) \mathrm {d} t
ζ(x)−ζ(−x)=x\zeta (x) - \zeta (-x) = x
x+−x−=xx ^+ - x ^- = x

深度学习处理概率分布中常用的函数相关推荐

深度学习建模实验中数据集创建函数的创建与使用
深度学习建模实验中数据集生成函数的创建与使用为了方便后续练习的展开,我们尝试自己创建一个数据生成器,用于自主生成一些符合某些条件.具备某些特性的数据集.相比于传统的机器学习领域,深度学习的数据集 ...
【深度学习】——神经网络中常用的激活函数：sigmoid、Relu、Tanh函数
激活函数实际中的很多事情并不能简单的用线性关系的组合来描述.在神经网络中,如果没有激活函数,那么就相当于很多线性分类器的组合,当我们要求解的关系中存在非线性关系时,无论多么复杂的网络都会产生欠拟 ...
深度学习机器学习公式中常用的符号
θ theta λ lambda σ,Σ sigma δ delta ε epsilon β beta α ...
综述 | 深度学习在fNIRS中的应用
导读意义:光学神经影像学已成为一种成熟的临床和研究工具,用于监测大脑皮层的激活.值得注意的是,功能性近红外光谱(fNIRS)研究的结果在很大程度上取决于所采用的数据处理流程和分类模型.最近,深度学习 ...
微信高级研究员解析深度学习在NLP中的发展和应用 | 公开课笔记
作者 | 张金超(微信模式识别中心的高级研究员) 整理 | Just 出品 | 人工智能头条(公众号ID:AI_Thinker) 近年来,深度学习方法极大的推动了自然语言处理领域的发展.几乎在所有的 ...
[王晓刚]深度学习在图像识别中的研究进展与展望(转发）
[王晓刚]深度学习在图像识别中的研究进展与展望(转发) (2015-06-04 08:27:56) 转载▼ 深度学习是近十年来人工智能领域取得的最重要的突破之一.它在语音识别.自然语言处理.计 ...
Lesson 12.1 深度学习建模实验中数据集生成函数的创建与使用
Lesson 12.1 深度学习建模实验中数据集生成函数的创建与使用为了方便后续练习的展开,我们尝试自己创建一个数据生成器,用于自主生成一些符合某些条件.具备某些特性的数据集.相比于传统的机器学 ...
深度学习在语音识别中的声学模型以及语言模型的应用
过去 3 年,深度学习在各个领域取得较大突破,比如计算机视觉领域的物体识别.场景分类,语音分析等,并且其技术推广和应用的速度超过人们预期,比如 Google 的广告系统已经开始使用深度学习盈利,Twi ...
读取图像矩阵维度必须一致_深度学习在放射治疗中的应用——工具篇（二）矩阵基本操作...
我们在这期继续为大家介绍Matlab中关于图像的一些基本概念与操作.上期我们简单介绍了矩阵的生成方式,这里详细说明矩阵的基本定义.首先矩阵大小可以用"size"函数查看,其中返回结 ...
微信高级研究员解析深度学习在 NLP 中的发展和应用
近年来,深度学习方法极大的推动了自然语言处理领域的发展.几乎在所有的 NLP 任务上我们都能看到深度学习技术的应用,并且在很多的任务上,深度学习方法的表现大大的超过了传统方法.可以说,深度学习方法给 ...

深度学习处理概率分布中常用的函数

函数

性质

深度学习处理概率分布中常用的函数相关推荐

最新文章

热门文章