DataScience：深入探讨与分析机器学习中的数据处理之非线性变换—log对数变换、sigmoid/softmax变换

深入探讨与分析机器学习中的数据处理之非线性变换

log对数变换

sigmoid/softmax变换

Sigmoid函数

Softmax函数

相关文章
DataScience：深入探讨与分析机器学习中的数据处理之线性变换—标准化standardization、归一化Normalization/比例化Scaling的区别与联系
DataScience：深入探讨与分析机器学习中的数据处理之非线性变换—log对数变换、sigmoid/softmax变换

深入探讨与分析机器学习中的数据处理之非线性变换

log对数变换

如果a(a>0，且a≠1)的b次幂等于N，即ab=N，那么数b叫做以a为底N的对数，记作logaN=b（其中a叫做对数的底数，N叫做真数），这就是对数变换。

sigmoid/softmax变换

参考文章：DL之AF：机器学习/深度学习中常用的激活函数(sigmoid、softmax等)简介、应用、计算图实现、代码实现详细攻略

Sigmoid函数

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。 [1] 在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。

优点：平滑、易于求导。
缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。

Softmax函数

在数学，尤其是概率论和相关领域中，归一化指数函数，或称Softmax函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。该函数多于多分类问题中。

import mathz = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]z_exp = [math.exp(i) for i in z]  print(z_exp)  # Result: [2.72, 7.39, 20.09, 54.6, 2.72, 7.39, 20.09] sum_z_exp = sum(z_exp)
print(sum_z_exp)  # Result: 114.98
# Result: [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]softmax = [round(i / sum_z_exp, 3) for i in z_exp]
print(softmax)

DataScience：深入探讨与分析机器学习中的数据处理之非线性变换—log对数变换、sigmoid/softmax变换相关推荐

DataScience：深入探讨与分析机器学习中的数据处理之线性变换—标准化standardization、归一化Normalization/比例化Scaling的区别与联系
DataScience:深入探讨与分析机器学习中的数据处理之线性变换-标准化standardization.归一化Normalization/比例化Scaling的区别与联系目录深入探讨与分析机器 ...
机器学习中原始数据处理的常用数据变换方法整理汇总
在机器学习进行数据处理前,首先要保证所有数据是无量纲的,并且数据是可以比较的,需要采用标准化方法来消除不同数据之间存在的差异.将原始数据进行处理,变为无量纲可比较的过程实际可以看做是归一化的过程. 目 ...
当谈论机器学习中的公平公正时，我们该谈论些什么？
作者 | Synced 来源 | 机器之心(almosthuman2014) 随着人工智能系统和应用程序在我们日常生活中的广泛应用,人工智能已经成为了辅助人们决策的重要工具,例如,使用推荐系统算法做出 ...
机器学习中的线性代数知识（中）
关于作者作者小硕一枚,研究方向为机器学习与自然语言处理,欢迎大家关注我的个人博客https://wangjie-users.github.io/,相互交流,一起学习成长. 前言在机器学习中的线性代 ...
机器学习中使用的交叉熵（cross entropy）透彻分析
从字面分析交叉熵,1是交叉.2是熵(熵与信息量有关):首先交叉熵涉及信息论里面的东西,想要彻底理解交叉熵就要明白此概念跟信息量的关系以及里边的熵怎么理解. (1)信息量衡量信息量可以用大小或者多少来 ...
【机器学习】机器学习在爱奇艺视频分析理解中的实践
原标题:大规模机器学习在爱奇艺视频分析理解中的实践 AI 前线导读:视频包含了图像.声音.文字等多种信息,可以表达生动.丰富的内容.随着 AI 时代的带来,互联网视频应用高速发展,视频更成为一种人人可 ...
【视频分析】大规模机器学习在爱奇艺视频分析理解中的实践
原标题:大规模机器学习在爱奇艺视频分析理解中的实践 AI 前线导读:视频包含了图像.声音.文字等多种信息,可以表达生动.丰富的内容.随着 AI 时代的带来,互联网视频应用高速发展,视频更成为一种人人可 ...
独家 | 浅析机器学习中的自由度
作者:Jason Browniee 翻译:张若楠校对:林鹤冲本文长度为2800字,建议阅读8分钟本文介绍了自由度的概念,以及如何判断统计学模型和机器学习模型中的自由度. 标签:数据处理自由度是 ...
独家 | 一文读懂机器学习中的贝叶斯统计学
作者:Matthew Stewart, PhD Researcher 翻译:吴金笛校对:丁楠雅本文约4300字,建议阅读15分钟. 本文主要是向新手介绍贝叶斯方法并将其与频率方法进行比较. 你有没 ...

DataScience：深入探讨与分析机器学习中的数据处理之非线性变换—log对数变换、sigmoid/softmax变换

深入探讨与分析机器学习中的数据处理之非线性变换

log对数变换

sigmoid/softmax变换

Sigmoid函数

Softmax函数

DataScience：深入探讨与分析机器学习中的数据处理之非线性变换—log对数变换、sigmoid/softmax变换相关推荐

最新文章

热门文章