有关logistic(sigmoid)函数回归

在神经网络中，经常用到sigmoid函数，y = 1 / (1+e^-x)

作为下一级神经元的激活函数，x也就是WX（下文，W以θ符号代替）矩阵计算结果。

这个函数通常用在进行分类，通常分为1或0的逻辑分类，所以又叫logistic回归。

常规常规情况下，我们使用的损失函数是 j(θ) = 1 / 2n * ∑(h_θ(x) - y) ， h_θ(x) 也就是激活函数(或hypothesis函数)，y是样本结果数据。在大部分情况下，这是通用的。以向量来看，空间点H_θ(x)和Y距离最小化。

但是，由于sigmoid函数是非线性的，所以用以上损失函数，求偏导后，得到的 j(θ)只能是局部最小值（左图），得不到真正的最小值。

因此，在logistic回归中，最优的损失函数，应该是：

y是指样本值。（也即是损失函数和y的关系，不再是直接减去y(样本目标值)）

图像：

当y=0时，如果H_θ(x)越接近0，那么损失越小。也就是说，只要偏导数为0，反向传播时依然往最小值方向（而非局部最小值）

如果y=0，但是H_θ(x)不接近0，甚至于大于1，那么损失就非常巨大，那么可以造成反响传播时，修改原θ值就越大了。

连个曲线合并，就是J = y * log(x) + (1 - y) * log (1 - x)，y的取值只能为0或1

整个损失函数简化后，得到：

（此函数，又叫交叉熵函数）

θ其实也即是权，或参数值。

总的来说，根据学习的结果类型（是0或1类型，还是数值类型），选择合适的激活函数，同时，也要有对应的损失函数，才能得到最佳效果。

转载于:https://www.cnblogs.com/pylblog/p/10808665.html

有关logistic(sigmoid)函数回归相关推荐

激活函数之logistic sigmoid函数介绍及C++实现
logistic sigmoid函数: logistic sigmoid函数通常用来产生Bernoulli分布中的参数ø,因为它的范围是(0,1),处在ø的有效取值范围内.logisitic sigm ...
Logistic 回归(sigmoid函数，手机的评价,梯度上升，批处理梯度,随机梯度，从疝气病症预测病马的死亡率...
(手机的颜色,大小,用户体验来加权统计总体的值)极大似然估计MLE 1.Logistic回归 Logistic regression (逻辑回归),是一种分类方法,用于二分类问题(即输出只有两种).如 ...
【机器学习】【逻辑回归】Logistic函数/Sigmoid函数的详细公式推导
sigmoid函数的数学公式 sigmoid函数的因变量x取值范围是-∞到+∞,(-∞,+∞),但是sigmoid函数的值域是(0, 1). 不管x取什么值其对应的sigmoid函数值一定会落到(0, ...
Logistic回归与Sigmoid函数
一.Logistic回归: 1.1 特征: Logistic回归主要是二分类预测 ,是对概率的估计的一种方法.概率的取值范围在(0,1).当P>0.5时,预测为1:当P<0.5时,预测为0 ...
Sigmoid函数与逻辑回归
文章目录 (1). Sigmoid函数的由来--伯努利分布的衍生物 1.1 为什么会有 sigmoid 函数的出现? 1.2 sigmoid 函数推导过程 1.3 sigmoid 函数求导 (2). ...
逻辑回归 — Sigmoid函数 —预测是否出现过交通事故
目录 1. 数据的种类 2. Sigmoid函数 3. 案列 :预测是否会发送交通事故 4. 总结逻辑回归模型是离散数据(二次分布) 1. 数据的种类连续性数据:给定一个区间,可以取区间内任意一实 ...
Sigmoid 函数(logistic函数)笔记
其实logistic函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线(S型曲线). 该函数具有如下的特性:当x趋近于负无穷时,y趋近于0:当x趋近于正无穷时,y趋近于1: ...
Sigmoid函数以及逻辑回归的由来
线性回归时统计学经典算法,它能够拟合出一条直线来描述变量之间的线性关系.但在实际中,变量之间的关系通常都不是一条直线,而是呈现出某种曲线关系.在统计学的历史中,为了让统计学模型能够更好地拟合曲线,统 ...
R语言使用epiDisplay包的logistic.display函数获取二分类logistic回归模型的汇总统计信息（自变量初始和调整后的优势比及置信区间，回归系数的Wald检验的p值、简化汇总结果
R语言使用epiDisplay包的logistic.display函数获取二分类logistic回归模型的汇总统计信息(自变量初始和调整后的优势比及置信区间,回归系数的Wald检验的p值.自变量的似然 ...

有关logistic(sigmoid)函数回归

有关logistic(sigmoid)函数回归相关推荐

最新文章

热门文章