对逻辑回归损失函数进行求导

如果我们基于逻辑回归的损失函数做GD梯度下降，那么就要求梯度，而我们知道求梯度是loss损失函数对theta求偏导。

1.首先先对逻辑回归函数求导（后面对loss求偏导会用到）

$g(z)= \frac{1}{1+e^{-z}}$

$g{}'(z) = \frac{\partial }{\partial z}\frac{1}{1+e^{-z}} = -\frac{1}{(1+e^{-z})^{2}} *(1+e^{-z}){}'$

$(1+e^{^{-z}}){}'=(e^{-z}){}'=(e^{-z})(-z){}'=(e^{-z})(-1)$

$=\frac{1}{(1+e^{-z})^{2}}(e^{-z})$

$=\frac{1}{1+e^{-z}}*\frac{e^{-z}}{1+e^{-z}}= \frac{1}{1+e^{-z}}* (\frac{1+e^{-z}}{1+e^{-z}}- \frac{1}{1+e^{-z}})= \frac{1}{1+e^{-z}}*(1- \frac{1}{(1+e^{-z})})$

$=g(z)(1-g(z))$

2.逻辑回归损失函数

$j(\theta ) = -\frac{1}{m}\sum_{i=1}[^{m}y^{(i)}logh(x^{(i)})+(1-y^{(i)})log(1-h(x^{(i)}))]$

可以将上式看成两部分分别求到再相加

$(y_{i}logh_{\theta }x){}'=y_{i}(logh_{\theta }x){}'=y_{i}\cdot \frac{1}{h_{\theta }x_{i}}\cdot (h_{\theta }x_{i}){}'$

$((1-y_{i})\cdot log(1-h_{\theta }x_{i})){}'=(1-y_{i})\cdot \frac{1}{1-h_{\theta }x_{i}}\cdot (1-h_{\theta }x_{i}){}'=(1-y_{i})\cdot \frac{1}{1-h_{\theta }x_{i}}\cdot (-1)\cdot (h_{\theta }x_{i}){}'$

这里我们发现导函数的形式和多元线性回归一样，毕竟都是从广义线性回归来的嘛。

这样就可以用上面推导的公式求出梯度g

进而运用梯度下降公式反复迭代减小损失。

对逻辑回归损失函数进行求导相关推荐

逻辑回归损失函数通常是凸函数（附平方差损失的非凸证明以及交叉熵损失函数求导）
Q:为什么逻辑回归损失函数往往要求是凸函数?(此处凸函数是指下凸,国内和国外凸函数的标准不一样,是相反的,吴恩达的机器学习课程凸函数是指下凸) A:如果损失函数是非凸的,使用梯度下降法优化时,最后得到 ...
sigmoid函数求导_交叉熵损失函数的求导(Logistic回归)
目录前言交叉熵损失函数交叉熵损失函数的求导前言最近有遇到些同学找我讨论sigmoid训练多标签或者用在目标检测中的问题,我想写一些他们的东西,想到以前的博客里躺着这篇文章(2015年读研时机 ...
逻辑回归损失函数推导及其模型的推导
注:本篇文章求解思路.过程均为原创,本文出现的文字.公式等均为对照原计算手稿逐字手敲,绝无复制粘贴学术不端之举,转载请注明URL以及出处. 1.什么是逻辑回归? Logistic−Regression ...
逻辑回归损失函数和对数损失函数的关系
这篇文章的目的是要记录一下自己学习对数损失函数时的一些疑惑,以及自己对疑惑的理解.这部分理解主要参考了下面这篇博客 https://www.cnblogs.com/zhangchaoyang/arti ...
交叉熵代价函数(损失函数)及其求导推导
转自:http://blog.csdn.net/jasonzzj/article/details/52017438 前言交叉熵损失函数交叉熵损失函数的求导前言说明:本文只讨论Logistic回 ...
逻辑回归损失函数与最大似然估计
机器学习的损失函数是人为设计的,用于评判模型好坏(对未知的预测能力)的一个标准.尺子,就像去评判任何一件事物一样,从不同角度看往往存在不同的评判标准,不同的标准往往各有优劣,并不冲突.唯一需要注意的就 ...
线性回归和逻辑回归损失函数推导
线性回归和逻辑回归损失函数推导 @(数据挖掘) 线性回归和逻辑回归损失函数推导一.线性回归最小二乘loss推导二.logistics回归加sigmoid原因以及交叉熵损失函数推导一.线性回归最小 ...
【逻辑回归算法】{2} ——逻辑回归损失函数的梯度
目标:求出逻辑回归损失函数的最小值. 逻辑回归的损失函数: 逻辑回归损失函数的梯度: 计算预测函数Sigmoid函数的导数: 代入: 计算过程: 最后得出逻辑回归损失函数的梯度: 回顾一下线性回归代价 ...
逻辑回归损失函数为啥不用最小二乘法
机器学习的损失函数是人为设计的,用于评判模型好坏(对未知的预测能力)的一个标准.尺子,就像去评判任何一件事物一样,从不同角度看往往存在不同的评判标准,不同的标准往往各有优劣,并不冲突.唯一需要注意的就 ...

对逻辑回归损失函数进行求导

对逻辑回归损失函数进行求导相关推荐

最新文章

热门文章