机器学习 LR中的参数迭代公式推导—

Logistic本质上是一个基于条件概率的判别模型(DiscriminativeModel)。

函数图像为：

通过sigma函数计算出最终结果，以0.5为分界线，最终结果大于0.5则属于正类(类别值为1)，反之属于负类(类别值为0)。

如果将上面的函数扩展到多维空间，并且加上参数，则函数变成：

接下来问题来了，如何得到合适的参数向量θ呢？

由于sigma函数的特性，我们可作出如下的假设：

上式即为在已知样本X和参数θ的情况下，样本X属性正类(y=1)和负类(y=0)的条件概率。

将两个公式合并成一个，如下：

既然概率出来了，那么最大似然估计也该出场了。假定样本与样本之间相互独立，那么整个样本集生成的概率即为所有样本生成概率的乘积：

为了简化问题，我们对整个表达式求对数，(将指数问题对数化是处理数学问题常见的方法)：

满足似然函数(θ)的最大的θ值即是我们需要求解的模型。

梯度上升算法

就像爬坡一样，一点一点逼近极值。爬坡这个动作用数学公式表达即为：

其中，α为步长。

回到Logistic Regression问题，我们同样对函数求偏导。

先看：

其中：

再由：

可得：

接下来就剩下第三部分：

(这个公式应该很容易理解，简单的偏导公式)

还有就是：

综合三部分即得到：

因此，梯度迭代公式为：

结合本式再去理解《机器学习实战》Page 78中的代码就很简单了。

摘自：http://sbp810050504.blog.51cto.com/2799422/1608064

转载于:https://www.cnblogs.com/bonelee/p/7253508.html

机器学习 LR中的参数迭代公式推导——极大似然和梯度下降相关推荐

【白话理解神经网络中的“损失函数”——最小二乘法和极大似然估计法】
目录写在前面的话理解损失函数最小二乘法最大似然估计法(统计方法) 写在前面的话 "损失函数"是如何设计出来的?直观理解"最小二乘法"和"极大似 ...
Lr中脚本的迭代次数和场景运行时间的关系
Loadrunner中脚本的迭代次数和场景运行时间的关系 LR 的Vugen和controller中迭代是这样的: 当场景的持续时间为"运行至结束"时,以Vugen中设置的迭代次数 ...
贝叶斯网专题11：参数学习之极大似然估计
第一部分:贝叶斯网基础 1.1 信息论基础 1.2 贝叶斯网基本概念 1.3 变量独立性的图论分析第二部分:贝叶斯网推理 2.1 概率推理中的变量消元方法 2.2 团树传播算法 2.3 近似推理 2 ...
机器学习线性回归实践，波士顿房价预测，手写梯度下降
波士顿房价预测,手写梯度下降,python实现数据集介绍每条数据包含房屋以及房屋周围的详细信息.其中包含城镇犯罪率,一氧化氮浓度,住宅平均房间数,到中心区域的加权距离以及自住房平均房价等等. CR ...
机器学习100天（十七）：017 逻辑回归梯度下降
机器学习 100 天,今天讲的是:逻辑回归-梯度下降! 在讲解了逻辑回归的基本原理和损失函数之后,我们来推导逻辑回归模型中参数 w 和 b 的梯度表达式. 我们之前介绍过,计算逻辑回归的代价函数实际上 ...
机器学习——线性回归、房价预测案例【正规方案与梯度下降】
# coding:utf-8 # 1.获取数据集 #2.数据基本处理 #2.1.数据划分 #3.特征工程--标准化 #4.机器学习(线性回归) #5.模型评估 from sklearn.dataset ...
LR中的参数设置和场景虚拟用户的关联(Unique + each iteration | each occurence | once)
这种取值方式比次高级,强调的是取值的唯一性,但是违反该规则也能继续运行,lr提供了when out of value选项来处理不是唯一的情况脚本:lr_eval_string({newparam}) ...
LR模型的原理和公式推导
介绍 Logistic回归算法,名字虽带有回归,但其实是一个分类模型. 输出Y=1的对数几率是由输入x的线性函数表示的模型,直接对分类的可能性进行建模,并不是直接对分类的结果(0或者1)进行建模: 假 ...
c语言控制迭代次数,LR中的迭代次数设置
在参数化时,对于一次压力测试中均只能用一次的资源应该怎么参数化呢?就是说这些资源用了一次就不能在用了的. --参数化时,在select next row选择unique,update value o ...

机器学习 LR中的参数迭代公式推导——极大似然和梯度下降

机器学习 LR中的参数迭代公式推导——极大似然和梯度下降相关推荐

最新文章

热门文章