逻辑回归原理及其推导

转自：https://blog.csdn.net/nageaixiaodenanhai/article/details/81592713

逻辑回归原理
逻辑回归是利用回归类似的方法来解决分类问题。假设有一个二分类问题，输出y{0,1}，而线性模型（下文将展示这个模型）的的预测值z是实数值，我们希望找到一个阶跃函数将实数z映射为{0,1}，这样我们就能很好的处理分类问题了。那么逻辑回归中是使用什么函数来进行映射的呢？就是sigmoid函数（关于为什么用这个函数请点击这里查看）。

sigmoid函数图像：

sigmoid函数中的z就是线性函数的z，因为g(z)最后输出的时样本类别的概率值，所以我们可以把阈值设为0.5，g(z)大于等于0.5的看作1，小于0.5的看作0，这样我们就能利用逻辑回归来处理二分类问题了。分类结果就是这样子的。

那我们现在的问题就是怎样计算得到线性函数的模型，也就是我们上文提到输出为z的线性模型。为了使模型能分类更准确，我们需要得出一个最优的线性模型函数。也就是下图所示的公式。如何让这个参数达到最优呢？我们就要对每个x找到最优的参数 $\theta$ ，这也是我们接下来要求解的问题。

此时我们可以先将线性模型和sigmoid函数结合起来构造逻辑回归的预测函数：

通常求解回归问题(也就是上面的线性问题)的常规步骤为三步：

1.寻找预测函数(x)

2.构造损失函数J()

3.想办法使得J()函数最小并求得回归参数θ

构造损失函数
上面我们已经写出了辑回归的预测函数，所以下一步我们要构造损失函数J()。构造损失函数J()我们可能会先想到模仿线性回归中的平方误差作为损失函数，但是如果使用平方误作损失函数的话我们得到的损失函数就是一个非凸函数，这就意味着损失函数有许多局部最优解，就不能得到全局最优的。

那我们就要构造其他的损失函数了。我们再来看问题本身，我们要解决的时二分类问题，函数的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

y（标签）要么取0要么取1，这样就可以把两个类别进行整合，得到一个更直观的表达。

此时P就是某个样本的概率值，我们只要最大化样本的概率就可以得到最好的分类模型了。接下来我们用极大似然函数来求解样本的概率值P

这里就是用极大似然估计来求最优的θ。最大似然估计就是求使l(θ)取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。因为在很多其它的讲解中都是用梯度下降来求解l(θ)，是因为它们在l(θ)前加了一个负号,使J(θ)=-l(θ)，此时就是用梯度下降来求J(θ)了。这里我们使用梯度下降来求解。如果你想用梯度上升求解也没问题。

梯度下降法求的最小值

θ更新过程：

θ更新过程可以写成

这时我们就能求出最优的参数 $\theta$ ，也就能得到最优的逻辑回归模型了，得到最优模型我们就可以更好的分类未知样本了。

关于逻辑回归的代码实现我就不在这里写了，网上已经有很多人写了，很容易就能找到。

---------------------
作者：smile__su
来源：CSDN
原文：https://blog.csdn.net/nageaixiaodenanhai/article/details/81592713
版权声明：本文为博主原创文章，转载请附上博文链接！

逻辑回归原理及其推导相关推荐

逻辑回归原理及推导过程
这篇文章将详细地讲解逻辑回归的推导过程. 原理: 逻辑回归处理的是分类问题,具体来说,是处理二分类问题.为了实现逻辑回归分类器,我们可以在线性回归的基础上(即每个特征乘以一个回归系数后相加),添加一个 ...
逻辑回归原理以及推导
1.之前听其他面试者说,遇到过写LR中损失函数的推导,也就是从概率一般式开始,运用似然函数求解概率最大(被问到:为什么可以用似然函数.答:因为目标是要让预测为正的的概率最大,且预测为负的概率也最大 ...
逻辑回归原理详细推导
1. 基本原理 Logistic Regression和Linear Regression的原理是相似的,可以简单描述为以下过程: (1)找一个合适的预测函数(Andrew Ng的公开课中称为hypo ...
逻辑回归原理简述及代码实现
Logistic回归 1 逻辑回归原理 1.1 线性回归 1.2 逻辑回归 2 具体过程 2.1 构造预测函数 2.2 构造损失函数J(θ) 2.3 采用梯度下降算法minJ(θ) 2.4 采用向量化 ...
python实现逻辑回归的流程_逻辑回归原理及其python实现
September 28, 2018 7 min to read 逻辑回归原理及其python实现原理逻辑回归模型: $h_{\theta}(x)=\frac{1}{1+e^{-{\theta}^ ...
【机器学习】Logistic Regression逻辑回归原理与java实现
[机器学习]Logistic Regression逻辑回归原理与java实现 1.基于概率的机器学习算法 2.逻辑回归算法原理 2.1.分离超平面 2.2.阈值函数 2.3.样本概率 2.4.损失函数 ...
逻辑回归原理与sklearn实现
目录一.逻辑回归介绍 1.应用场景 2.逻辑回归原理 2.1 输入 2.2激活函数 3.损失与优化 3.1 损失(对数似然损失) 3.2 优化二.逻辑回归API介绍三.案例实现四.分类评估方法 ...
逻辑回归代价函数的推导过程
逻辑回归代价函数的推导过程 1.代价函数在篇文章中,我们要介绍如何拟合逻辑回归模型的参数.具体来说,我要定义用来拟合参数的优化目标或者叫代价函数,这便是监督学习问题中的逻辑回归模型的拟合问题. 对于 ...
逻辑回归原理梳理_以python为工具【Python机器学习系列（九）】
逻辑回归原理梳理_以python为工具 [Python机器学习系列(九)] 文章目录 1.传统线性回归 2.引入sigmoid函数并复合 3. 代价函数 4.似然函数也可以 5. python梯度下降 ...

逻辑回归原理及其推导

梯度下降法求的最小值

逻辑回归原理及其推导相关推荐

最新文章

热门文章