逻辑回归及其公式推导

一、什么是逻辑回归（Logistic Regression）

逻辑回归是一种用于解决二分类问题的机器学习方法，简单来说就是用来表示某件事发生的可能性。

比如：你患有糖尿病的可能性；

你点击某个广告的可能性。

二、逻辑回归vs线性回归

	类型	变量	是否符合线性关系	假设	应用
逻辑回归	分类	连续	符合	服从伯努利分布	判断西瓜是否为好瓜
线性回归	回归	离散	可以不符合	服从高斯分布	银行预测某人的信用分数

线性回归简单来说是描述了最佳一条拟合输入变量和输出变量的之间关系直线，逻辑回归在线性回归的基础上加了Sigmoid映射函数，引入了非线性因素，可以处理0/1分类问题。

三、逻辑回归的推导

1、sigmoid函数

$g\left ( z \right )= \frac{1}{1+e^{-z}}$

假设函数 $h_{\theta }\left ( x \right )= g\left ( \theta ^{T}x \right )$ ，所以 $h_{\theta }\left ( x \right )= \frac{1}{1+e^{-\theta ^{T}x}}$

其中 $x$ 为输入， $\theta$ 为要求解的参数， $\theta ^{^{T}}x= \theta +\theta _{1}x_{1}+\theta _{2}x_{2}+\cdots +\theta _{n}x_{n}= \sum_{i= 1}^{n}\theta _{i}x_{i}$

2、损失函数

在LR函数中，我们使用最大似然方式来求解模型的参数，用训练得到的值去拟合真实值。

LR的目标函数为 $P\left ( y=1|x;\theta \right )= h_{\theta }\left ( x \right )$

$P\left ( y=0|x;\theta \right )= 1-h_{\theta }\left ( x \right )$

在已知x的条件下输出y=1的概率h，则y=0的概率等于1-h

因此似然函数可以表示为 $L\left ( \theta \right )= \prod_{i=1}^{m}P\left ( y_{i}|x_{i};\theta \right )=\prod_{i=1}^{m}\left ( h_{\theta } \right\left ( x \right ) )^{y_{i}}\left ( 1-h_{\theta } \right\left ( x \right ) )^{1-y_{i}}$

$l\left ( \theta \right )=logL\left ( \theta \right )=\sum_{i=1}^{m}\left ( y_{i}logh_{\theta}\left (x_{i} \right ) +\left ( 1-y_{i} \right )log\left ( 1-h_{\theta}\left (x_{i} \right ) \right )\right )$

用梯度上升求最大值，可转换为梯度下降任务，通过 $J\left ( \theta \right )= -\frac{1}{m}l\left ( \theta \right )$ ,具体推导过程如下图所示

四、总结

1、LR的两个假设：假设因变量y服从伯努利分布；假设函数 $h_{\theta }\left ( x \right )= \frac{1}{1+e^{-\theta ^{T}x}}$

2、LR损失函数：极大似然估计（给定观察数据来评估模型参数的方法）

3、LR为何用极大似然估计作为损失函数：由图片中的公式可知，梯度更新过程只和 $h_{\theta}\left (x_{i} \right )$ 和 $y_{i}$ ，和sogmoid函数本身梯度无关，求解参数速度较快

4、LR求解方法：梯度下降（小批量梯度下降）

5：LR目的：用回归思想求解分类问题，y是连续变量，设置阈值实现分类

逻辑回归及其公式推导相关推荐

Logistic Regression（逻辑回归）原理及公式推导
Logistic Regression(逻辑回归)原理及公式推导 Logistic Regression(逻辑回归)是机器学习中一个非常非常常见的模型,在实际生产环境中也常常被使用,是一种经典的分类模 ...
机器学习之数学系列（三）逻辑回归反向传播梯度计算公式推导
一.简介在深度学习领域,我们往往采用梯度下降(或上升)法来优化训练函数模型,梯度下降法尤其是在解决凸优化问题上表现极佳.模型优化涉及到反向传播过程,反向传播过程需要先推导出梯度计算公式然后利用机 ...
【机器学习】【逻辑回归】Logistic函数/Sigmoid函数的详细公式推导
sigmoid函数的数学公式 sigmoid函数的因变量x取值范围是-∞到+∞,(-∞,+∞),但是sigmoid函数的值域是(0, 1). 不管x取什么值其对应的sigmoid函数值一定会落到(0, ...
逻辑回归原理理解及公式推导
1.算法介绍 (1)逻辑回归(Logistics Regression)是一种分类模型,常用于二分类问题. (2)我们可以用一句话来表示逻辑回归:逻辑回归是假设数据服从伯努利分布,基于最大似然估计推导 ...
吴恩达老师深度学习视频课笔记：逻辑回归公式推导及C++实现
逻辑回归(Logistic Regression)是一个二分分类算法.逻辑回归的目标是最小化其预测与训练数据之间的误差.为了训练逻辑回归模型中的参数w和b,需要定义一个成本函数(cost functi ...
logistic逻辑回归公式推导及R语言实现
Logistic逻辑回归 Logistic逻辑回归模型线性回归模型简单,对于一些线性可分的场景还是简单易用的.Logistic逻辑回归也可以看成线性回归的变种,虽然名字带回归二字但实际上他主要用来二 ...
逻辑回归公式推导过程
1 逻辑回归模型回归是一种极易理解的模型,就相当于y=f(x),表明自变量x与因变量y的关系.最常见问题有如医生治病时的望.闻.问.切,之后判定病人是否生病或生了什么病,其中的望闻问切就是获取自变量 ...
二元逻辑回归损失函数的数学解释与公式推导
我们基于极大似然法来推导二元逻辑回归的损失函数,这个推导过程能够帮助我们了解损失函数怎么得来的,以及为什么J(θ)J(\theta)J(θ)的最小化能够实现模型在训练集上的拟合最好. 我们的目标是: ...
机器学习第7天：深入了解逻辑回归
文章目录一.逻辑回归是什么二.逻辑回归的代价函数 1. 公式: 2. 公式推导过程: 2.1. 寻找预测函数 2.2. 构造代价函数三.梯度下降法求J(θ)的最小值四.代码展示一.逻辑回归是 ...

逻辑回归及其公式推导

逻辑回归及其公式推导相关推荐

最新文章

热门文章