逻辑斯蒂回归_逻辑斯蒂回归详细解析 | 统计学习方法学习笔记 | 数据分析 | 机器学习...
本文包括:
- 重要概念
- 逻辑斯蒂回归和线性回归
- 二项逻辑斯谛回归模型
- 逻辑斯蒂回顾与几率
- 模型参数估计
- 多项逻辑斯谛回归
- 其它有关数据分析,机器学习的文章及社群
1.重要概念:
在正式介绍逻辑斯蒂回归模型之前,需要先对一些基本概念有所了解,如果明白这些概念可以直接跳过。
分布函数和密度函数:对于一个连续型随机变量,密度函数是指该变量在其可取值范围内为一个特定值的概率,分布函数即在一个特定值和小于该特定值的范围内出现的概率,可以理解为密度函数的面积比率。
用逻辑斯蒂分布举例来说(下图),在密度函数中,可以看到在x=0时出现峰值,即x取0的概率最大,从0开始往无穷小和无穷大都在递减。再看分布函数,可以看到当x=0时,密度函数取值为0.5,对照密度函数,在小于等于0的部分,面积是总面积的一半。
似然函数:在统计学中,概率描述了已知参数时的随机变量的输出结果,似然则用来描述已知随机变量输出结果时,未知参数的可能取值。那么似然函数就是用来求得未知参数的估计值所使用的函数。
极大似然估计:通过最大化似然函数求得未知参数的估计值。这里讲一下为什么是极大而非其它的方法求参数的估计值。
在机器学习中,我们有大量的记录构成训练集,需要根据训练集进行学习获得模型,根据具体的问题,我们可以将一个特定的模型套用在这个具体问题中。现在,我们有了一个含有未知参数的模型,以及大量训练集记录。
根据模型,我们可以假设Y=1的概率为P,Y=0的概率为1-P(这里的P包含了模型中的未知参数)。假设训练集中有10个记录,3个为1,7个为0,那么得到这个最终结果的概率为P^3*(1-P)^7。
现在重点来了,既然现实情况中已经出现了3个1和7个0的情况,那么我们的模型应该让这种情况出现的概率最大,因为毕竟这个结果已经出现了。
也就是说,我们应当最大化P^3*(1-P)^7,以此推得P中所包含的未知参数的估计值,并最终得到我们想要的模型。
2.逻辑斯蒂回归和线性回归:
在线性回归(感知机)中,我们知道一个分离超平面w·x将特征空间分成两个部分,实例在不同的子空间中则被分为相对应的类。但是线性回归的一个问题在于,我们不知道一个新输入的实例,它属于一个类的概率是多少。
换句话说,新输入实例在特征空间中的位置可能与分离超平面距离非常近,也有可能非常远,如果距离较远,那么它更有可能被分成它所在一侧对应的类,但是如果与超平面的距离非常近,说明它被分成另一类的可能性也很大,比如被分成A的可能性为51%,而分成B类的可能性为49%,此时线性回归会将其分为A类,而忽略了49%分成B类的可能性,也就是说,线性回归仅给出结论,未给出概率。
于是,为了得到这一概率,我们引入了Sigmoid函数:
Sigmoid函数能够将线性回归产生的值(-∞,+∞)转换到(0,1)区间内,而概率的取值也在(0,1)内,这样,就可以显示一个实例被分为一个类的概率是多少了。
3.二项逻辑斯谛回归模型:
首先来看逻辑斯蒂函数的一般形式,其分布具有以下分布函数和密度函数:
式中,μ为位置参数,γ>0为形状参数。
分布函数以(μ,1/2)为中心对称,满足:
形状参数γ的值越小,分布函数曲线在中心附近增长得越快。
现在,我们让μ取0,γ取1,即得到我们在逻辑斯蒂回归中使用的函数:
采用上式,我们将线性回归产生的值代入到sigmoid函数之中,可得:
二项逻辑斯谛回归模型是一种分类模型,由条件概率分布P(Y|X)表示。这里,随机变量x取值为实数,随机变量Y取值为1或0。
这样,我们就将范围为实数的线性回归产生的值转变为逻辑斯蒂回归中仅在(0,1)范围之内。
逻辑斯谛回归仅对二分类的问题有效,我们可以比较P(Y=1|x)和P(Y=0|x)两个条件概率值的大小,将实例x分到概率较大的那一类,同时也能得知分成两种类别的可能性是多少。
4.逻辑斯蒂回归与几率:
一个事件的几率是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p,那么该事件的几率是
我们将逻辑斯蒂回归的P代入,可得:
通过上式我们知道,通过几率的概念对线性函数进行转换,可以得到逻辑斯蒂回归公式。
一个直观的理解是,对于上式,分子是y=1的概率,而分母是y≠1的概率,显然wx+b越大,y=1的概率越大,也就是实例点x在y=1的一侧距离分离超平面越远,则y=1的概率越大。
5.模型参数估计:
设:
似然函数为:
为了计算方便,我们对似然函数取对数,得到对数似然函数:
以上公式的第二个等式使用了上一节谈到的几率。注意,这里的式子中w和xi都是进行扩展后的w和xi,即权值向量中最后一项为b,xi最后一项为1。
现在根据极大似然估计法,对L(w)求导:
接下来通常采用的方法是梯度下降法及拟牛顿法来求得w的估计值,待后续更新。
6.多项逻辑斯谛回归:
逻辑斯蒂回归需要将线性回归通过sigmoid函数进行转换,但这种方法仅对二分类的问题有效,如果碰到多分类的问题逻辑斯蒂回归就失效了。
于是,对于多分类的问题,我们使用softmax函数代替sigmoid函数,可以将softmax函数看做sigmoid函数的推广。
Softmax函数:
Softmax函数计算新输入实例被分为每一个类的概率,并选择概率最大的对应的类作为新输入实例的类。
多项逻辑斯蒂回归:
github:
如果觉得对您有帮助,还烦请点击下面的链接,帮忙github点个star~谢谢~
Zhouxiaonnan/machine-learning-notesandcode
所有笔记目录:包括《统计学习方法》中各个模型的理论和python复现部分,以及数据分析Mysql查询优化。
舟晓南:所有笔记目录 | 数据分析 | 机器学习 | 深度学习等
如何转行数据分析师:
舟晓南:如何转行和学习数据分析 | 工科生三个月成功转行数据分析心得浅谈
舟晓南:求职数据分析师岗位,简历应该如何写?|工科生三个月成功转行数据分析心得浅谈
欢迎关注专栏:
学习笔记:数据分析,机器学习,深度学习zhuanlan.zhihu.com
数据分析,机器学习学习社群正式启动~
需要学习资料,想要加入社群均可私信~
在这里会分享各种数据分析相关资源,技能学习技巧和经验等等~
详情私信,一起进步吧!
写于成都 2020-9-10
第一次修改 2020-9-26
第二次修改 2020-11-5
逻辑斯蒂回归_逻辑斯蒂回归详细解析 | 统计学习方法学习笔记 | 数据分析 | 机器学习...相关推荐
- 统计学习方法读书笔记(六)-逻辑斯蒂回归与最大熵模型(迭代尺度法(IIS))
全部笔记的汇总贴:统计学习方法读书笔记汇总贴 逻辑斯谛回归 (logistic regression )是统计学习中的经典分类方法.最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型(m ...
- 逻辑斯蒂回归 逻辑回归_逻辑回归简介
逻辑斯蒂回归 逻辑回归 Logistic regression is a classification algorithm, which is pretty popular in some commu ...
- orange实现逻辑回归_逻辑回归算法的原理及实现(LR)
Logistic回归虽然名字叫"回归",但却是一种分类学习方法.使用场景大概有两个:第一用来预测,第二寻找因变量的影响因素.逻辑回归(Logistic Regression, LR ...
- python实现贝叶斯回归_贝叶斯线性回归(Bayesian Linear Regression)
贝叶斯线性回归(Bayesian Linear Regression) 标签(空格分隔): 监督学习 @ author : duanxxnj@163.com @ time : 2015-06-19 本 ...
- 一文让你完全弄懂逻辑回归和分类问题实战《繁凡的深度学习笔记》第 3 章 分类问题与信息论基础(上)(DL笔记整理系列)
好吧,只好拆分为上下两篇发布了>_< 终于肝出来了,今天就是除夕夜了,祝大家新快乐!^q^ <繁凡的深度学习笔记>第 3 章 分类问题与信息论基础 (上)(逻辑回归.Softm ...
- 为何中国没有亚伦 斯沃茨_亚伦·斯沃茨(Aaron Swartz)的故事及其为公开而战
为何中国没有亚伦 斯沃茨 关于艾伦·斯沃茨 ( Aaron Swartz )生活的新纪录片于今年6月发行. 它讲述了互联网时代最具影响力的年轻才华之一的故事,以及他为使世界变得更美好而努力的悲惨传奇. ...
- lasso回归_线性回归amp;lasso回归amp;岭回归介绍与对比
1. 回顾最小二乘法 详细的解释在以下这个链接 https://www.matongxue.com/madocs/818 简而言之,最小二乘法展现了平方误差值最小的时候,就是最好的拟合回归线. 2. ...
- 套索回归 岭回归_岭和套索回归简介
套索回归 岭回归 Recently my class has been covering topics of regression and classification. We are now abl ...
- pca 累积方差贡献率公式_主成分分析(PCA)解析 | 统计学习方法 | 数据分析,机器学习,学习历程全记录...
本文包括:主成分分析基本思想 主成分分析的数学表达 主成分个数 规范化变量的总体主成分 样本主成分分析 1.主成分分析基本思想: 在一个数据集中,数据的变量(特征)之间可能存在相关性(互相不独立),这 ...
最新文章
- html页面引入另一个html页面
- conda安装tensorflow-gpu简洁版_笔记本的垃圾显卡也能装Tensorflow GPU版,简明教程
- maven helper的使用
- day15-pymysql模块的使用
- 【鬼网络】之部署YUM仓库大全
- 51Node 01组成的N的倍数
- 01.elasticsearch请求使用的基本语法
- git lfs出现This repository is over its data quota
- java基础输入输出语句
- esxi 5.5运行linux拯救模式,启用Esxi 5.5 SSH 功能
- 官网下载STM32系列芯片的产品选型手册
- jquery开发手册(详细全面)
- 【分步入门指南】如何在10分钟内设置EOS钱包和帐户
- 百望系统网络配置服务器地址,各省百旺参数设置服务器地址
- AR图书,看着很美其实有点坑
- LabVIEW编程基础:条件结构编程
- vmware虚拟机的作用
- pyscripter支持python什么版本_PyScripter在Windows上具有多个Python版本
- db2建立表空间 linux,DB2实验教程:创建数据库/表空间
- 合肥太阳能电池片表面缺陷检测-施努卡
热门文章
- 在Apache Hadoop(多节点群集)中运行Map-Reduce作业
- Spring MVC表单教程
- 在Spring MVC Web应用程序中使用reCaptcha
- 在Java应用程序中使用密码学
- Java Web托管选项流程图
- 如何获取上传文件的本地路径
- Linux 命令之 arch --显示主机的硬件结构类型
- redis 发布订阅实际案例_【赵强老师】Redis的消息发布与订阅
- python强制结束函数_为什么Python没有 main 函数?终于有人给出了正确答案!
- linux mysql 分区_Linux :linux磁盘分区(普通分区2T以内),安装免安装版mysql(tar.gz)...