逻辑回归、线性回归直观感受

在学习线性回归和逻辑回归的时候，遇到过一些问题：
1、为什么线性回归中y是服从正态分布的；
2、为什么逻辑回归是用于分类任务的，却叫做回归；
3、逻辑回归中的损失函数为什么不能用线性回归中的均方差公式，而是通过极大似然估计进行损失函数的定义。

问题一解答（百面机器学习的教学视频和百面机器学习书的知识点解答）

最小二乘法公式推导

这就是最小二乘法的解法，一步到位，都不用机器学习，直接求解出来。这是一大优势，但可想而知，天下没有免费的午餐，它肯定存在一些劣势，比如：

因此，在比较线性回归和逻辑回归的不同的时候，逻辑回归可以看做广义线性回归模型在因变量服从二元分布（0-1分布或者是伯努利分布）时的一个特殊情况；而使用最小二乘法求解线性回归时，我们认为因变量y服从正态分布。

同样，在比较逻辑回归和线性回归的相同之处时，我们可以认为二者都使用了极大似然估计来对训练样本进行建模。线性回归使用最小二乘法，实际上就是在自变量X和超参数θ确定，因变量y服从正态分布的假设下，使用极大似然估计的一个化简；而逻辑回归中通过对似然函数的学习得到最佳的θ。另外，二者在求解超参数的过程中，都可以使用梯度下降的方法，这也是监督学习中一个常见的相似之处。

通过上面的分析，可以知道为什么线性回归中y是服从正态分布的。

问题二解答
分类和回归是如今机器学习中两种不同的任务，而属于分类算法的逻辑回归，其命名是有一定的历史原因的。这个方法最早由统计学家David Cox在他1958年的论文《二元序列中的回归分析》(The regression analysis of binary sequences)中提出，当时人们对于回归与分类的定义与今天有一定区别，只是将“回归”这一名字沿用上了。如果将一个事件的几率定义为该事件发生的概率与该事件不发生的概率的比值p/(1-p)，那么逻辑回归可以看做是对于"y=1|z"这一事件的对数几率的线性回归，于是逻辑回归这一称谓也就延续下来了。
逻辑回归可以看做是广义线性回归在因变量y服从二元分布时的一个特殊情况。

问题三解答

逻辑回归、线性回归直观感受相关推荐

机器学习-算法背后的理论与优化(part1)--从线性回归到逻辑回归
学习笔记,仅供参考,有错必纠参考自:机器学习-算法背后的理论和优化: 从线性回归到逻辑回归线性回归估算的是一个连续变量的条件期望: E ( y ∣ x ) = w T x (1) E(y|x)=w ...
一文彻底搞懂逻辑回归模型
1.逻辑回归逻辑回归(Logistic regression,简称LR)虽然其中带有"回归"两个字,但逻辑回归其实是一个分类模型,并且广泛应用于各个领域之中. 将线性回归模型 ...
逻辑回归算法_算法逻辑回归
logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域.例如,探讨引发疾病的危险因素,并根据危险因素预测疾病发生的概率等.以胃癌病 ...
Python学习记录逻辑回归
逻辑回归的应用文章目录逻辑回归的应用什么是逻辑回归逻辑回归适合的算法模型逻辑回归的原理什么是线性回归什么是激活函数线性回归与逻辑回归线性回归逻辑回归相关举例精确度召回率综合 ...
sklearn专题五：逻辑回归
目录 1 概述 1.1 名为"回归"的分类器 1.2 为什么需要逻辑回归 2 linear_model.LogisticRegression 2.1 二元逻辑回归的损失函数 2.1 ...
阿龙学堂-算法-逻辑回归
logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域.例如,探讨引发疾病的危险因素,并根据危险因素预测疾病发生的概率等.以胃癌病 ...
sklearn实战-----5.逻辑回归与评分卡
1 概述 1.1 名为"回归"的分类器在过去的四周中,我们接触了不少带"回归"二字的算法,回归树,随机森林的回归,无一例外他们都是区别于分类算法们,用来处理 ...
机器学习实验2 / 逻辑回归
一.实验问题描述假设你是某大学招生主管,你想根据两次考试的结果决定每个申请者的录取机会.现有以往申请者的历史数据,可以此作为训练集建立逻辑回归模型, 并用其预测某学生能否被大学录取.请按要求完成实验 ...
机器学习——从线性回归到逻辑回归【附详细推导和代码】
本文始发于个人公众号:TechFlow,原创不易,求个关注在之前的文章当中,我们推导了线性回归的公式,线性回归本质是线性函数,模型的原理不难,核心是求解模型参数的过程.通过对线性回归的推导和学习,我 ...

逻辑回归、线性回归直观感受

逻辑回归、线性回归直观感受相关推荐

最新文章

热门文章