1 逻辑回归介绍

logistic regressioin是一种二分类算法，通过sigmoid激活函数将线性组合压缩到0和1之间，来代表属于某一个分类的属性

虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型

好处在于输出值自然地落在0到1之间，并且有概率意义。模型清晰，有对应的概率学理论基础。

但同时由于其本质上是一个线性的分类器，所以不能应对较为复杂的数据情况。很多时候我们也会拿逻辑回归模型去做一些任务尝试的baseline

2 三步法解释逻辑斯蒂回归

还是使用李宏毅教授所说的深度学习三步法来理解模型：

2.1 Step 1 function set

2.1.1 sigmoid

将所有结果压缩到[0~1]上——可以用来进行二元分类，σ(x)表示了一个类的概率

2.1.2 sigmoid的好处

2.2 Step2 goodness of a function

C1的概率是f，那么C2的概率就是1-f

我们引入交叉熵

交叉熵判断两个分布的相似程度，如果两个分布一模一样，那么交叉熵最小（除非两个分布都是one-hot，否则不可能交叉熵是0）

交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。

交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。

2.2.1 从最大似然估计的角度理解交叉熵

对于一个随机变量，假设类别1的概率是θ，类别0的概率是1-θ

那么，出现n次1和m次0的概率是：

取log+极大似然估计，有：

将上式对θ求导，有，结果也是符合直观的

我们引入逻辑斯蒂回归的损失函数：交叉熵

2.3 Step 3 find best function

我们首先看

我们令 $z=w_i^T x_i+b$

那么我们有：

与此同时，我们有： $f_{w,b}(x^n)=\sigma (z)$ (σ是sigmoid函数）

所以有

$\frac{\partial ln \sigma(z)}{\partial z}=\frac{1}{\sigma(z)}\frac{\partial \sigma(z)}{\partial z}=(1+e^{-x})\times \frac{1}{1+e^{-x}}'$

$=(1+e^{-x})\times ( \frac{e^{-x}}{(1+e^{-x})^2})=\frac{e^{-x}}{1+e^{-x}}=1-\sigma(z)$

()

所以=

然后我们看

同样令 $z=w_i^T x_i+b$

所以=

综合起来，有：

3 逻辑斯蒂回归和线性回归

4 能否用均方误差代替交叉熵

我们考虑一下logistic regression+MSE

也就是说，无论我们预测的是0还是1，我们对应的梯度都是0

也就是，在远离target的地方，我们也更新的很慢（但因为我们不知道到底现在是靠近target，还是远离target，所以我们也不能通过调整学习率）

4 从极大似然估计的角度看逻辑回归

机器学习笔记：logistic regression相关推荐

【机器学习】Logistic Regression逻辑回归原理与java实现
[机器学习]Logistic Regression逻辑回归原理与java实现 1.基于概率的机器学习算法 2.逻辑回归算法原理 2.1.分离超平面 2.2.阈值函数 2.3.样本概率 2.4.损失函数 ...
机器学习笔记-Logistic分类
机器学习笔记-Logistic分类作者:星河滚烫兮我们知道,回归模型一般是去根据已有的标记数据去预测新事物.Logistic回归模型因为历史原因有"回归"二字,但其实是一个分类 ...
【李宏毅机器学习】Logistic Regression 逻辑回归（p11）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Logistic Regression Step 1: Function Set Step 2: Goodness of a Function Step ...
python机器学习算法（赵志勇）学习笔记( Logistic Regression，LR模型)
Logistic Regression(逻辑回归) 分类算法是典型的监督学习,分类算法通过对训练样本的学习,得到从样本特征到样本的标签之间的映射关系,也被称为假设函数,之后可利用该假设函数对新数据进行 ...
【机器学习】Logistic Regression 的前世今生（理论篇）
Logistic Regression 的前世今生(理论篇) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 博客虽水,然亦博主之苦劳也. 如需转载,请附上 ...
吴恩达机器学习ex2 Logistic Regression (python)
Programming Exercise 2: Logistic Regression Machine Learning 目录 Introduction 1 Logistic regression 1 ...
Andrew Ng机器学习公开课笔记 -- Logistic Regression
网易公开课,第3,4课 notes,http://cs229.stanford.edu/notes/cs229-notes1.pdf 前面讨论了线性回归问题, 符合高斯分布,使用最小二乘来作为损失函数 ...
[机器学习] Coursera ML笔记 - 逻辑回归（Logistic Regression）
引言机器学习栏目记录我在学习Machine Learning过程的一些心得笔记,涵盖线性回归.逻辑回归.Softmax回归.神经网络和SVM等等.主要学习资料来自Standford Andrew N ...
Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”
Coursera公开课笔记: 斯坦福大学机器学习第六课"逻辑回归(Logistic Regression)" 斯坦福大学机器学习第六课"逻辑回归"学习笔记,本次 ...
台湾大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression
红色石头的个人网站:redstonewill.com 上一节课,我们介绍了Linear Regression线性回归,以及用平方错误来寻找最佳的权重向量w,获得最好的线性预测.本节课将介绍Logist ...

机器学习笔记：logistic regression