广义线性模型——逻辑回归（logistic regression）

广义线性模型：使用单调可微的联系函数g(.)，令h_Θ(x) = g(Θ^Tx)

logistic regression用来干什么？

完成分类任务。

为什么要用logistic regression？

如果使用线性回归处理分类任务会存在以下两个问题：

（1）预测值y取值为0或者1，但是h_Θ(x)的值可能远大于1或者远小于0。因此根据h_Θ(x)的值判断类别的话存在困难（阈值不好取，增删数据之后参数改变阈值也必须改变）。

（2）实际中很多问题，预测值与特征值并不是直线关系。

为了更好地进行分类，我们需要把输出值控制在0-1之间。在这里我们引入logistic/sigmoid function

令g(z) = 1 / (1 + e^-z); g' = g *（1 - g）; 0 < g < 1;

h_Θ(x) = 1 / (1 + e^{-Θ^Tx}); 0 < h < 1

有了h，我们就能根据h的值判断x的类别。比如我们可以预测：

相当于：

从上面的转化中我们可以看出，把目标函数的输出值从一个很大的范围缩到了（0,1）

得到的Θ^Tx即为边界：

使用这个算法，我们可以用非常复杂的模型来适应非常复杂形状的判定边界。

例如有这样的分布：

假设目标函数：

参数是[-1 0 0 1 1]，则我们得到的判定边界恰好是圆点在原点且半径为1 的圆形。

怎么用logistic regression？

选择合适的cost function：

采用此代价函数，h_Θ(x)与y就同步了。而且是凸函数。

下面采用梯度下降法来更新参数Θ：

注：经过推导可以发现逻辑回归的参数更新公式和线性回归的参数更新公式一致。但是注意，h_Θ(x)不一样。

另外，这里在运行梯度下降算法之前进行特征缩放仍然是非常必要的。

转载于:https://www.cnblogs.com/J-K-Guo/p/7185078.html

广义线性模型——逻辑回归（logistic regression）相关推荐

札记_ML——《统计学习方法》逻辑回归logistic regression)
统计学习方法:五. 逻辑回归logistic regression 逻辑回归logistic regression Logistic的起源 1).概念logistic回归又称logistic回归分析, ...
逻辑回归(Logistic Regression)简介及C++实现
逻辑回归(Logistic Regression):该模型用于分类而非回归,可以使用logistic sigmoid函数( 可参考:http://blog.csdn.net/fengbingchun/ ...
CS229学习笔记(3)逻辑回归(Logistic Regression)
1.分类问题你要预测的变量yyy是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法. 从二元的分类问题开始讨论. 我们 ...
逻辑回归(Logistic Regression
6.1 分类问题参考文档: 6 - 1 - Classification (8 min).mkv 在这个以及接下来的几个视频中,开始介绍分类问题. 在分类问题中,你要预测的变量 y y y 是离散的 ...
吴恩达机器学习 8.6 逻辑回归(Logistic Regression)
6.1 分类问题参考文档: 6 - 1 - Classification (8 min).mkv 在这个以及接下来的几个视频中,开始介绍分类问题. 在分类问题中,你要预测的变量 $y$ 是离散的值, ...
OpenCV3.3中逻辑回归(Logistic Regression)使用举例
OpenCV3.3中给出了逻辑回归(logistic regression)的实现,即cv::ml::LogisticRegression类,类的声明在include/opencv2/ml.hpp文件 ...
Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”
Coursera公开课笔记: 斯坦福大学机器学习第六课"逻辑回归(Logistic Regression)" 斯坦福大学机器学习第六课"逻辑回归"学习笔记,本次 ...
OpenCV逻辑回归Logistic Regression的实例(附完整代码)
OpenCV逻辑回归Logistic Regression的实例 OpenCV逻辑回归Logistic Regression的实例 OpenCV逻辑回归Logistic Regression的实例 # ...
斯坦福大学机器学习第四课“逻辑回归(Logistic Regression)”
斯坦福大学机器学习第四课"逻辑回归(Logistic Regression)" 本次课程主要包括7部分: 1) Classification(分类) 2) Hypothesis R ...
逻辑回归(Logistic Regression, LR)又称为逻辑回归分析，是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。例如，我们可以将购买的概率设置为因变量，将用户的
逻辑回归(Logistic Regression, LR)又称为逻辑回归分析,是分类和预测算法中的一种.通过历史数据的表现对未来结果发生的概率进行预测.例如,我们可以将购买的概率设置为因变量,将用户的 ...

广义线性模型——逻辑回归（logistic regression）

广义线性模型——逻辑回归（logistic regression）相关推荐

最新文章

热门文章