线性模型（3）：Logistic Regression

此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》

（一）Logistic Regression 原理

对于分类问题，假设我们想得到的结果不是（x属于某一类）这种形式，而是（x属于某一类的概率是多少）这种形式。

因为s的范围是(-∞，+∞), 而概率的范围是[0,1],所以我们需要一个映射函数：

我们如何应用概率知识来解决这一问题呢？一种想法是使用极大似然法。

现在出现了类似于linear Regression中的形式，我们可以求梯度。

根据上式，并不能得出向量w的close-form solution。

（二）Logistic Regression Algorithm

现在回想一下PLA算法，我们要从中提取出一种非常普遍的模式：iterative Optimization。

回想一下，我们在PLA算法中何如一步步改善向量w？首先选择一个mistake 数据，然后用mistake数据矫正原来的w。

再抽象一下这个模型：

我们只需要关系两个参数即可：η代表了w_t的变化大小，v代表了w_t的变化方向（|v|=1）。

现在我们采用iterative Optimization方法来求解logistic regression中的w。

（1）考虑v

假设，当eta非常小的情况下，根据Taylor展开公式，可以得到：

现在如果想使得上述公式最小，只需要使v为与方向完全相反的单位向量即可。

（2）考虑η

η太大太小都不好，最好是与的长度成比例。

（3）小结

(三） Stochastic Gradient Descent（SGD）

上述方法有什么问题吗？

每一个迭代，我们都必须使用training dataset中所有的N个数据。1）效率很低。2）只适合batch protocol类型的问题。

我们怎么做呢？随机选择一个数据来计算，而不是使用所有的数据。

转载于:https://www.cnblogs.com/wangyanphp/p/5443254.html

线性模型（3）：Logistic Regression相关推荐

广义线性模型——逻辑回归（logistic regression）
广义线性模型:使用单调可微的联系函数g(.),令hΘ(x) = g(ΘTx) logistic regression用来干什么? 完成分类任务. 为什么要用logistic regression? 如 ...
Logistic Regression
Logistic Regression 又称逻辑回归,分类算法中的二分类算法,属于监督学习的范畴,算法复杂度低. 1.模型 Logistic Regression模型是广义线性模型的一种,属于线性的分 ...
[机器学习] Coursera ML笔记 - 逻辑回归（Logistic Regression）
引言机器学习栏目记录我在学习Machine Learning过程的一些心得笔记,涵盖线性回归.逻辑回归.Softmax回归.神经网络和SVM等等.主要学习资料来自Standford Andrew N ...
Logistic Regression 模型简介
https://tech.meituan.com/intro_to_logistic_regression.html 逻辑回归(Logistic Regression)是机器学习中的一种分类模型,由于 ...
逻辑回归Logistic Regression 模型简介
逻辑回归(Logistic Regression)是机器学习中的一种分类模型,由于算法的简单和高效,在实际中应用非常广泛.本文作为美团机器学习InAction系列中的一篇,主要关注逻辑回归算法的数学模 ...
逻辑回归Logistic Regression 之基础知识准备
0. 前言这学期 Pattern Recognition 课程的 project 之一是手写数字识别,之二是做一个网站验证码的识别(鸭梨不小哇).面包要一口一口吃,先尝试把模式识别的经典问题-- ...
逻辑回归模型详解(Logistic Regression)
目录广义线性模型极大似然法逻辑回归的假设函数逻辑回归的损失函数交叉熵损失函数为什么LR模型损失函数使用交叉熵不用均方差交叉熵损失函数的数学原理交叉熵损失函数的直观理解交叉熵简介对数 ...
Logistic Regression 之基础知识准备
0. 前言这学期 Pattern Recognition 课程的 project 之一是手写数字识别,之二是做一个网站验证码的识别(鸭梨不小哇).面包要一口一口吃,先尝试把模式识别的经典问题-- ...
台湾大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression
红色石头的个人网站:redstonewill.com 上一节课,我们介绍了Linear Regression线性回归,以及用平方错误来寻找最佳的权重向量w,获得最好的线性预测.本节课将介绍Logist ...

线性模型（3）：Logistic Regression

线性模型（3）：Logistic Regression相关推荐

最新文章

热门文章