机器学习之对数几率回归理解

对数几率回归不是回归，是分类。

1.对数几率回归的形式由线性回归的y=WX转化为 y_pre=sigmoid(WX)即是对数几率回归

2.对数几率回归的名字来由（对数几率优化的本质）：

2.1由于上述1中的优化目标是希望预测y_pre=即sigmoid(WX)尽可能等于分类标记y

2.2由sigmoid函数可以得到，即希望WX尽可能等于ln(y/(1-y))。

2.3由于预测目标y为1时是正例，y为0时是负例，因此y的值可以视为样本为正例的概率，同时1-y即可以视为样本为负例的概率。

2.4另y/(1-y)即正例概率与负例概率的比值（一个相对概率），通常称为几率，而ln(y/(1-y))则称为对数几率概率

综合2.2、2.4说明对数几率回归的目标是使WX尽可能等于对数几率，这就是对数几率回归名字的来由。

3.如何进行具体的最优化

3.1对于任意样本，预测值为正例的概率为sigmoid(WX),预测值为负例的概率为1-sigmoid(WX)

3.2我们希望对于正例，我们希望最大化预测值为正例的概率sigmoid(WX),对于负例，我们希望最大化预测值为负例的概率1-sigmoid(WX)，综合我们希望最大化 Z=y*sigmoid(WX)+(1-y)*(1-sigmoid(WX)).也可以写成y*y_pre+(1-y)*(1-y_pre)

3.3通过梯度下降法和牛顿法可以进行基于该损失函数的优化

注：3.2中的损失函数也可以使用其他损失函数如mae、mse代替。即Z=mse(y,y_pre)

机器学习之对数几率回归理解相关推荐

机器学习入门学习笔记：（2.3）对数几率回归推导
理论推导在以前的博客(机器学习入门学习笔记:(2.1)线性回归理论推导 )中推导了单元线性回归和多元线性回归的模型. 将线性回归模型简写为:y=ωTx+by = \omega^Tx+b: ...
机器学习-对数几率回归
目录前言一.对数几率回归的机器学习三要素二.对数几率回归 2.1 算法原理 2.1.1 广义线性模型 2.1.2 对数几率回归 2.2 利用极大似然估计推导损失函数 2.2.1 确定概率密度(质 ...
机器学习之逻辑回归（对数几率回归）
机器学习算法之逻辑回归(对数几率回归)- 做分类的一.概述: 逻辑(logistic)回归, 又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域 ...
小白学机器学习西瓜书-第三章对数几率回归
小白学机器学习西瓜书-第三章对数几率回归 3.3 对数几率回归 3.3.1 对数几率函数 3.3.1 估计参数上一部分我们介绍了线性回归,包括简单的二元回归和多元回归,这两个主要解决的是拟合预测的问 ...
机器学习 | 对数几率回归
机器学习 | 对数几率回归名词解释对数几率回归名词解释回归:预测连续的值,例如预测气温分类:预测离散的值,例如垃圾分类线性回归:通过一个线性组合预测连续的值,是回归模型对数几率回归:用S ...
对数几率回归-机器学习
数据集百度网盘,就是西瓜书3.0a的数据. 首先,加载数据,load_data(file)函数. def load_data(file):s =[]with open(file) as f:for l ...
机器学习（二）线性模型——线性回归、对数几率回归、线性判别分析
一.线性回归线性回归(linear regression:试图学得一个线性模型以尽可能准确地预测实值输出标记. 1.最简单的形式:输入属性的数且只有一个, 最小二乘法:基于均方差误差最小化来进行模型 ...
机器学习教程之线性模型：线性回归、对数几率回归、线性判别分析
常用的三个线性模型的原理及python实现--线性回归(Linear Regression).对数几率回归(Logostic Regression).线性判别分析(Linear Discriminan ...
机器学习笔记（VII）线性模型(III)对数几率回归和极大似然估计
背景知识常见回归模型线性回归(linear regression): y=wTx+b(1) y=\mathbf{w}^T\mathbf{x}+b\tag{1} 但是有时候预测值会逼近 y \mat ...

机器学习之对数几率回归理解

机器学习之对数几率回归理解相关推荐

最新文章

热门文章