逻辑回归与softmax回归

深度神经网路已经在语音识别，图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。

第四篇，谈谈我对逻辑回归和softmax回归的一点理解。网络上对逻辑回归和softmax回归论述也很多，包括各种不同语言的代码，都可以下载到。

1. 逻辑回归源于线性回归模型。

线性回归问题的自变量是连续变量，而逻辑回归问题的自变量一般是取值为离散的名义变量，例如，男，女。逻辑回归是对因变量和自变量之前发生关系的概率解释。例如，某种疾病的发生与抽烟的关系，这种关系可以解释为抽烟会导致这种疾病发生的概率值。当逻辑回归用于分类的时候，分类器的阈值点就是0.5。

2. 优化算法

回归问题是统计学里面最基础的问题。在统计学里面，一般采用最大似然和最小二乘法直接导出解析解。具体可以参考任何一般统计学的教材。其解析解里面有一个矩阵的逆。求逆和伪逆运算有一些快速算法可以利用。所以对于数据量小的回归问题，直接用解析解就可以快速的得到模型的参数。而对于数据挖掘，海量数据导致内存的开销巨大，这时候直接求解析解是不现实的。于是，在机器学习相关的教程里面，对于回归问题，描述的都是迭代算法。基于随机梯度下降的迭代算法的好处是，内存开销小。

3. 对开源softmax回归的一点解释

对深度学习的开源代码中有一段softmax的代码，下载链接如下：

https://github.com/yusugomori/DeepLearning

这个开源的代码是实现了深度网络的常见算法，包括c，c++，java，python等不同语言的版本。

softmax回归中有这样一段代码：

   void LogisticRegression_softmax(LogisticRegression *this, double *x) {int i;double max = 0.0;double sum = 0.0;for(i=0; i<this->n_out; i++) if(max < x[i]) max = x[i];for(i=0; i<this->n_out; i++) {x[i] = exp(x[i] - max);sum += x[i];}for(i=0; i<this->n_out; i++) x[i] /= sum;
}

乍一看这段代码，发现它和文献中对softmax模型中参数优化的迭代公式中是不一样！其实，如果没有那个求最大值的过程，直接取指数运算就一样的。而加一个求最大值的好处在于避免数据的绝对值过小，数据绝对值太小可能会导致计算一直停留在零而无法进行。就像对数似然函数，似然函数取对数防止概率过小一样。

逻辑回归与softmax回归相关推荐

Logistic and Softmax Regression (逻辑回归和Softmax回归)
1．简介逻辑回归和Softmax回归是两个基础的分类模型,虽然听名字以为是回归模型,但实际我觉得他们也有一定的关系.逻辑回归,Softmax回归以及线性回归都是基于线性模型,它们固定的非线性的基函 ...
Scikit-Learn 机器学习笔记 -- 线性回归、逻辑回归、softmax回归
Scikit-Learn 机器学习笔记 – 线性回归.逻辑回归.softmax回归参考文档: handson-ml import numpy as np from matplotlib import ...
softmax分类器_[ML] 逻辑回归与 Softmax 回归
Logistic Regression (LR) 译为逻辑回归,但实际上这是一种分类模型(二分类或多分类).下面精要地把模型中的核心概念.推导梳理一下.本文主要内容如下: 逻辑回归的概率模型逻辑回归 ...
【机器学习】对数线性模型之Logistic回归、SoftMax回归和最大熵模型
来源 | AI小白入门作者 | 文杰编辑 | yuquanle 完整代码见:原文链接 1. Logistic回归分类问题可以看作是在回归函数上的一个分类.一般情况下定义二值函数,然而二值函数 ...
生成模型 VS. 判别模型 Logistic 回归 VS. Softmax 回归
生成模型 VS. 判别模型从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi. 生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布. ...
线性回归、Logistic回归和softmax回归
区别: (1)输出:线性回归的输出是一个数值,适用于回归问题,如房屋预测价格.气温.销售额. logistic回归.softmax的输出是一个标签,适用于分类问题,如图像分类等. (2)支持类别:Lo ...
Logistic 回归与 Softmax 回归在解决二分类问题的区别
Logistic 回归与 Softmax 回归在解决二分类问题的区别在学习邱锡鹏老师的<神经网络与深度学习>的Softmax回归时,他在最后提出了此问题. 久经思考后,没想出来有什么区别 ...
Logistic回归与Softmax回归
Logistic回归和Softmax回归属于机器学习和深度学习中比较经典和基础的两个算法,许多优秀的模型中都使用到了这两个算法.所以这周打算整理和介绍一下Logistic回归和Softmax回归. 线 ...
Logistic回归与Softmax回归比较
Logistic回归与Softmax回归比较在机器学习中,Logistic回归和Softmax回归都是常见的分类算法.它们在很多方面都有相似之处,但也存在一些不同之处.本文将介绍这两种模型的区别,并 ...

逻辑回归与softmax回归

逻辑回归与softmax回归相关推荐

最新文章

热门文章