logistic回归简介_从零实现机器学习算法（四）Logistic回归

2024-04-10 17:38:05

1. Logistic回归简介

Logistic回归是统计学中的经典分类算法，其原理为计算Logistic分布下的条件概率

选择条件概率大的一方为预测类别。以二分类为例，二项Logistic回归模型的条件概率为：

其中

分别为权重和偏置。为了方便起见，将权值向量和偏置向量扩充，即

此时二项Logistic回归模型为：

2. Logistic回归模型

Logistic回归模型包括参数估计，优化算法和分类规则

参数估计

采用极大似然估计来估计模型参数，假设

其中

其中

就是sigmoid函数。

似然函数为

其对数似然函数为：

优化算法

由于对似然函数求导无法获得解析解，要使得似然函数最大化，可以使用优化方法如梯度上升法，求出最高点，即

对似然函数求导有：

令导数为零解得

梯度上升法的代码如下

if

分类规则

Logistic回归模型使用sigmoid函数计算概率，其公式为

代码如下

def sigmoid(self, x, derivative=False):output = 1/(1 + np.exp(-x))if derivative:output = output * (1 - output)return output

3. 总结与分析

Logistic回归是一种比较简单的模型，这和单层感知机类似。Logistic回归的优化算法还可以使用随机梯度上升来环境梯度上升过程中的波动，此外梯度上升的步长也可以动态的变化以得到最好的参数。最后贴一下本文实现的Logistic回归与Sklearn检测性能的比较。

可以看出，这次两种算法差别不是很大。

本文相关代码和数据集：

https://github.com/Ryuk17/MachineLearninggithub.com

参考文献：

[1] 李航，统计学习方法

[2] Peter Harrington, Machine Learning IN ACTION

[3] 机器学习之logistic回归的梯度上升算法

[4] CS229: Machine Learning

logistic回归简介_从零实现机器学习算法（四）Logistic回归相关推荐

机器学习线性回归算法实验报告_从零实现机器学习算法（九）线性回归
1. 回归简介在客观世界中普遍存在着变量与变量之间的关系.变量之间的关系一般可以分为确定关系和不确定关系.确定关系是指变量之间的关系可以通过函数关系来表达.非确定关系即所谓的相关关系.而回归分析是研 ...
AI：人工智能领域算法思维导图集合之有监督学习/无监督学习/强化学习类型的具体算法简介(预测函数/优化目标/求解算法)、分类/回归/聚类/降维算法模型选择思路、11类机器学习算法详细分类之详细攻略
AI:人工智能领域算法思维导图集合之有监督学习/无监督学习/强化学习类型的具体算法简介(预测函数/优化目标/求解算法).分类/回归/聚类/降维算法模型选择思路.11类机器学习算法详细分类(决策树/贝叶 ...
机器学习算法 03 —— 逻辑回归算法(精确率和召回率、ROC曲线和AUC指标、过采样和欠采样)
文章目录系列文章逻辑回归 1 逻辑回归介绍 1.1 逻辑回归原理输入激活函数 1.2 损失以及优化 2 逻辑回归API介绍 3 案例:肿瘤良性恶性预测 4 分类模型的评估 4.1 分类评估方法 ...
【机器学习算法】Logistic回归分类算法
文章目录一.Logistic回归 1. 分类问题 2. Logistic函数 (1) 阶跃函数(不可导) (2)可导的阶跃函数二.Logistic回归的算法原理 1. 基本思路 2. 数学解析 ( ...
基于python的随机森林回归实现_从零实现回归随机森林
一.前言回归随机森林作为一种机器学习和数据分析领域常用且有效的算法,对其原理和代码实现过程的掌握是非常有必要的.为此,本文将着重介绍从零开始实现回归随机森林的过程,对于随机森林和决策树的相关理论原理 ...
python 回归去掉共线性_一文讲解机器学习算法中的共线性问题
多重共线性是使用线性回归算法时经常要面对的一个问题.在其他算法中,例如决策树和贝叶斯,前者的建模过程是逐步递进,每次拆分只有一个变量参与,这种建模机制含有抗多重共线性干扰的功能:后者干脆假定变量之间是 ...
数学推导+纯Python实现机器学习算法：逻辑回归
2019独角兽企业重金招聘Python工程师标准>>> 自本系列第一讲推出以来,得到了不少同学的反响和赞成,也有同学留言说最好能把数学推导部分写的详细点,笔者只能说尽力,因为打公式实 ...
python决策树代码解读_建模分析之机器学习算法（附pythonR代码）
0序随着移动互联和大数据的拓展越发觉得算法以及模型在设计和开发中的重要性.不管是现在接触比较多的安全产品还是大互联网公司经常提到的人工智能产品(甚至人类2045的的智能拐点时代).都基于算法及建模来 ...
深度学习算法和机器学习算法_是否可以使机器学习算法无需编码
深度学习算法和机器学习算法 I am a firm believer that the previous step to making your own Machine Learning Algori ...

最新文章

热门文章