逻辑回归模型（一）——数学模型

2024-06-11 16:03:33

学习李航的《统计学习算法》,今天周三，这周任务之一完成逻辑回归模型的博文记录。

逻辑回归（Logistic Regression）属于分类方法（classification）。逻辑回归与最大熵模型（maximum entropy）都属于对苏线性模型。

【逻辑回归模型】

【逻辑分布】

X连续随机变量，服从逻辑分布是指：

分布函数（1.1）

密度函数（1.2）

如图所示，F（x）为sigmoid函数，(即S形函数)，以为中心对称，即

【二项逻辑回归模型】

二项逻辑回归模型（binomial logistic regression），一种分类模型，由条件概率分布表示。

其中，Y取值为0,1；X取值为实数。

条件概率分布如下：

（1.3）

（1.4）

其中，为输入。为输出。w为权值向量，b为偏置。

基本分类方法为，按照（1.3）（1.4）分别计算出输入对应的，的概率值，将x分类到概率较大的一方。

【注】为方便书写和计算，将权值向量和输入向量加以扩充，仍记作w,x，即

相应的模型变为：

时间发生的几率（odds）为事件发生的概率与事件没有发生的概率的比值。

假设发生概率为p，没有发生为1-p，则几率为 .

对数几率（log odds）或logit函数为

对于逻辑回归，。演算如下图:

【模型参数估计】

给定训练数据集 ,

设 ,

似然函数：

对数似然函数:

对L（w）求极大值，得到w的估计值。将问题变为以对数似然函数为目标的最优化问题。

假设得到的w的极大似然估计值为,则得到逻辑回归模型为

逻辑回归模型（一）——数学模型相关推荐

上可以替代mobaxterm_电能替代 | 基于逻辑回归模型的电能替代用户辨识研究
[抢先看]<浙江电力>2020年第1期目录及重点关注文章 [抢先看]<浙江电力>2020年第2期目录及重点关注文章征文 |"储能技术规模化应用技术"专题征 ...
推荐算法之逻辑回归模型族
目录 1.协同过滤算法族的不足 2.逻辑回归算法 3.Poly2算法 4.FM算法 5.FFM 1.协同过滤算法族的不足之前的协同过滤算法族局限在于,它仅仅关注用户与物品的交互信息(受限于共现矩阵) ...
从原理到代码，轻松深入逻辑回归模型！
整理 | Jane 出品 | AI科技大本营(ID:rgznai100) [导语]学习逻辑回归模型,今天的内容轻松带你从0到100!阿里巴巴达摩院算法专家.阿里巴巴技术发展专家.阿里巴巴数据架构师联合 ...
R语言分类模型：逻辑回归模型LR、决策树DT、推理决策树CDT、随机森林RF、支持向量机SVM、Rattle可视化界面数据挖掘、分类模型评估指标（准确度、敏感度、特异度、PPV、NPV）
R语言分类模型:逻辑回归模型LR.决策树DT.推理决策树CDT.随机森林RF.支持向量机SVM.Rattle可视化界面数据挖掘.分类模型评估指标(准确度.敏感度.特异度.PPV.NPV) 目录
R语言使用R基础安装中的glm函数构建乳腺癌二分类预测逻辑回归模型、分类预测器（分类变量）被自动替换为一组虚拟编码变量、summary函数查看检查模型、使用table函数计算混淆矩阵评估分类模型性能
R语言使用R基础安装中的glm函数构建乳腺癌二分类预测逻辑回归模型(Logistic regression).分类预测器(分类变量)被自动替换为一组虚拟编码变量.summary函数查看检查模型.使用t ...
R语言glm拟合logistic回归模型实战：基于glm构建逻辑回归模型及模型系数统计显著性分析、每个预测因子对响应变量的贡献
R语言glm拟合logistic回归模型实战:基于glm构建逻辑回归模型及模型系数统计显著性分析.每个预测因子对响应变量的贡献目录
r语言logistic回归_R语言多分类logistic逻辑回归模型在混合分布模拟单个风险损失值评估的应用...
原文链接 :http://tecdat.cn/?p=14017tecdat.cn 通常,我们在回归模型中一直说的一句话是" 请查看一下数据 ". 在上一篇文章中,我们没有查看数据 ...
机器学习入门｜快速掌握逻辑回归模型
http://blog.itpub.net/29829936/viewspace-2558236/ 2019-01-14 17:30:19 主要内容: 一.逻辑回归的原理二.极大似然估计三.逻辑回 ...
用逻辑回归模型解决互联网金融信用风险问题
逻辑回归(Logistic Regression) 针对因变量为分类变量而进行回归分析的一种统计方法,属于概率型非线性回归. 优点:算法易于实现和部署,执行效率和准确度高: 缺点:离散型的自变量数据需 ...

最新文章

热门文章