Logistic Regression具备算法复杂度低，容易实现等特点，常用于二分类问题。但是在多分类问题中，就显得力不从心了。Softmax Regression 实际是Logistic Regression算法在多分类问题上的推广。其核心在于任意两个类直接是线性可分的。

1. Softmax Regression 模型

假设有m个训练样本和k个类别标签，描述如下：

利用θ表示学习模型的参数，对于每一个样本，估计其所属的类别概率为：

2. Softmax Regression损失函数与求解

类似于logistic regression回归损失函数设计，softmax regression损失函数如下所示：

对于上面的损失函数，可以采用梯度下降算法进行求解。首先计算损失函数的梯度：

所以，参数θ的更新公式为：

3. Softmax regression和Logistic regression的关系

Softmax regression回归器中存在FxK个待学习的参量。其中，F指特征分量的个数；K指所属的类别数目。实际应用中，FxK未知参数矩阵存在参数冗杂的问题。证明如下：

通过上面分析，我们可以发现，从未知参量矩阵中减去向量，模型的预测结果并没有发生改变。因此，softmax regression参数矩阵中存在冗余参数。

下面利用Soft regression推导Logistic regression.当k=2时，softmax regression算法的假设函数为：

利用softmax regression参数冗杂的特点，令△=θ1，从两个向量中都减去这个向量：

通过上式，我们可以发现，LR就是SR的一种特例。

[原理篇] Soft Regression相关推荐

Faster RCNN原理篇（一）——Bounding-Box Regression边界框回归的学习和理解
Bounding-Box Regression边界框回归的学习和理解引言 1. (Why?)为何要做边框回归? 2. (What?)什么是边框回归? 3. (How?)如何实现边框回归? 4. 边框 ...
《CDN 之我见》系列二：原理篇（缓存、安全）
2019独角兽企业重金招聘Python工程师标准>>> <CDN之我见>共由三个篇章组成,分为原理篇.详解篇和陨坑篇.本篇章适合那些从未接触过.或仅了解一些 CDN 专业 ...
检查压缩包是否损坏_修复损坏的gzip压缩文件之原理篇
接修复损坏的gzip压缩文件之原理篇,再次引用GZIP结构图: 已知修复一个损坏的gzip文件的关键环节在于找到下一个正常压缩包的起始点.根据结构图中的信息可知,每个压缩包的开始结构中有是否到达尾部标 ...
Tomcat 原理篇
TOMCAT 原理篇一.Tomcat 组成(Tomcat 由以下组件组成) 1.server a) Server是一个Catalina Servlet容器: b) Server 可以包含一个或多个s ...
React Native JSBundle拆包之原理篇
概述 RN作为一款非常优秀的移动端跨平台开发框架,在近几年得到众多开发者的认可.纵观现在接入RN的大厂,如qq音乐.菜鸟.去哪儿,无疑不是将RN作为重点技术栈进行研发. 不过,熟悉RN的开发者也知道, ...
通过“四大行为”对WCF的扩展[原理篇]
整个WCF框架由两个基本的层次构成,即服务模型层和信道层.对信道层的扩展主要通过针对绑定的扩展实现,具体来说就是自定义绑定元素,以及相关的信道管理器(信道监听器和信道工厂).信道来改变对消息的处理和传 ...
《CDN 之我见》原理篇——CDN的由来与调度
2019独角兽企业重金招聘Python工程师标准>>> CDN是将源站内容分发至全国所有的节点,从而缩短用户查看对象的延迟,提高用户访问网站的响应速度与网站的可用性的技术.它能够有效 ...
原理篇 | 推荐系统之矩阵分解模型
导语:本系列文章一共有三篇,分别是 <科普篇 | 推荐系统之矩阵分解模型> <原理篇 | 推荐系统之矩阵分解模型> <实践篇 | 推荐系统之矩阵分解模型> 第一篇用 ...
Kubernetes应用部署模型解析（原理篇）
2019独角兽企业重金招聘Python工程师标准>>> Kubernetes应用部署模型解析(原理篇) 博客分类: Kubernetes [编者按]Kubernetes可用来管理Li ...

[原理篇] Soft Regression

1. Softmax Regression 模型

2. Softmax Regression损失函数与求解

3. Softmax regression和Logistic regression的关系

[原理篇] Soft Regression相关推荐

最新文章

热门文章