logistic回归和softmax回归
logistic回归
在 logistic 回归中,我们的训练集由 个已标记的样本构成:。由于 logistic 回归是针对二分类问题的,因此类标记 。
假设函数(hypothesis function):
代价函数(损失函数):
我们的目标是训练模型参数,使其能够最小化代价函数。
假设函数就相当于我们在线性回归中要拟合的直线函数。
softmax回归
在 softmax回归中,我们的训练集由 个已标记的样本构成:。由于softmax回归是针对多分类问题(相对于 logistic 回归针对二分类问题),因此类标记 可以取 个不同的值(而不是 2 个)。我们有 。
对于给定的测试输入 ,我们想用假设函数针对每一个类别j估算出概率值 。也就是说,我们想估计 的每一种分类结果出现的概率。因此,我们的假设函数将要输出一个 维的向量(向量元素的和为1)来表示这 个估计的概率值。 具体地说,我们的假设函数 形式如下:
- 假设函数:
- 其中 是模型的参数。请注意 这一项对概率分布进行归一化,使得所有概率之和为 1 。
-
为了方便起见,我们同样使用符号 来表示全部的模型参数。在实现Softmax回归时,将 用一个 的矩阵来表示会很方便,该矩阵是将 按行罗列起来得到的,如下所示:
也就是说表示的是x属于不同类别的概率组成的向量。
- 代价函数:
-
是示性函数,其取值规则为
值为真的表达式
值得注意的是,logistic回归代价函数是softmax代价函数的特殊情况。因此,logistic回归代价函数可以改为:
- 一点个人理解:
-
为什么二分类中参数只有一个,而k分类中参数却有k个。
-
其实二分类中的是y=1情况下的参数,而y=0情况下其实未给出参数,因为y=0的假设函数值可以通过1-(y=1的假设函数值)得到。同理,k分类中参数其实只需要k-1个参数就可以了,多余的一个参数是冗余的。
具体冗余参数有什么负面影响,参考Softmax回归 http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
logistic回归和softmax回归相关推荐
- Logistic and Softmax Regression (逻辑回归和Softmax回归)
1. 简介 逻辑回归和Softmax回归是两个基础的分类模型,虽然听名字以为是回归模型,但实际我觉得他们也有一定的关系.逻辑回归,Softmax回归以及线性回归都是基于线性模型,它们固定的非线性的基函 ...
- 【机器学习】对数线性模型之Logistic回归、SoftMax回归和最大熵模型
来源 | AI小白入门 作者 | 文杰 编辑 | yuquanle 完整代码见:原文链接 1. Logistic回归 分类问题可以看作是在回归函数上的一个分类.一般情况下定义二值函数,然而二值函数 ...
- Logistic 回归与 Softmax 回归在解决二分类问题的区别
Logistic 回归与 Softmax 回归在解决二分类问题的区别 在学习邱锡鹏老师的<神经网络与深度学习>的Softmax回归时,他在最后提出了此问题. 久经思考后,没想出来有什么区别 ...
- 生成模型 VS. 判别模型 Logistic 回归 VS. Softmax 回归
生成模型 VS. 判别模型 从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi. 生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布. ...
- 线性回归、Logistic回归和softmax回归
区别: (1)输出:线性回归的输出是一个数值,适用于回归问题,如房屋预测价格.气温.销售额. logistic回归.softmax的输出是一个标签,适用于分类问题,如图像分类等. (2)支持类别:Lo ...
- Logistic回归与Softmax回归
Logistic回归和Softmax回归属于机器学习和深度学习中比较经典和基础的两个算法,许多优秀的模型中都使用到了这两个算法.所以这周打算整理和介绍一下Logistic回归和Softmax回归. 线 ...
- Logistic回归与Softmax回归比较
Logistic回归与Softmax回归比较 在机器学习中,Logistic回归和Softmax回归都是常见的分类算法.它们在很多方面都有相似之处,但也存在一些不同之处.本文将介绍这两种模型的区别,并 ...
- 机器学习--logistic回归和softmax回归
logistic回归和softmax回归放在一起总结一下,其实softmax就是logistic的推广,logistic一般用于二分类,而softmax是多分类. logistic回归虽然也是叫回归, ...
- Scikit-Learn 机器学习笔记 -- 线性回归、逻辑回归、softmax回归
Scikit-Learn 机器学习笔记 – 线性回归.逻辑回归.softmax回归 参考文档: handson-ml import numpy as np from matplotlib import ...
最新文章
- mysql 查询实体_mysql – 如何优化实体框架查询
- POJ2985 The k-th Largest Group(平衡树查询第K大)
- 教你制作可以随身携带的FreeBSD系统[转]
- 2/2 pymysql:基础操作总结
- 服务器主板装w7系统死机,解决win7安装过程死机现象有一招
- Spring5 jar包下载
- 基础【循环】-----(枚举器)------(转)
- ldirectord实现高可用负载集群
- Java基础语法面试题汇总
- 计算机上的符号在哪找,像w的那个符号在哪里可以找到?word文档
- 将Linux 标准输出,错误输出重定向到文件
- 内网穿透的作用 免费内网穿透有哪些 可以用来干什么
- PyTorch安装教程(带图文)
- B站直播的自研P2P实践 | 助力S12英雄联盟总决赛
- apache服务器wind 下载,安装及部署
- ceph osd slow ops 检测
- 接口测试有那些工具,他们的优劣势?
- html网页制作实习,我的网页制作实训报告
- Django基础之MVT
- Sublime Text 2 - 性感无比的代码编辑器!(推荐阅读)
热门文章
- Python应用篇——词频统计
- @UPC8377 @ACM-ICPC-2018-ASIA YOKAHAMA REGIONAL D: Playoff (DFS)
- KTV连锁加盟品牌宝乐迪,线上鼓风,线下起浪,再掀全国娱乐风暴
- 精确率、召回率、F1 值、ROC、AUC等分类模型评价指标含义与作用详解
- 手把手教你用Python调用SCIP求解最优化模型
- adobe photoshop cs5 sn
- 微信小程序商城系列之购物车
- (废话速攻流)网络支付与结算读书笔记4:电子资金转账系统EFT
- 员工(人才),留得住是因为本身就留得住;留不住的,你永远留不住
- 使用Chrome模拟手机app打开页面