吴恩达机器学习之逻辑回归理论部分
一.特征函数
对应分类问题,我们先针对二分类问题进行讨论,对应计算机而言,分类即将数据按其特征值不同分为不同的集合,仅对应二分类问题,我们只需考虑分为:正类和负类,为此我们引入特征函数。
y=1 — 代表二分类中的正类
y=0 — 代表二分类中的反类
这是特殊函数在集合意义上的理解,如果换成概率角度上的理解呢?
对应二分类问题(监督学习),我们如果设置一个标准值,按照NG的说法设置为1(正类),那么特征函数可以这样理解:y=1 — 代表二分类中的正类出现的概率为100%(必然事件)
y=0 — 代表二分类中的正类出现的概率为0(不可能事件)
注意:这里的y是指训练集中的数据,是给定值并非模型预测值
二.逻辑回归函数(sigmoid函数)
特征函数的引入是对于训练集内数据分类的描述标准,那么,对于模型预测值我们又应该以什么样的标准来衡量呢?
为此,我们引入sigmoid函数:
接下来我们来分析这个函数的作用:
这个函数是将g(z)的范围压缩至【0,1】区间内,我们知道,在线性回归算法中,假设函数被定义为 此时假设函数的取值范围可以为在二分类中,输出 y 的取值只能为 0 或者 1,
在之外包裹一层 Sigmoid 函数,使之取值范围属于 (0,1)
这样我们就能从概率的角度来衡量得出的模型预测值h(x)了,其意义便是通过以训练好的模型预测出此组数据为正类的概率:
对应得到此组数据为负类的概率P(y=0|x;θ) = 1-h(x)
三. 决策边界(Decision Boundary)
根据以上假设函数表示概率,我们可以推得:
θ’x>=0
θ’x<0
由此可得出决策边界
注意:决策边界不是训练集的属性,而是假设本身及其参数的属性,训练集的作用是用来拟合参数
四.代价函数工作原理及其形式简化
以上是决策边界引入上的理论基础。既然决策边界已经选好,那么,如何通过训练集来拟合出决策边界(拟合参数θ)呢?
这里我们引入代价函数作为参数拟合好坏的衡量依据。
如果按照之前线性回归的思路,代价函数应该写成这样:
但是要注意这里的h(x)与线性回归不同,逻辑回归的h(x)是在线性回归的θ’X的基础上包裹了一层sigmoid函数,这导致上式的代价函数是一个非凸函数。要知道对于非凸函数,如果对其使用梯度下降只能得到局部最小,不能得到全局收敛,因此,需要对此函数进行凸优化。
以下是优化后得出的代价函数:
我们分析其工作原理:
- 当y=1时:
- 当y=0时:
函数意义:
以上是对代价函数工作原理的分析,下面是其简化形式:
其向量化形式如下:
五.梯度下降实现:
以下是其推导过程:
到此为止,我们介绍完了二分类的理论部分,接下来我们进行多分类部分的讲解。
多分类(一对多——一对余)
对于多分类问题,我们有多个特征函数值,一组数据我们也会得出多个预测值(对于每一类的概率预测)
既然我们会得到对于每一类的概率预测,那么,每一个预测值的背后不就是一个一对余的二分类问题。
以三分类为例:
由此,我们得出了多组预测值,现在我们的问题是应该选取哪一个预测值作为最终预测结果呢?
应该选择所有二分类器得出的预测值中的最大值:
为何如此呢?
因为上面的例子中,二分类器是一个线性分类器,那么我们便以此为例,来分析这样一个问题:
以上便是逻辑回归的主体理论部分,关于正则化优化的部分,我会在下一篇文章进行详细介绍。
吴恩达机器学习之逻辑回归理论部分相关推荐
- 吴恩达机器学习之逻辑回归(二分类)
吴恩达机器学习之逻辑回归 逻辑回归 二分类逻辑回归 二分类逻辑回归案例 python代码实现(含详细代码注释): 案例中几个问题的解析 不同于线性回归,逻辑回归的hθ(x)还需要用sigmoid函数处 ...
- 吴恩达机器学习ex2:逻辑回归
吴恩达机器学习练习二:逻辑回归 1. 逻辑回归(logistic regression) 构建一个可以基于两次测试评分来评估录取可能性的分类模型. 知识点回顾: 1.1 数据可视化 #coding=u ...
- 吴恩达机器学习之逻辑回归:逻辑回归的假说表示、判定边界、代价函数、简化的成本函数和梯度下降、高级悠哈、多类别分类之一对多(详细笔记,建议收藏,已有专栏)
吴恩达机器学习栏目清单 专栏直达:https://blog.csdn.net/qq_35456045/category_9762715.html 文章目录 6.逻辑回归(Logistic Regres ...
- 吴恩达机器学习:逻辑回归
在 上一周的课程 里,Andrew Ng 为我们介绍了什么是机器学习以及监督学习中的线性回归.对于一个监督学习,我们要确定我们的 预测函数,代价函数,然后利用梯度下降算法找到 代价函数 最小时,预测函 ...
- 吴恩达机器学习 4.逻辑回归(Logistic Regression)
1.分类问题 在分类问题中,你要预测的变量yyy是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法.在分类问题中,我们尝 ...
- 吴恩达机器学习3——逻辑回归、正则化
机器学习第三周 一.逻辑回归 1. 分类问题 1.1 分类的概念 1.2 使用线性回归来解决分类模型 1.3 逻辑回归模型 1.4 分类边界 2. 逻辑回归模型 logistic regression ...
- 吴恩达机器学习CS229A_EX2_逻辑回归与正则化_Python3
逻辑回归 问题描述:特征集为学生的两门课的成绩,标签集为是否被大学录取. 说明: 这里调用 scipy 库函数执行梯度下降的具体迭代,不用手动设置步长和迭代次数,但 cost 如何计算.梯度如何求取需 ...
- 吴恩达机器学习(五)逻辑回归练习-二分类练习
1.基础内容 (1)公式总结: (2)内容回归: 逻辑回归主要是进行二分类和多分类. 二分类中,分为线性可分和线性不可分. 对于线性回归模型,我们定义的代价函数是所有模型误差的平方和.理论上来说,我们 ...
- 吴恩达机器学习作业——逻辑回归
1 Logistic regression 在这部分的练习中,你将建立一个逻辑回归模型来预测一个学生是否能进入大学.假设你是一所大学的行政管理人员,你想根据两门考试的结果,来决定每个申请人是否被录取. ...
最新文章
- 各种 Optimizer 梯度下降优化算法回顾和总结
- c语言程序设计指针进阶,C语言及程序设计进阶例程-15 指向结构体的指针
- centos部署python flask_python 微服务框架之nameko实践
- 12123选牌漏洞_12123选牌漏洞是什么?新车牌号自编自选技巧
- C语言 main 函数参数 main(int argc, char *argv[]) - C语言零基础入门教程
- 匿名内部类编译时生成多个class文件
- Excel如何利用条件格式找出数据区域中最大的几项
- 【原创】关于nginx.pid丢失的解决办法
- java中queue的使用
- Android实现在线阅读PDF文件
- Onvif协议及协议测试工具使用详解
- Quartus II 13.1的安装及使用
- 基于simulink的Active anti-islanding-AFD主动反孤岛模型仿真
- 【unity 】第一人称角色控制器手机虚拟双摇杆
- MySQL基础 创建学生表实现查询基础功能
- bugfix: 待机休眠arm电压保持在1.2v(希望降到1v)
- WebGL入门(二十)-三维视图通过透视投影矩阵创建远小近大的两排三角形
- android fragment相机,简单的易于集成的Android相机Fragment – Camer...
- 如何根据k线数据绘制k线图
- 正则表达式,Math类,System类,日期日历对象
热门文章
- java中Long的比较
- SpringMVC 入门示例讲解
- LoadRunner - 实战,转发
- WCF技术剖析之六:为什么在基于ASP.NET应用寄宿(Hosting)下配置的BaseAddress无效...
- struts2漏洞修复
- 关于卸载vmwave虚拟机后键盘不能输入的问题
- 互利网上数字金融典型场景: 网购运费险
- Idea java 程序打jar包(maven)
- 【转】火星坐标、百度坐标、WGS-84坐标相互转换及墨卡托投影坐标转经纬度JavaScript版...
- Xpath路径表达式