六、逻辑回归

逻辑回归：Logistic Regression，一种广义的线性回归，其因变量可以是二分类的；

~~~~~~ 如果直接对二分类问题应用线性回归，效果并不理想，因为线性回归输出的是离散值，而不是一个用于分类的0，1值；

~~~~~~ 二分类问题的结果只可能有两种，y=0 or 1，而我们线性回归的h_θ(x)能够取到一些无法确定的值，比如>1 or <0；所以，必须要有一个以用于二分类问题的 Logistic 回归算法，使h_θ(x)的取值在 [0,1] 中，Logistic算法专门用于解决分类问题；

6.1 Sigmoid 函数

使用Sigmoid函数将h_θ(x)输出的离散值转化成 [0,1] 范围；

6.2 决策边界

6.2.1 线性决策边界

Decision Boundary

只要θ^Tx>=0，即x₀+θ₁x₁+θ₂x₂>=0，那么h_θ(x)>=0.5；

6.2.2 非线性决策边界

6.3 代价函数

~~~~~~ 逻辑回归的代价函数和线性回归的有所不同，因为它由sigmoid函数，是一个非线性函数，所以会遇到很多个局部最优解；

引入逻辑回归中代价函数的惩罚机制；

这是一个样本的惩罚，而cost函数返回每个样本平均得到的惩罚，它会是一个凸函数，不存在局部最优解；

简化代价函数与梯度下降:
对分段函数做出变换：

这个代价函数是从统计学中的极大似然法中得到的，它是凸函数，一般会选择它作为逻辑回归的代价函数；

6.4 高级优化

Conjugate gradient
BFGS
L-BFGS

不需要选择学习率；收敛速度远快于梯度下降；同时也更复杂；

6.5 多类别分类

一对多的分类算法；
多分类 -> 多个二分类；

每个分类器都针对其中的一种情况进行训练；
比如：

~~~~~~ 最后输入x，选择三个分类器中可信度最高，效果最好的那个分类器，无论i值为多少我们都能得到一个较好的值，所预测的y值就是这个值；

吴恩达《机器学习》第六章：逻辑回归相关推荐

逻辑回归python sigmoid(z)_python实现吴恩达机器学习练习2（逻辑回归）-data1
python实现吴恩达机器学习练习2(逻辑回归)-data1 这篇是第一个数据集:这部分练习中,你将建立一个预测学生是否被大学录取的逻辑回归模型. 假如一所大学会每个报名学生进行两项入学考试,根据两项 ...
吴恩达机器学习（四）逻辑回归（二分类与多分类）
目录 0. 前言 1. 假设函数(Hypothesis) 2. 决策边界(Decision Boundary) 3. 代价函数(Cost Funciton) 4. 梯度下降(Gradient Desc ...
吴恩达机器学习作业2：逻辑回归（Python实现）
逻辑回归在训练的初始阶段,将要构建一个逻辑回归模型来预测,某个学生是否被大学录取.设想你是大学相关部分的管理者,想通过申请学生两次测试的评分,来决定他们是否被录取.现在你拥有之前申请学生的可以用于训 ...
吴恩达机器学习第二次作业——逻辑回归
逻辑回归一.逻辑回归 1,数据可视化 2,sigmoid函数,逻辑回归模型 3,代价函数以及梯度 4,评价逻辑回归二.正规化逻辑回归 1,数据可视化 2,特征映射(Feature Mapping) ...
吴恩达机器学习笔记三之逻辑回归
本节目录: 分类问题假说表示判定边界代价函数高级优化多类别分类 1.分类问题在分类问题中,我们尝试预测的是结果是否属于某一个类(例如正确或错误).分类问题的例子有:判断一封电子邮件是否是 ...
python第六周实验_机器学习 | 吴恩达机器学习第六周编程作业(Python版）
实验指导书下载密码:ovyt 本篇博客主要讲解,吴恩达机器学习第六周的编程作业,作业内容主要是实现一个正则化的线性回归算法,涉及本周讲的模型选择问题,绘制学习曲线判断高偏差/高方差问题.原始实 ...
机器学习 | 吴恩达机器学习第六周编程作业(Python版）
实验指导书下载密码:ovyt 本篇博客主要讲解,吴恩达机器学习第六周的编程作业,作业内容主要是实现一个正则化的线性回归算法,涉及本周讲的模型选择问题,绘制学习曲线判断高偏差/高方差问题.原始实 ...
2.吴恩达机器学习课程-作业2-逻辑回归
fork了别人的项目,自己重新填写,我的代码如下 https://gitee.com/fakerlove/machine-learning/tree/master/code 代码原链接文章目录 2. ...
1. 吴恩达机器学习课程-作业1-线性回归
fork了别人的项目,自己重新填写,我的代码如下 https://gitee.com/fakerlove/machine-learning/tree/master/code 代码原链接文章目录 1. ...
吴恩达机器学习（六）神经网络（前向传播）
目录 0. 前言 1. 神经网络模型 2. 前向传播(forward propagation) 3. 神经网络中的多分类学习完吴恩达老师机器学习课程的神经网络,简单的做个笔记.文中部分描述属于个人消 ...

吴恩达《机器学习》第六章：逻辑回归

文章目录