机器学习第三周

一、逻辑回归
- 1. 分类问题
- - 1.1 分类的概念
  - 1.2 使用线性回归来解决分类模型
  - 1.3 逻辑回归模型
  - 1.4 分类边界
- 2. 逻辑回归模型 logistic regression
- - 2.1 代价函数
  - 2.2 梯度下降
  - 2.3 高级优化方法
- 3. 多类别分类：一对多
二、正则化
- 1. 过拟合问题
- 2. 修改代价函数实现正则化
- 3. 正则化线性回归
- 4. 正则化逻辑回归

一、逻辑回归

1. 分类问题

在监督学习的分类中，我们了解到有回归问题和分类问题。回归问题我们采用线性回归和梯度下降算法进行求解，我们在之前已经进行过学习。在分类问题中，要预测的变量 y 为离散的值。我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用的一种分类算法。

1.1 分类的概念

先来谈谈二分类问题。课程中先给出了几个例子。

邮件是垃圾邮件还是非垃圾邮件；
网上交易是的欺骗性（Y or N）；
肿瘤是恶性的还是良性的。
对于这些问题，我们可以通过输出值y ϵ {0, 1} 来表示。
注意：分类结果是离散值，这是分类的根本特点。

1.2 使用线性回归来解决分类模型

我们将因变量(dependant variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class），则因变量，其中 0 表示负向类，1 表示正向类。
如果我们使用线性回归进行分类模型的求解，y的取值只有0和1，训练集画出来如下图所示，我们用线性回归得到粉色直线，如果认为模拟直线的取值小于0.5时则预测值就为0，如果模拟直线的取值大于0.5时预测值就为1，感觉还不错。但是将圆圈中点加入后，线性回归得到的蓝色直线，就显得不是很完美了。并且我们知道所有得到的预测值要是0或者1，经过线性回归求解得到大量的小于0和大于1的数据，所以经过大量的实验证明，线性回归不适合这种训练集。

所以我们在接下来的要研究的算法就叫做逻辑回归算法，这个算法的性质是：它的输出值永远在 0 到 1 之间。

1.3 逻辑回归模型

我们引入一个新的模型，逻辑回归，该模型的输出变量范围始终在 0 和 1 之间。逻辑回归模型的假设是： ℎ

吴恩达机器学习3——逻辑回归、正则化相关推荐

吴恩达机器学习之逻辑回归(二分类)
吴恩达机器学习之逻辑回归逻辑回归二分类逻辑回归二分类逻辑回归案例 python代码实现(含详细代码注释): 案例中几个问题的解析不同于线性回归,逻辑回归的hθ(x)还需要用sigmoid函数处 ...
吴恩达机器学习ex2:逻辑回归
吴恩达机器学习练习二:逻辑回归 1. 逻辑回归(logistic regression) 构建一个可以基于两次测试评分来评估录取可能性的分类模型. 知识点回顾: 1.1 数据可视化 #coding=u ...
吴恩达机器学习之逻辑回归：逻辑回归的假说表示、判定边界、代价函数、简化的成本函数和梯度下降、高级悠哈、多类别分类之一对多（详细笔记，建议收藏，已有专栏）
吴恩达机器学习栏目清单专栏直达:https://blog.csdn.net/qq_35456045/category_9762715.html 文章目录 6.逻辑回归(Logistic Regres ...
吴恩达机器学习CS229A_EX2_逻辑回归与正则化_Python3
逻辑回归问题描述:特征集为学生的两门课的成绩,标签集为是否被大学录取. 说明: 这里调用 scipy 库函数执行梯度下降的具体迭代,不用手动设置步长和迭代次数,但 cost 如何计算.梯度如何求取需 ...
吴恩达机器学习：逻辑回归
在上一周的课程里,Andrew Ng 为我们介绍了什么是机器学习以及监督学习中的线性回归.对于一个监督学习,我们要确定我们的预测函数,代价函数,然后利用梯度下降算法找到代价函数最小时,预测函 ...
吴恩达机器学习 4.逻辑回归（Logistic Regression）
1.分类问题在分类问题中,你要预测的变量yyy是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法.在分类问题中,我们尝 ...
吴恩达机器学习之逻辑回归理论部分
一.特征函数对应分类问题,我们先针对二分类问题进行讨论,对应计算机而言,分类即将数据按其特征值不同分为不同的集合,仅对应二分类问题,我们只需考虑分为:正类和负类,为此我们引入特征函数. y=1 - ...
吴恩达机器学习(五)逻辑回归练习-二分类练习
1.基础内容 (1)公式总结: (2)内容回归: 逻辑回归主要是进行二分类和多分类. 二分类中,分为线性可分和线性不可分. 对于线性回归模型,我们定义的代价函数是所有模型误差的平方和.理论上来说,我们 ...
吴恩达机器学习作业——逻辑回归
1 Logistic regression 在这部分的练习中,你将建立一个逻辑回归模型来预测一个学生是否能进入大学.假设你是一所大学的行政管理人员,你想根据两门考试的结果,来决定每个申请人是否被录取. ...

吴恩达机器学习3——逻辑回归、正则化