学习目标：

完成对机器学习逻辑回归部分
完成习题
整理理论与编程题笔记

学习内容：

六、逻辑回归

6.1 分类问题Classification

二分类问题：通常结果有两种可能（0：negative class负类 1：positive class正类）通常情况下，负类表示不拥有，正类表示拥有（e.g.得肿瘤为正类，良性肿瘤负类），但是，0或1理论上是任意的，这种情况下，

多分类问题：y的取值会取多个值，

线性回归不适用于分类问题
因此引入逻辑回归（logistic regression）解决分类问题

6.2 假设陈述logistic regression

逻辑回归模型的值总是希望在0~1之间的：

逻辑回归模型：将线性回归模型作修改→
Sigmoid 函数/Logistic 函数

其中

他的值介于0~1之间，所以图像为：

当

6.3 决策界限 Decision Boundary

example1:

假设存在一个数据集，其假设函数为,并且参数假设已知

开始预测：当“”，即分类问题结果为正类，则所以当的时候，y=1

反之的时候，y=0，所以决策界限就是函数

决策边界是假设函数的一个属性，是假设本身及其参数的属性，不是数据集的属性
Example2

假设另一数据集，其假设函数为，多出了额外的两个变量（高阶多项式）。假设参数已知：

此时预测“”，即，反之，“y=0”，。所以决策边界为(半径为1，圆心为原点的圆)

6.4 代价函数 Cost Function

6.4.1 代价函数的导出过程

将线性回归的代价函数变化一下（1/2写到后面）

定义Cost函数

在逻辑回归中用线性回归的代价函数，会导致代价函数图像为非凸函数，把梯度下降法用在这样一个函数上，不能保证收敛到全局最小值。

我们希望在逻辑回归中，代价函数图像为凸函数，这样可以保证梯度下降法会收敛到该函数的全局最小值。

6.4.2 逻辑回归代价函数

为预测值、为真实的标签值

当y=1时,即真实值为1，若预测值为0，与真实值差距较大，所以趋于无穷，说明代价函数值大；若预测值为1，与真实值差距为0，预测准确，趋于0，说明代价小。故，图像如图：

当y=0时，即真实值为0，则代价函数图像应该与y=1使图像相反。

6.5 简化代价函数与梯度下降

逻辑回归整体代价函数

(y总是等于1或者0)

将Cost函数中的两个式子合并为一个

若y=1，则1-y=0，后半部分式子等于0

若y=0,则式子的前半部分等于0

进而得到

找出让取得最小值得参数(最终要求的)
最小化代价函数的方法——梯度下降

 反复更新每个参数

将代价函数的偏导数求出来，代入：

与线性回归不同的是，逻辑回归的代价函数中得预测函数不同，即

用拟合训练样本的参数来输出预测

6.6 高级优化Advanced Optimization

利用一些高级算法，更快得出结果。

6.7 多元分类：一对多

例如：将邮件分类到多个不同类别的文件夹（工作的y=1、朋友的y=2、家人发的y=3、爱好y=4）

诊断流鼻涕得病人病情：他没病y=1、他着凉了y=2、他流感了y=3

机器学习预测天气：晴天y=1、多云y=2、下雨y=3、下雪y=4

多元分类得预测图像（三个形状，三种类别）

一对多分类的原理

假设有一个训练集如图所示，其包含三个类别，三角形表示=1，矩形表示y=2，叉表示y=3

方法：将训练集转化为三个独立的二元分类问题

①类别一三角形

创建一个“伪”训练集，使类别二和类别三都为负类，只有类别一为正类（）,设三角形为1，圆形为0，这样就又变为一个二元分类问题了，也就可以得出决策界限。

同理对类别二，类别三，都可以这样拟合逻辑回归分类器，分别得到

最后需要输入一个x，选择h最大的类别，也即在三个分类器中选择可信度最高，效果最好的.

学习产出：

ex1编程作业整理
逻辑回归理论学习笔记1篇
ex2编程作业整理

第02周：吴恩达 Andrew Ng 机器学习相关推荐

第06周：吴恩达 Andrew Ng 机器学习
10 应用机器学习的建议 10.1 决定下一步做什么依旧用房价预测的例子,假设我们使用已经正则化的线性回归的模型得到了参数,并将参数带入预测函数来预测一组新的房价,但是结果误差很大,那么为了解决问题 ...
第01周：吴恩达 Andrew Ng 机器学习
学习内容: 1 机器学习 1.1 机器学习定义 ①Arthur Samuel:在没有明确设置的情况下,使计算机具有学习能力的研究领域. e.g.跳棋游戏,使计算机与自己对弈上万次,使计算机学习到什么是 ...
第08周：吴恩达 Andrew Ng 机器学习
13 聚类聚类算法是学习的第一个无监督学习算法,它所用到的数据是不带标签的. 13.1 无监督学习什么是无监督学习? 在无监督学习中,所有的数据不带标签,而无监督学习要做的就是将这一系列无标签的数 ...
第04周：吴恩达 Andrew Ng 机器学习
学习内容: 8 神经网络 8.1 为什么用神经网络当只有两个特征时(x1.x2),使用sigmoid函数得到的结果还可以,因为可以把x1.x2的所有组合都包含到多项式中.但当很多问题含有很多特征,不 ...
第05周：吴恩达 Andrew Ng 机器学习
学习内容: 9 神经网络的运用 9.1 代价函数其中: 假设训练集为m组的训练样本用L表示神经网络的总层数,对于上图来说,L=4 用表示第L层的单元数,也就是神经元的数量(不包括这一层的偏差单元) ...
第07周：吴恩达 Andrew Ng 机器学习
12 支持向量机(Support Vector Machines) 12.1 优化目标在监督学习中,许多学习算法的性能都非常类似,因此,重要的不是你该选择使用学习算法A还是学习算法B,而更重要的是, ...
第10周：吴恩达 Andrew Ng 机器学习
15 异常检测(Anomaly Detection) 这种算法虽然主要用于非监督学习问题,但从某些角度看,它又类似于一些监督学习问题. 15.1 问题动机例:假想一个飞机引擎制造商,当他生产的飞机引 ...
第09周：吴恩达 Andrew Ng 机器学习
14 降维(Dimensionality Reduction) 第二种类型的无监督学习问题叫降维 14.1 目标Ⅰ:数据压缩使用降维的原因之一是数据压缩,数据压缩可以使数据占用较小的内存或硬盘空间, ...
【斯坦福公开课-机器学习】1.机器学习的动机和应用（吴恩达 Andrew Ng）
文章目录 0三个目标 0先修课程要求基本工具 1-网址 2-邮箱 3-本系列课程链接 1机器学习的定义 1-1非正式定义 1-2正式的定义 2监督学习(Supervised Learning) 2- ...

第02周：吴恩达 Andrew Ng 机器学习