吴恩达机器学习课程笔记章节二单变量线性回归

1、模型描述

Univariate（One variable）Linear Regression

m=训练样本的数目，x's=输入的变量/特征，y's=输出变量/目标变量

2、代价函数

基本定义：

3、代价函数（一）

回顾一下，前面一些定义：

简化的假设函数，theta0=0，得到假设函数与目标函数的关系有：

4、代价函数（二）

等高线图（contour figures）：有相同的J(theta0,theta1)的值，对应着不同的theta0,theta1值。

下面介绍一种能自动得到使得目标函数最小的参数值的算法。。

5、梯度下降算法的梗概

特点：起始点不同，经过一次次的梯度下降，最后会到达不同的局部最优点。

算法：

上面第一行即updating equation（更新式）。

注意的几点：

当写成a:=b指的是将b的值赋给a（computer operation），而写成a=b时是判断操作（true assertion）
alpha（learning rate）用来控制梯度下降的幅度/速度，如何设置它的值在之后会提到
导数项（后面推导）
保证参数的同步更新

6、梯度下降知识点总结

解释一下梯度下降算法的具体组成：

learning rate始终是正数
alpha过大或者过小都不好
参数已经处在局部最优点（导数为零），根据算法公式，参数不用更新
梯度下降的过程中，越来越接近局部最优处，导数值越来越小，梯度下降自动选择幅度较小的速率进行。。因故没有必要再另外减小alpha的值

7、线性回归的梯度下降

结合前面的，得到：

线性回归的代价函数是一个凸函数（形状上看似是一个弓状函数），只有一个全局最优点。

“Batch”梯度下降法：在每一步的梯度下降过程中都使用到了所有的训练数据。

在高等线性代数中有一种方法可以不需要使用梯度下降的迭代算法，可以直接求解出代价函数的最小值，即正规方程组方法（normal equation method）。

附上本章的ppt资料链接：https://study.163.com/course/courseLearn.htm?courseId=1004570029#/learn/text?lessonId=1050362429&courseId=1004570029

转载于:https://www.cnblogs.com/py-fwg/p/10010689.html

吴恩达机器学习课程笔记章节二单变量线性回归相关推荐

吴恩达机器学习 Coursera 笔记(二) - 单变量线性回归
Model and Cost Function 1 模型概述 - Model Representation To establish notation for future use, we'll us ...
吴恩达机器学习 Coursera 笔记(二) - 单变量线性回归...
Model and Cost Function 1 模型概述 - Model Representation To establish notation for future use, we'll us ...
吴恩达机器学习课程笔记(英文授课) Lv.1 新手村（回归）
目录 1-1机器学习的相关名词 1-2 什么是机器学习? 1.definition 定义 2.主要的机器学习算法的分类 1-3有监督学习及常用算法 1.定义 2.两种数据类型补充:categorica ...
吴恩达机器学习课程笔记一
吴恩达机器学习课程笔记前言监督学习---`Supervised learning` 无监督学习---`Unsupervised learning` 聚类异常检测降维增强学习---`Reinf ...
Github标星24300！吴恩达机器学习课程笔记.pdf
个人认为:吴恩达老师的机器学习课程,是初学者入门机器学习的最好的课程!我们整理了笔记(336页),复现的Python代码等资源,文末提供下载. 课程简介课程地址:https://www.course ...
【CV】吴恩达机器学习课程笔记 | 第1-2章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 1 介绍 1-3 监督学习 1-4 无监督学习 2 单变量 ...
【CV】吴恩达机器学习课程笔记第18章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 18 应用案例:照片OCR 18-1 问题描述与流程(pi ...
【CV】吴恩达机器学习课程笔记第17章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 17 大规模机器学习 17-1 学习大数据集 17-2 随 ...
【CV】吴恩达机器学习课程笔记第16章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 16 推荐系统 16-1 问题规划 16-2 基于内容的推 ...

吴恩达机器学习课程笔记章节二单变量线性回归

吴恩达机器学习课程笔记章节二单变量线性回归相关推荐

最新文章

热门文章