Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”

发表于 2012年05月6号 由 52nlp

斯坦福大学机器学习第二课”单变量线性回归“学习笔记，本次课程主要包括7部分：

1) Model representation(模型表示)

2) Cost function(代价函数，成本函数)

3) Cost function intuition I(直观解释1)

4) Cost function intuition II(直观解释2)

5) Gradient descent(梯度下降)

6) Gradient descent intuition(梯度下降直观解释)

7) Gradient descent for linear regression(应用于线性回归的的梯度下降算法)

以下是第二课“单变量线性回归”的课件资料下载链接，视频可以在Coursera机器学习课程上观看或下载：
PPT   PDF
另外课程答题时间推迟一周，具体可参考:  Coursera机器学习课程作业截止时间推迟一周
如转载52opencourse上的任何原创文章，请务必注明出处，原文见：
Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”

1) Model representation(模型表示)

回到第一课中的房屋价格预测问题， 首先它是一个有监督学习的问题（对于每个样本的输入，都有正确的输出或者答案），同时它也是一个回归问题（预测一个实值输出）。

训练集表示如下：

其中：

m = 训练样本的数目

x’s = “输入”变量，也称之为特征

y’s = “输出”变量，也称之为“目标”变量

对于房价预测问题，学习过程可用下图表示：

其中x代表房屋的大小，y代表预测的价格，h(hypothesis)将输入变量 x 映射到输出变量 y，如何表示h?

事实上Hypothesis可以表示成如下形式：

hθ(x)=θ0+θ1x

简写为 h(x)，也就是带一个变量的线性回归或者单变量线性回归问题。

2) Cost function(代价函数，成本函数)

对于Hypothesis:  hθ(x)=θ0+θ1x

θi 为参数

如何求θi?

构想： 对于训练集(x, y)，选取参数θ0, θ1使得hθ(x)尽可能的接近y。

如何做呢？一种做法就是求训练集的平方误差函数（squared error function），Cost Function可表示为:

J(θ0,θ1)=12m∑i=1m(hθ(x(i))–y(i))2

并且选取合适的参数使其最小化，数学表示如下：

minimizeθ0,θ1J(θ0,θ1)

3) Cost function intuition I(直观解释1)

直观来看，线性回归主要包括如下四大部分，分别是Hypothesis, Parameters, Cost Function, Goal:

这里作者给出了一个简化版的Cost function解释，也就是令θ0为0：

然后令θ1分别取1、0.5、-0.5等值，同步对比hθ(x)和J(θ0,θ1)在二维坐标系中的变化情况，具体可参考原PPT中的对比图，很直观。

4) Cost function intuition II(直观解释2)

回顾线性回归的四个部分，这一次不在对Cost Function做简化处理，这个时候J(θ0,θ1)的图形是一个三维图或者一个等高线图，具体可参考原课件。

可以发现，当hθ(x)的直线越来越接近样本点时，J(θ0,θ1)在等高线的图中的点越来越接近最小值的位置。

5) Gradient descent(梯度下降)

应用的场景之一-最小值问题：

对于一些函数，例如J(θ0,θ1)

目标:  minθ0,θ1J(θ0,θ1)

方法的框架:

1、给θ0, θ1一个初始值，例如都等于0

2、每次改变θ0, θ1的时候都保持J(θ0,θ1)递减，直到达到一个我们满意的最小值；

对于任一J(θ0,θ1) , 初始位置不同，最终达到的极小值点也不同，例如以下两个例子：

梯度下降算法：

重复下面的公式直到收敛：

举例：

参数正确的更新过程如下（同步更新）：

错误的更新过程如下：

6) Gradient descent intuition(梯度下降直观解释)

举例，对于一个简化的J(θ1)来说，无论抛物线的左边还是右边，在梯度下降算法下，θ1)都是保持正确的方向（递增或递减）

对于learning rate(又称为步长)来说:

如果α过小，梯度下降可能很慢；如果过大，梯度下降有可能“迈过”（overshoot）最小点，并且有可能收敛失败，并且产生“分歧”(diverge)

梯度下降可以使函数收敛到一个局部最小值，特别对于learning rate α是固定值的时候：

当函数接近局部最小值的时候，梯度下降法将自动的采取“小步子”， 所以没有必要随着时间的推移减小learning rate.

关于梯度下降算法，可以参考维基百科的介绍： http://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95

7) Gradient descent for linear regression(应用于线性回归的的梯度下降算法)

梯度下降算法：

线性回归模型：

J(θ0,θ1)对于θ0), θ1)求导，得：

在梯度下降算法中进行替换，就得到单变量线性回归梯度下降算法：

详细的图形举例请参考官方PPT，主要是在等高线图举例梯度下降的收敛过程，逐步逼近最小值点，其中一幅图说明：线性回归函数是凸函数(convex function)，具有碗状（bowl shape)。

总结： 这里的梯度下降算法也称为”Batch” 梯度下降: 梯度下降的每一步都使用了所有的训练样本。

本文链接地址：Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”

相关文章:

  1. Coursera公开课笔记: 斯坦福大学机器学习第四课“多变量线性回归(Linear Regression with Multiple Variables)”
  2. Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”
  3. Coursera公开课笔记: 斯坦福大学机器学习第七课“正则化(Regularization)”
  4. Coursera公开课笔记: 斯坦福大学机器学习第一课“引言(Introduction)”
  5. 斯坦福大学机器学习第九课“神经网络的学习(Neural Networks: Learning)”
  6. PRML读书会第三章 Linear Models for Regression
  7. PRML读书会第四章 Linear Models for Classification
  8. 斯坦福大学机器学习第八课“神经网络的表示(Neural Networks: Representation)”
  9. 斯坦福大学深度学习与自然语言处理第三讲：高级的词向量表示
  10. 斯坦福大学机器学习第十课“应用机器学习的建议(Advice for applying machine learning)”

出处：http://www.52nlp.cn/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AC%AC%E4%BA%8C%E8%AF%BE%E5%8D%95%E5%8F%98%E9%87%8F

Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”相关推荐

  1. 斯坦福大学机器学习第二课 “单变量线性回归”

    斯坦福大学机器学习第二课"单变量线性回归(Linear regression with one variable)" 发表于 2012年05月6号 由 52nlp 斯坦福大学机器学 ...

  2. Coursera公开课笔记: 斯坦福大学机器学习第一课“引言(Introduction)”

    Coursera公开课笔记: 斯坦福大学机器学习第一课"引言(Introduction)" 注:这是我在"我爱公开课"上做的学习笔记,会在52opencours ...

  3. Coursera公开课笔记: 斯坦福大学机器学习第七课“正则化(Regularization)”

     Coursera公开课笔记: 斯坦福大学机器学习第七课"正则化(Regularization)" +13投票 斯坦福大学机器学习第七课"正则化"学习笔记, ...

  4. Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”

    Coursera公开课笔记: 斯坦福大学机器学习第六课"逻辑回归(Logistic Regression)" 斯坦福大学机器学习第六课"逻辑回归"学习笔记,本次 ...

  5. Coursera公开课笔记: 斯坦福大学机器学习第四课“多变量线性回归(Linear Regression with Multiple Variables)”

    Coursera公开课笔记: 斯坦福大学机器学习第四课"多变量线性回归(Linear Regression with Multiple Variables)" 斯坦福大学机器学习第 ...

  6. Coursera公开课笔记: 斯坦福大学机器学习第十一课“机器学习系统设计(Machine learning system design)”

    Coursera公开课笔记: 斯坦福大学机器学习第十一课"机器学习系统设计(Machine learning system design)" 斯坦福大学机器学习斯坦福大学机器学习第 ...

  7. Ng第二课：单变量线性回归(Linear Regression with One Variable)

    二.单变量线性回归(Linear Regression with One Variable) 2.1  模型表示 2.2  代价函数 2.3  代价函数的直观理解 2.4  梯度下降 2.5  梯度下 ...

  8. 斯坦福大学机器学习第一课“引言(Introduction)”

    斯坦福大学机器学习第一课"引言(Introduction)" 一.机器学习概览 1)机器学习定义:机器学习是人工智能的一个分支,目标是赋予机器一种新的能力.机器学习的应用很广泛,例 ...

  9. 第二章 单变量线性回归-机器学习老师板书-斯坦福吴恩达教授

    第二章 单变量线性回归 2.1 模型描述 2.2 代价函数 2.3 代价函数(一) 2.4 代价函数(二) 2.5 梯度下降 2.6 梯度下降知识点 2.7 线性回归的梯度下降 2.1 模型描述 2. ...

最新文章

  1. jsp 环境配置记录
  2. mac环境下分别用vim和Xcode运行C++(hello word)程序
  3. arm qt mysql插件_Ubuntu下编译ARM平台Qt的MySQL插件
  4. AIX 常用命令汇总（二）
  5. 对于Linux安装mysql5.7版本出现的问题
  6. 智能优化算法：树种算法-附代码
  7. 狂神说ElasitcSearch笔记（一）
  8. shell读取用户输入
  9. 中图分类法---- U 交通运输
  10. 机器人动力学与控制学习笔记（二）————机器人动力学建模
  11. EBS INV：物料搬运单
  12. 红灯停绿灯行c语言编程,C语言 实验三C语 实验三.doc
  13. 【软件测试】—— 基础知识总结
  14. 气动和液压的差异点，可能会颠覆你的认知哦！
  15. Mac解压Rar,7z,Zip,Winrar？Mac解压缩软件测评，推荐Mac上免费好用的解压软件，高效解压神器帮您解决苹果电脑的解压缩问题
  16. 北京大兴国际机北京大兴国际机场，炫酷之处，一图了解！
  17. Linux 之父：80486 处理器将成时代的眼泪！
  18. Ceph常见问题百科全书
  19. 常州百度大数据产业园 在沪签约引进一批企业
  20. hylan:linux实用 拷贝文件到U盘

热门文章

  1. C++五子棋(五)——实现AI落子
  2. 重置linux桌面,Ubuntu 18.04小贴士：重置Gnome桌面与使用隐藏的屏幕录像工具
  3. oracle 体系结构认识,Oracle体系结构总体认识
  4. eclipse java8报错_eclipse4.3安装支持Java8插件,之后就报错无法打开eclipse,求解?
  5. 运行pyspider时出现 ： ImportError: cannot import name ‘ContextVar‘
  6. 爬虫学习笔记（八）—— Scrapy框架（三）：CrawSpider模板
  7. 剑指offer03.数组中重复的数字
  8. 动态性是Java的特性吗_Java的动态特性有哪些？
  9. 火电厂给水控制系统设计
  10. linux查看java jdk安装路径和设置环境变量