机器学习门户网站——单变量线性回归

线性回归的概念。在高中的数学书出现了。

给你一些样本点，怎样找出一条直线，使得最逼近这些样本点。

给出一个样例：如果 x 是房子面积，y是房子价格。确定一条直线须要theta0和theta1.

给出x,我们就能够计算出房子的价格 h(x) = theta0+theta1*x

关键是怎样计算出theta0和theta1,也就是怎样找出这么一条直线呢？

在这里，引入一个概念，叫做cost function.m表示样本个数，也就是训练样本数目

这是一个square error。学过统计的应该常常见到

因此，我们的目的i就变成怎样最小化这个J。意味着这条直线最逼近我们的样本点

先简化一下问题，如果theta0 = 0,那么我们的目标就是最小化J(theta1)

如果眼下有3个样本点（1,1）(2,2) (3,3)

J(0) = 1/(2*3)*((1-0)^2+(2-0)^2+(3-0)^2)

当theta1取不同的值时，J(theta1)就形成了一个二次函数。当theta1 = 1是极小值也是最小值。

问题回到2元函数theta0,theta1

easy想像，这肯定是一个平面函数了

关键问题就是怎样找到这个最低点

以下再举个样例直观的感受下。不再使用3维图了，而是使用例如以下右图。

左图的直线明显和样本点一点都不逼近，所以在右图中的红叉就离中间比較远

这里比上面略微好点，于是红点离中心更近了

这是最优结果，落在了中间

还是那个问题。怎样寻找我们的theta0和theta1呢？我们能够用梯度下降的方法。如图：

随机初始化theta0和theta1,一直往梯度下降的方向走，J就会越来越小。

公式例如以下：

当中，alpha是我们的learning rate,不能太小。否则算法速度会非常慢，也不能太大，否则非常easy越过最小值导致不能收敛。

我们在前面有：

于是

因此，我们的算法变成

当你发现两次循环之间的theta0和theta1的区别非常小非常小就converge了，你能够设置一个阀值比方10e-6。

配套练习http://download.csdn.net/detail/abcd1992719g/7306053

机器学习门户网站——单变量线性回归相关推荐

Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”
Coursera公开课笔记: 斯坦福大学机器学习第二课"单变量线性回归(Linear regression with one variable)" 发表于 2012年05月6号由 ...
斯坦福大学机器学习第二课 “单变量线性回归”
斯坦福大学机器学习第二课"单变量线性回归(Linear regression with one variable)" 发表于 2012年05月6号由 52nlp 斯坦福大学机器学 ...
机器学习-代价函数（单变量线性回归）
机器学习-代价函数(单变量线性回归) 2.1函数表示因为只含有一个特征/输入变量,所以这样的问题叫作单变量线性回归问题. 回归问题: 构建一个模型,也许是条直线,从这个数据模型上看,如果你朋友的房子 ...
吴恩达机器学习笔记 1单变量线性回归
机器学习 (小白通俗理解) 机器学习包括监督学习和无监督学习监督学习首先,监督学习,我们所给的数据集由正确答案组成,计算机根据正确数据集对未知样本进行结果预测无监督学习无监督学习,所给数据集并 ...
吴恩达机器学习（一）单变量线性回归（假设函数、代价函数、梯度下降）
目录 0. 前言 1. 假设函数(Hypothesis) 2. 代价函数(Cost Function) 3. 梯度下降(Gradient Descent) 学习完吴恩达老师机器学习课程的单变量线性回归 ...
python装饰器带参数函数二阶导数公式_机器学习【二】单变量线性回归
吴恩达机器学习笔记整理--单变量线性回归通过模型分析,拟合什么类型的曲线. 一.基本概念 1.训练集由训练样例(training example)组成的集合就是训练集(training set), ...
【Machine Learning 二】单变量线性回归，代价函数，梯度下降
吴恩达机器学习笔记整理--单变量线性回归通过模型分析,拟合什么类型的曲线. 一.基本概念 1.训练集由训练样例(training example)组成的集合就是训练集(training set), ...
机器学习入门系列一（关键词：单变量线性回归，梯度下降法）
机器学习入门系列一(关键词:单变量线性回归,梯度下降法) 如上图所示,我们的目标是希望通过这些数据得到城市人口数和利润可能的对应关系,并可以通过城市人口数(利润)来预测它的利润(城市人口数),在这里我 ...
机器学习之单变量线性回归（Linear Regression with One Variable）
机器学习之单变量线性回归(Linear Regression with One Variable) 1. 模型表达(Model Representation) 我们的第一个学习算法是线性回归算法,让我 ...

机器学习门户网站——单变量线性回归

机器学习门户网站——单变量线性回归相关推荐

最新文章

热门文章