0. 前言

单变量线性回归（Linear Regression with one variable）是只有一个变量的线性回归函数。初始作如下定义：

$(x, y)$ --- 一个样本
$(x^{(i)}, y^{(i)})$ --- 第 $i$ 个样本
$x$ --- 输入变量的特征
$y$ --- 输出量
$m$ --- 训练样本的数量

1. 假设函数（Hypothesis）

用一线性函数拟合样本数据集，可以简单定义为如下：

$h_{\theta }=\theta_{0}+\theta_{1}x$

$\theta_{0}$ 和 $\theta_{1}$ 为参数。

2. 代价函数（Cost Function）

衡量一个假设函数的“损失”，又称作“平方和误差函数”（Square Error Function），给出如下定义：

$J(\theta_{0},\theta_{1})=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2$

相当于，对所有样本的假设值与真实值之差的平方求和，除以两倍的样本数量。若总体的真实值与总体的假设值差别巨大，会造成代价函数 $J(\theta_{0},\theta_{1})$ 的值较大，所以我们的目标为，求使得 $J(\theta_{0},\theta_{1})$ 取最小值（总体真实值与假设值差别最小）时候的 $\theta_{0}$ 和 $\theta_{1}$ 。

3. 梯度下降（Gradient Descent）

梯度：某一函数在该点处的方向导数沿该方向取得最大值，即在该点变化率（斜率）最大。

梯度下降：使得自变量 $\theta_{0}\theta_{1}$ 沿着使 $J(\theta_{0},\theta_{1})$ 下降最快的方向移动，尽快取得 $J(\theta_{0},\theta_{1})$ 的最小值，给出如下定义：

$\theta_{j}:=\theta_{j}-\alpha \frac{\partial }{\partial \theta_{j} }J(\theta_{0},\theta_{1})$

对于 $j=0$ 或者 $j=1$ ，在该方向上，若 $J(\theta_{0},\theta_{1})$ 斜率（导数）为正数，则应该减去一个值（使得 $\theta_{j}$ 左移），若 $J(\theta_{0},\theta_{1})$ 斜率为负数，则反之。

$for\ j=0:\ \frac{\partial }{\partial \theta_{0}}J(\theta_{0},\theta_{1})=\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})$
$for\ j=1:\ \frac{\partial }{\partial \theta_{1}}J(\theta_{0},\theta_{1})=\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})x^{(i)}$

注：应同时更新 $\mathbf{\theta_{0}}$ 和 $\mathbf{\theta_{1}}$ ，即对于每一次迭代，应先算完 $\mathbf{\theta_{0}}$ 和 $\mathbf{\theta_{1}}$ ，再对它们进行赋值。

其中， $\alpha$ 为学习率（learning rate），表示每次移动的步长。若 $\alpha$ 太小，则梯度下降速度很慢，若 $\alpha$ 太大，则无法收敛甚至发散。

梯度下降的步骤如下：

设定初始的 $\theta_{0}$ 和 $\theta_{1}$ ；
不断更新 $\theta_{0}$ 和 $\theta_{1}$ ，使得 $J(\theta_{0},\theta_{1})$ 减小，直到达到我们所期望的最小值。

注：对于梯度下降而言，不同的初始值，移动的方向可能会不同，导致最后收敛的值不同，会造成局部最优解（local minimum）。但是幸运的是，对于线性回归而言，其代价函数总是凸函数（convex function），局部最优解就是全局最优解（global optimum）。

梯度下降又称作 Batch Gradient Descent，“Batch”的意思为每一次迭代都遍历了所有的数据集（公式中的求和步骤）。

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~

吴恩达机器学习（一）单变量线性回归（假设函数、代价函数、梯度下降）相关推荐

吴恩达机器学习2——单变量线性回归
吴恩达机器学习2--单变量线性回归监督学习工作模式训练集中同时给出了输入输出,即人为标注的"正确结果"喂给学习算法,得到一个函数h,h 可以根据输入的x得到一个y,因此h是x到 ...
吴恩达机器学习1——单变量线性回归、梯度下降
目录吴恩达机器学习第一周一.什么是机器学习? 二.机器学习的分类 1. 监督学习 2. 非监督学习 3. 监督学习和非监督学习的举例三.单变量线性回归(**Linear Regression w ...
吴恩达机器学习之单变量线性回归实现部分
C++实现代码实现 "linear_regression.h" //单变量线性回归模型 struct elem_var1 {double x, y; //训练集元素数据:自变量. ...
吴恩达机器学习之单变量线性回归理论部分
理论部分 1.方程形式在进行数据处理过程中,有时数据图像可拟合成单变量线性函数,即 2.如何拟合此时,我们虽知道拟合函数的形式,但如何拟合仍是个问题,怎样拟合可以最接近实际数据情况呢? 最小二乘法 ...
吴恩达机器学习（十四）推荐系统（基于梯度下降的协同过滤算法）
目录 0. 前言 1. 基于内容的推荐算法(Content-based recommendations) 2. 计算电影特征 3. 基于梯度下降的协同过滤算法(Collaborative filter ...
吴恩达机器学习训练1：线性回归（多变量）
吴恩达机器学习训练1:线性回归(多变量) 本小节为练习1中选做题,为多变量(多特征参数)的线性回归计算. 还是预测房价的例子,假设已经两个特征参数,分别是房子的尺寸和卧室的数量,在数据的第一列和第二列 ...
吴恩达《Machine Learning》精炼笔记 2：梯度下降与正规方程
作者 | Peter 编辑 | AI有道今天带来第二周课程的笔记:梯度下降与正规方程. 主要内容: 多维特征多变量梯度下降梯度下降法实践正规方程多维特征Multiple Features 还 ...
python解zuobiaoxi方程_吴恩达《Machine Learning》精炼笔记 2：梯度下降与正规方程
作者:Peter 红色石头的个人网站: 红色石头的个人博客-机器学习.深度学习之路www.redstonewill.com 今天带来第二周课程的笔记:梯度下降与正规方程. 主要内容: 多维特征多变 ...
Linear Regression 吴恩达机器学习实验一（线性回归）
Linear Regression with one variable 实验要求 """ 在这部分练习中,您将使用一个变量实现线性回归,以预测食品卡车的利润. 假设你是一 ...
吴恩达机器学习笔记 —— 5 多变量线性回归
http://www.cnblogs.com/xing901022/p/9321045.html 本篇主要讲的是多变量的线性回归,从表达式的构建到矩阵的表示方法,再到损失函数和梯度下降求解方法,再到特 ...

吴恩达机器学习（一）单变量线性回归（假设函数、代价函数、梯度下降）

目录

0. 前言

1. 假设函数（Hypothesis）

2. 代价函数（Cost Function）

3. 梯度下降（Gradient Descent）

吴恩达机器学习（一）单变量线性回归（假设函数、代价函数、梯度下降）相关推荐

最新文章

热门文章