多变量线性回归

Linear Regression with Multiple Variables

房屋估价问题

在单变量线性回归一章，我们讲到了房屋估价问题，以房屋面积这一单变量来决定房屋的估价。在多变量线性回归这章，我们将会引入多特征即多个变量，例如房屋面积、卧室数量、楼层数量、房屋年龄，通过四维特征来更为准确预测房屋的价格。

假设h(x)=θ0+θ1x1+θ2x2+…+θnxn，多参数线性回归即每个输入x有(n+1)维[x0……xn]

多变量的梯度下降

左边是单变量梯度下降，右图为多变量梯度下降。

归一化方法Feature Scaling，使得特征能够保持相同大小范围如[0,1]，避免特征值大小相差太大难以分析。如下图所示，我们将x1、x2这两个变量的值归一化至[0，1]区间。

在归一化中，用x-u替代x，其中u是数据集x的平均值，这样得到的新特征值范围将是[-0.5，0.5]。

学习率(Learning Rate)

在梯度下降中，我们需要考虑的是，如何确定梯度下降方法是否准确运行以及如何选择学习率α。

绘制图表来观测算法在何时趋于收敛，下降说明正常，若增大或来回波动，可能是α过大的问题。

总结：如果α值太小，将会影响收敛速度，如果α值过大，可能导致收敛失败。那如何选取学习率呢？比如先测试α=0.001，如果收敛太慢就测试0.01，如果大了？那就0.003，以此类推。

特征与多项式回归

Features and Polynomial Regression

假设我们的输入为一座房子的size，输出为该house的price，对其进行多项式拟合：
有两个选择，二次方程或者三次方程。考虑到二次方程的话总会到最高点后随着size增大而price减小，不合常理；因此选用三次方程进行拟合。

绘制好特征图像后，可能会出现多种拟合方程，而归一化则是关键，如洋红色曲线拟合所示。

正规方程

正规方程Normal Equation是和gradient descent一样常用的算法,它采用线性代数中非迭代的方法。

正规方程可以将寻找使cost function 最小的θ这一问题转化为寻找使得导数取0时的参数θ。以房屋估价问题为例，我们继续往下分析。

其中，X是m×(n+1)的矩阵，y是m×1的矩阵。对于那些不可逆的矩阵(通常是因为特征之间不独立,或特征数量大于训练集的数量),正规方程方法是不能用的。

如果正规方程中不可逆，可能是因为特征冗余或者特征过多，那么我们可以选择删除一些不重要的特征或使用正则化。

【机器学习】Andrew Ng——04多变量线性回归相关推荐

Coursera公开课笔记: 斯坦福大学机器学习第四课“多变量线性回归(Linear Regression with Multiple Variables)”
Coursera公开课笔记: 斯坦福大学机器学习第四课"多变量线性回归(Linear Regression with Multiple Variables)" 斯坦福大学机器学习第 ...
斯坦福大学机器学习第三课“多变量线性回归“
斯坦福大学机器学习第三课"多变量线性回归(Linear Regression with Multiple Variables)" 斯坦福大学机器学习第四课"多变量线性回归 ...
吴恩达机器学习python作业之多变量线性回归
建议先看单变量线性回归再看多变量线性回归哦. 参考链接: (7条消息) 吴恩达|机器学习作业1.1多变量线性回归_学吧学吧终成学霸的博客-CSDN博客数据集:一共三列,左边两列是自变量x,最右边一列 ...
机器学习-Andrew Ng课程笔记
本文是参考Andrew Ng网上课程和别人总结的机器学习笔记,作为笔者学习的参考,笔者主要实现了一些程序问题. 持续更新中- 1 两个参数梯度下降法现在有一组数据,plot之后如下图 x = np. ...
吴恩达|机器学习作业1.1多变量线性回归
1.1.多变量线性回归 1)题目: 在本部分的练习中,需要预测房价,输入变量有两个特征,一是房子的面积,二是房子卧室的数量:输出变量是房子的价格. 数据链接: https://pan.baidu.co ...
吴恩达机器学习笔记二之多变量线性回归
本节目录: 多维特征多变量梯度下降特征缩放学习率正规方程 1.多维特征含有多个变量的模型,模型中的特征为(x1,x2,-xn), 比如对房价模型增加多个特征这里,n代表特征的数量, x(i ...
吴恩达机器学习个人笔记03——多变量线性回归
目录 3.1 多维特征 3.2 多变量梯度下降 3.3 梯度下降法实践1-特征缩放 3.4 梯度下降法实践2-学习率 3.5 特征和多项式回归 3.6 正规方程 3.7 正规方程及不可逆性下节将介绍 ...
Coursera机器学习(Andrew Ng)笔记：无监督学习与维度约减
无监督学习与维度约减机器学习初学者,原本是写来自己看的,写的比较随意.难免有错误,还请大家批评指正!对其中不清楚的地方可以留言,我会及时更正修改 Unsupervised learning & ...
机器学习(Andrew Ng)作业代码(Exercise 3~4)
Programming Exercise 3: Multi-class Classiﬁcation and Neural Networks 带正则化的多分类Logistic回归 lrCostFunct ...

【机器学习】Andrew Ng——04多变量线性回归