机器学习第二回总结——多变量线性回归

2024-06-04 09:00:01

一.多特征量情况下的假设形式

对图片上的知识点进行剖析：x与θ都是向量，将x0设为1，便可以用θ的转置与x向量的内积来简单表示h(x)——>多元线性回归

二.如何设定假设的参数【使用梯度下降法来处理多元线性回归】

将θ和J(θ)都看作向量，重新定义我们上节课学习那几个概念。

梯度下降法的多元表达

其实与之前我们学的内容还是很相似的，每一次的更新过程依旧是独立的，在导数项中，重新定义了x变量的下标

三.梯度下降实例中的运算技巧

特征放缩：如果可以保证一个机器学习的问题的多个特征值处在一个相似的范围之内，可以使梯度下降法更快的收敛

这张对比图说明:当两个特征变量的取值范围相差很大时，画出的图像接近于椭圆，使用梯度下降法就很难得到目标最极小值；如果使用特征放缩的方法，即右侧所示，此时图像接近于圆，可以很快达到目标【-1<=xi<=1】(或者接近这个范围也是可以的)
均值归一化：xi的取值可以变为0

x1可以替换为（x1-u1）/s1
u1是训练集中x1的平均值，s1是x1 的取值范围：max-min
保证梯度下降正常工作：

此函数表示：梯度下降的每步迭代后代价函数的值【横坐标表示迭代次数，纵坐标表示代价函数的最小值，点的含义是经过x此迭代，代价函数的值，理论上此函数图像是单调递减的】
此图像的作用：帮助判断梯度下降算法是否收敛

在上面的两种情况下，都属于α过大，函数不会在每次迭代中都下降，我们都应该选择较小的学习率α来正确运行梯度下降算法，但α不应过小，否则函数下降的速率会很慢。
选择新的特征可以更好的描述我们想要讨论的问题
多项式线性回归：将模型与数据进行拟合

由于变量范围相差较大，所以应该使用特征放缩的方法进行拟合
不仅可以用三次函数来拟合此图像，也可使用平方根函数。

四.正规方程

类似于函数的解析式法求最小值：只需要令导数为0；如果多个变量，就依次令其偏导数为0

下面一个函数记住就好，可以直接帮我们获得θ的最小值，且不需要使用特征放缩的方法

对比两种方法的优缺点：（能看懂英文我就不翻译啦~）

当数据量较小时，选择正规方程解法，其余时刻一般都采用梯度下降算法。

机器学习第二回总结——多变量线性回归相关推荐

Coursera公开课笔记: 斯坦福大学机器学习第四课“多变量线性回归(Linear Regression with Multiple Variables)”
Coursera公开课笔记: 斯坦福大学机器学习第四课"多变量线性回归(Linear Regression with Multiple Variables)" 斯坦福大学机器学习第 ...
Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”
Coursera公开课笔记: 斯坦福大学机器学习第二课"单变量线性回归(Linear regression with one variable)" 发表于 2012年05月6号由 ...
斯坦福大学机器学习第三课“多变量线性回归“
斯坦福大学机器学习第三课"多变量线性回归(Linear Regression with Multiple Variables)" 斯坦福大学机器学习第四课"多变量线性回归 ...
斯坦福大学机器学习第二课 “单变量线性回归”
斯坦福大学机器学习第二课"单变量线性回归(Linear regression with one variable)" 发表于 2012年05月6号由 52nlp 斯坦福大学机器学 ...
吴恩达机器学习python作业之多变量线性回归
建议先看单变量线性回归再看多变量线性回归哦. 参考链接: (7条消息) 吴恩达|机器学习作业1.1多变量线性回归_学吧学吧终成学霸的博客-CSDN博客数据集:一共三列,左边两列是自变量x,最右边一列 ...
机器学习第二回——多变量线性回归
多变量线性回归求解最合适的一系列参数(θ0~θn) 一.多维特征(以预测房价为例) 对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(
吴恩达|机器学习作业1.1多变量线性回归
1.1.多变量线性回归 1)题目: 在本部分的练习中,需要预测房价,输入变量有两个特征,一是房子的面积,二是房子卧室的数量:输出变量是房子的价格. 数据链接: https://pan.baidu.co ...
吴恩达机器学习个人笔记03——多变量线性回归
目录 3.1 多维特征 3.2 多变量梯度下降 3.3 梯度下降法实践1-特征缩放 3.4 梯度下降法实践2-学习率 3.5 特征和多项式回归 3.6 正规方程 3.7 正规方程及不可逆性下节将介绍 ...
吴恩达机器学习笔记二之多变量线性回归
本节目录: 多维特征多变量梯度下降特征缩放学习率正规方程 1.多维特征含有多个变量的模型,模型中的特征为(x1,x2,-xn), 比如对房价模型增加多个特征这里,n代表特征的数量, x(i ...
机器学习入门：多变量线性回归
摘要:给大家简单介绍了多变量线性回归,还附赠在处理梯度下降过程中通用的两个小技巧. 本文分享自华为云社区<[跟着小Mi一起机器学习吧!]多变量线性回归(一)>,原文作者:Skytier. ...

最新文章

热门文章