Normal Equations 的由来

Normal Equations 的由来

假设我们有m个样本。特征向量的维度为n。因此，可知样本为{(x⁽¹⁾,y⁽¹⁾), (x⁽²⁾,y⁽²⁾),... ..., (x^(m),y^(m))},其中对于每一个样本中的x⁽ⁱ⁾,都有x⁽ⁱ⁾={x₁⁽ⁱ⁾, x_n⁽ⁱ⁾,... ...,x_n⁽ⁱ⁾}。令 H(θ)=θ₀ + θ₁x₁ +θ₂x₂ +... + θ_nx_n，则有

若希望H(θ)=Y，则有

X · θ = Y

我们先来回忆一下两个概念：单位矩阵 和 矩阵的逆，看看它们有什么性质。

（1）单位矩阵E

AE=EA=A

（2）矩阵的逆A^-1

要求：A必须为方阵

性质：AA^-1=A^-1A=E

再来看看式子 X · θ = Y

若想求出θ，那么我们需要做一些转换：

step1：先把θ左边的矩阵变成一个方阵。通过乘以X^T可以实现，则有

X^TX · θ = X^TY

step2：把θ左边的部分变成一个单位矩阵，这样就可以让它消失于无形了……

(X^TX)^-1(X^TX) · θ = (X^TX)^-1X^TY

step3：由于(X^TX)^-1(X^TX) = E，因此式子变为

Eθ = (X^TX)^-1X^TY

E可以去掉，因此得到

θ = (X^TX)^-1X^TY

这就是我们所说的Normal Equation了。

Normal Equation VS Gradient Descent

Normal Equation 跟 Gradient Descent（梯度下降）一样，可以用来求权重向量θ。但它与Gradient Descent相比，既有优势也有劣势。

优势：

Normal Equation可以不在意x特征的scale。比如，有特征向量X={x₁, x₂}, 其中x₁的range为1~2000，而x₂的range为1~4，可以看到它们的范围相差了500倍。如果使用Gradient Descent方法的话，会导致椭圆变得很窄很长，而出现梯度下降困难，甚至无法下降梯度（因为导数乘上步长后可能会冲出椭圆的外面）。但是，如果用Normal Equation方法的话，就不用担心这个问题了。因为它是纯粹的矩阵算法。

劣势：

相比于Gradient Descent，Normal Equation需要大量的矩阵运算，特别是求矩阵的逆。在矩阵很大的情况下，会大大增加计算复杂性以及对计算机内存容量的要求。

什么情况下会出现Normal Equation，该如何应对？

（1）当特征向量的维度过多时（如，m <= n 时）

解决方法：① 使用regularization方式

　　　　　or ②delete一些特征维度

（2）有redundant features（也称为linearly dependent feature）

例如，　x₁= size in feet²

　　　　x₂ = size in m²

　　　　feet和m的换算为 1m≈3.28feet所以，x₁ ≈ 3.28² * x₂, 因此x₁和x₂是线性相关的（也可以说x₁和x₂之间有一个是冗余的）

解决方法：找出冗余的特征维度，删除之。

练习

练习的介绍页面见Ng的openclassroom Exercise: Multivariate Linear Regression

下载页面上的数据，然后载入matlab中。

y(i)表示价格，x(i)表示房屋面积和房间数：

样本数m=47。

step1：对数据进行预处理

给每一个x向量，都增加一个x₀=1的分量。

m = 47;
x=[ones(m,1),ex3x];

查看x矩阵：

step2：带入normal equation公式θ = (X^TX)^-1X^TY，求解权重向量。

 y=ex3y;theta = inv(x'*x)*x'*y;

求得θ向量为

如果我想预计“1650-square-foot house with 3 bedrooms”的价格，那么由X * θ = Y可知：

price = [1,1650,3]* theta ;

我们取消matlab中的科学计数法，看看price的价格是多少：

>> format long g
>> price

price = 293081.464334897

我们在给出的样本中，找一个接近的样本比比看：

23号样本的房屋面积为1604，房间数也为3，它的价格为

我们可以尝试画出H(θ)函数的图像看看：

先分别用min和max函数找出房屋面积（x1）和房间个数（x2）的最大和最小值，有

x1∈[852,4478]

x2∈[1,5]

x1=linspace(852,4478,47);
x2=linspace(1,5,47);
[xx1,xx2]=meshgrid(x1,x2);
h_theta = theta(1)*ones(47,47) + theta(2)*xx1 + theta(3)*xx2;
surf(xx1,xx2,h_theta);

可以看到H(θ)为如下平面：

Normal Equations 的由来相关推荐

Normal Equations 的由来与推导
http://blog.csdn.net/huruzun/article/details/41493063
正规方程组(The normal equations)
2. 正规方程组上一节的梯度下降是一种最小化成本函数JJ的方法.这一节我们将介绍另一种算法也可以实现该功能且不需要使用迭代.正规方程组通过计算成本函数对每个θj\theta_j的偏导数,求出偏导为零 ...
Machine Learning——DAY1
监督学习:分类和回归非监督学习:聚类和非聚类 1.分类和聚类的区别: 分类(Categorization or Classification)就是按照某种标准给对象贴标签(label),再根据标签来 ...
word文档封面免费下载_为Word 2007文档添加封面
word文档封面免费下载 I've been using Microsoft Word since 1985, starting with Word for Mac and eventually mo ...
线性回归、logistic回归、广义线性模型——斯坦福CS229机器学习个人总结（一）
纪念我第一个博客的碎碎念先前我花了四五个月的业余时间学习了Ng的机器学习公开课,学习的过程中我就在想,如果我能把这个课程啃完,就开始写一些博客,把自己的所得记录下来,现在是实现的时候了.也如刘未鹏的 ...
简单多元线性回归（梯度下降算法与矩阵法）
from:https://www.cnblogs.com/shibalang/p/4859645.html 多元线性回归是最简单的机器学习模型,通过给定的训练数据集,拟合出一个线性模型,进而对新数据做 ...
吴恩达机器学习Ex1多元回归部分
多元线性回归提交作业情况: 背景:预测房价数据集:房屋大小,卧室的数量,房价. Loading data ... First 10 examples from the dataset: x = [ ...
吴恩达机器学习（第二章）——单变量线性回归
第二章-单变量线性回归文章目录第二章-单变量线性回归模型描述代价函数梯度下降梯度下降的思想梯度下降算法的公式梯度下降的运动方式线性回归的梯度下降模型描述在监督学习中我们有一个数据 ...
吴恩达 ML作业提交：Grader sent no response
目录文章目录目录前言正文解决方案前言最近在补习吴恩达machinelearning 的课程,上完了课,肯定是要做作业的,做作业没有问题,但在提交作业时遇到了问题,记录如下,方便后来人. ...

Normal Equations 的由来

Normal Equations 的由来相关推荐

最新文章

热门文章