1.引入

接着上一篇文章的讲述，在上一篇文章中，我们将代价函数变为J(θ)=12m[∑i=1m(hθ(x)−y)2+λ∑i=1nθj2]J(\theta)=\frac{1}{2m}[\sum_{i=1}^m(h_{\theta}(x)-y)^2+\lambda \sum_{i=1}^n\theta_j^2]J(θ)=2m1[i=1∑m(hθ(x)−y)2+λi=1∑nθj2]接下来，我们将分别讨论梯度下降法和直接使用矩阵求逆方法在J(θ)J(\theta)J(θ)改变之后发生的变化。

1.1梯度下降法

梯度下降法需要更新的θj\theta_jθj如下所示：θj=θj−α∂∂θjJ(θ)\theta_j=\theta_j-\alpha \frac{\partial}{\partial{\theta_j}}J(\theta)θj=θj−α∂θj∂J(θ)对J(θ)J(\theta)J(θ)求导后我们可以发现θj\theta_jθj的更新由原来的θj=θj−α1m∑i=1m(hθ(xi)−yi)xji\theta_j=\theta_j-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^i)-y^i)x^i_jθj=θj−αm1i=1∑m(hθ(xi)−yi)xji变成了θ0=θ0−α1m∑i=1m(hθ(xi)−yi)xji(θ0不参与更新)\theta_0=\theta_0-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^i)-y^i)x^i_j(\theta_0 不参与更新)θ0=θ0−αm1i=1∑m(hθ(xi)−yi)xji(θ0不参与更新)
θj=θj−α[1m∑i=1m(hθ(xi)−yi)xji+λmθj]\theta_j=\theta_j-\alpha[ \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^i)-y^i)x^i_j+\frac{\lambda}{m}\theta_j]θj=θj−α[m1i=1∑m(hθ(xi)−yi)xji+mλθj]将第二个式子化简，我们可以得到θj=θj(1−αλm)−α1m∑i=1m(hθ(xi)−yi)xji\theta_j=\theta_j(1-\alpha\frac{\lambda}{m})-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^i)-y^i)x^i_jθj=θj(1−αmλ)−αm1i=1∑m(hθ(xi)−yi)xji其中，1−αλm1-\alpha\frac{\lambda}{m}1−αmλ是一个小于一但是很接近1的值

1.2正规方程法

之前我们有θ=(XTX)−1XTy\theta=(X^TX)^{-1}X^Tyθ=(XTX)−1XTy J(θ)J(\theta)J(θ)正则化后，变成了

这样做还有一个好处是，括号里的这一项一定可逆。

下节课我们将讲logistic regression的正则化对方法的具体改变。

Regularized linear regression(正则化线性回归)----吴恩达机器学习相关推荐

线性回归-吴恩达-机器学习课后作业
练习一:单变量线性回归,对数据ex1data1.txt进行回归预测线性回归和梯度下降公式导入第三方库 import numpy as np import pandas as pd import m ...
吴恩达机器学习1——单变量线性回归、梯度下降
目录吴恩达机器学习第一周一.什么是机器学习? 二.机器学习的分类 1. 监督学习 2. 非监督学习 3. 监督学习和非监督学习的举例三.单变量线性回归(**Linear Regression w ...
吴恩达机器学习课后作业1——单变量线性回归（Linear regression with one variable）
1. 问题和数据假设你是一家连锁餐车店的老板,但是你又和别的土老板不一样,你又刚好是个懂线性回归,还懂编程的老板,正在考虑在不同的城市开一家新店.该连锁店已经在各个城市开设了餐车,你可以获得这些城市 ...
吴恩达机器学习课后作业1.1——多变量线性回归（Linear regression with multiple variable）
1. 问题和数据假设你要卖掉你的房子,你想知道一个好的市场价格是多少.其中一种方法是,首先收集最近出售的房屋的信息.在本部分的练习中,你将使用多元线性回归来预测房屋价格. 数据ex1data2.tx ...
【吴恩达机器学习】第二周课程精简笔记——多元线性回归和计算参数分析
1. Multivariate Linear Regerssion(多元线性回归) (1)Multiple Feature We now introduce notation for equation ...
吴恩达机器学习课后作业——线性回归（Python实现）
1.写在前面吴恩达机器学习的课后作业及数据可以在coursera平台上进行下载,只要注册一下就可以添加课程了.所以这里就不写题目和数据了,有需要的小伙伴自行去下载就可以了. 作业及数据下载网址:吴恩 ...
吴恩达机器学习ex1-matlab版学习总结笔记-(1)单变量线性回归
作业任务项一:5*5矩阵A 代码如下: A=eye(5); eye()是单位矩阵,除了对角线为1,其余项都为0.5为矩阵维度,即生成5*5矩阵. 作业任务项二:单变量线性回归预测代码如下: data ...
吴恩达——机器学习（正则化Regularization）
正则化 Regularization 1.过拟合 overfitting eg1:线性回归图一:欠拟合,高偏差图三:过拟合,高方差(一般在变量很多的时候发生,这种时候训练出的方程总能很好拟合训练数 ...
吴恩达机器学习2——单变量线性回归
吴恩达机器学习2--单变量线性回归监督学习工作模式训练集中同时给出了输入输出,即人为标注的"正确结果"喂给学习算法,得到一个函数h,h 可以根据输入的x得到一个y,因此h是x到 ...
吴恩达机器学习训练1：线性回归（多变量）
吴恩达机器学习训练1:线性回归(多变量) 本小节为练习1中选做题,为多变量(多特征参数)的线性回归计算. 还是预测房价的例子,假设已经两个特征参数,分别是房子的尺寸和卧室的数量,在数据的第一列和第二列 ...

Regularized linear regression(正则化线性回归)----吴恩达机器学习

Regularized linear regression

1.引入

1.1梯度下降法

1.2正规方程法

Regularized linear regression(正则化线性回归)----吴恩达机器学习相关推荐

最新文章

热门文章