欠拟合与过拟合概念和局部加权回归

underfitting欠拟合：

特征值太少，曲线就一条直线。像h(θ)=θ0+θ1x1

overfitting过拟合：

特征值太多，像h(θ)=θ0+θ1x1+θ2x2^2+θ3x3^3+……曲线就会很曲折

之前我们讲的几个算法都是参数学习算法，parametric learning algorithm，它有参数θs,现在我们要讨论非参数学习算法，这里的参数数目会随着训练集合的大小线性增加。

（

对于线性回归算法，一旦拟合出适合训练数据的参数θi’s，保存这些参数θi’s，对于之后的预测，不需要再使用原始训练数据集，所以是参数学习算法。对于局部加权线性回归算法，每次进行预测都需要全部的训练数据（每次进行的预测得到不同的参数θi’s），没有固定的参数θi’s，所以是非参数算法。

）

来看我们的第一个非参数学习算法：locally weighted regression(局部加权回归) 大概理解就是局部使用线性回归，比如现在你有个特定的x，你现在要预测它的price，如果是以前的参数算法比如linear regression那么我们会拟合出θ去使J（θ）最小化，然后返回和h(θ)。但如果用局部加权回归LWR，就只考虑特定x周围的点，局部用线性回归：

　　LWR： Fit θ to minimizePi w(i)(y(i) −θTx(i))2.

其中w(i) = exp(— (x^(i)-x)^2 / 2T^(2)) 它是权重来的，你看如果在w(i)中里面那个分子(x^(i)-x)很小的话，即离那个特定的x很近，那么w（i）就会接近e的零次方也就是1，如果(x^(i)-x)很大的话，这个w(i)就会接近0.也就是训练集中的x越接近特定那个x，对目标的贡献越大。

这玩意有点像正态分布但又不是，反正就是离x近的点权值会大，离x远的点权值小。，其图像也是个钟形的！！

w（i）里面那个分母参数τ它是叫做tow，是什么波长函数，控制了权值随距离下降的速度。 τ小相当于钟形很小，于是远离钟形中心（均值）的点下降得贼快；τ大相当于钟形很宽，远离钟形中心的点下降得也慢。

这个算法每predict一次，你你都要重新进行一遍拟合过程，然后在x处拟合出一条局部直线然后给出预测。

转载于:https://www.cnblogs.com/wangshen31/p/6905721.html

欠拟合与过拟合概念和局部加权回归相关推荐

python123英文字符的鲁棒_Robust Locally Weighted Regression 鲁棒局部加权回归 -R实现
鲁棒局部加权回归 Ljt 作为一个初学者,水平有限,欢迎交流指正. 算法参考文献: (1) Robust Locally Weighted Regression and Smoothing Scatt ...
多项式拟合(polyfit)及局部加权回归(Lowess)对二维数据基础规律和离群特征学习的分析对比
概述: 1.当计算序列中离群区间的效应系数时,左右两侧增加的非离群区间应该尽量长些,离群程度越强,增加的非离群区间应越长, 多项式和Lowess才可能不被拉起.由于无法准确控制拉起的程度,则统一不拉起 ...
R语言平滑算法LOESS局部加权回归、三次样条、变化点检测拟合电视节目《白宫风云》在线收视率
最近我们被客户要求撰写关于LOESS的研究报告,包括一些图形和统计输出. 此示例基于电视节目的在线收视率.我们将从抓取数据开始. # 加载软件包. packages <- c("gpl ...
局部加权线性回归(Local Weighted Linear Regression)+局部加权回归+局部线性回归
局部加权线性回归(Local Weighted Linear Regression)+局部加权回归+局部线性回归 locally weighted scatterplot smoothing,LOWE ...
机器学习笔记（一）-局部加权回归（Locally weighted regression）LWR
在网上通过看斯坦福大学的机器学习课程,觉得讲的非常好.同时,为了加强自己的记忆,决定将自己学到的东西和一些理解记录下来,希望有所收获.废话不多说,直接开始笔记: 局部加权回归(locally weig ...
局部加权回归LOESS（locally weighted regression）
欠拟合和过拟合首先看下面的三幅图, 第一幅拟合为了 y=θ0+θ1xy=θ_0 + θ_1x 的一次函数第二幅拟合为了y=θ0+θ1x+θ2x2y=θ_0 + θ_1x + θ_2x^2 的二次函 ...
吴恩达——机器学习局部加权回归(Loess)
先介绍参数学习方法和非参数学习方法: 参数学习方法:有固定数目的参数, 比如线性回归和逻辑回归中的非参数学习方法:参数的数目会随着训练集的大小呈线性增长,比如局部加权回归局部加权回归(Locall ...
局部加权回归LOESS
欠拟合和过拟合首先看下面的三幅图, 第一幅拟合为了 y=θ0+θ1xy=θ0+θ1x 的一次函数第二幅拟合为了y=θ0+θ1x+θ2x2y=θ0+θ1x+θ2x2 的二次函数第三幅拟合为了 y= ...
python线性加权回归_第二十一章 regression算法——线性回归局部加权回归算法（上）...
理论部分回归是统计学中最有力的工具之一.监督学习算法分为分类算法和回归算法两种,其实就是根据类别标签分布类型为离散型.连续性而定义的.顾名思义,分类算法用于离散型分布预测,如KNN.决策树.朴素贝叶 ...
STL——以鲁棒局部加权回归作为平滑方法的时间序列分解方法
摘要 STL是一种把时间序列分解为趋势项(trend component).季节项(seasonal component)和余项(remainder component)的过滤过程. STL有一个简单 ...

欠拟合与过拟合概念和局部加权回归

欠拟合与过拟合概念和局部加权回归相关推荐

最新文章

热门文章