局部加权回归LOESS（locally weighted regression）

欠拟合和过拟合

首先看下面的三幅图，

第一幅拟合为了 y=θ0+θ1xy=θ_0 + θ_1x 的一次函数
第二幅拟合为了y=θ0+θ1x+θ2x2y=θ_0 + θ_1x + θ_2x^2 的二次函数
第三幅拟合为了 y=∑5j=0θjxj y= \sum_{j=0}^5 θ_j x^j 的五次项函数

最左边的分类器模型没有很好地捕捉到数据特征，不能够很好地拟合数据，我们称为欠拟合
而最右边的分类器分类了所有的数据，也包括噪声数据，由于构造复杂，后期再分类的新的数据时，对于稍微不同的数据都会识别为不属于此类别，我们称为过拟合

局部加权回归

局部加权回归是一种非参数学习算法，这使得我们不必太担心对于自变量最高次项的选择

我们知道，对于普通的线性回归算法，想要预测 xx 点的yy值，我们通过：

通过拟合θ来找到 ∑i(y(i)−θTx(i))2\sum_i(y^{(i)} - θ^Tx^{(i)})^2 的最小值
预测的值为 θTxθ^Tx

对于局部加权回归算法，我们通过下列步骤预测 yy 的值：

通过拟合θ来找到 ∑iw(i)(y(i)−θTx(i))2\sum_i w^{(i)}(y^{(i)} - θ^Tx^{(i)})^2 的最小值
- 预测的值为 θTxθ^Tx
- 这里的 w(i)w^{(i)}是权重，它并非一个定值，我们通过调节w(i)w^{(i)}的值来确定不同训练数据对结果的影响力，
  当w(i)w^{(i)}很小时，它对应的y(i)−θTx(i)y^{(i)} - θ^Tx^{(i)}也很小，对结果的影响也很小；
  而当它很大时，其对应的y(i)−θTx(i)y^{(i)} - θ^Tx^{(i)}也很大，对结果的影响很大。
  w(i)w^{(i)}的计算方法有很多种，其中一种公式为：
  
  w(i)=exp(−(x(i)−x)22τ2)
  
  w^{(i)} = exp(-\frac{(x^{(i)}-x)^2}{2τ^2})
  它很像高斯分布，函数图类似下图，要预测的点 xx对应的中间的顶点处的自变量，可以看出，离xx处越近的地方 w(i)w^{(i)}值越大,越远的地方 w(i)w^{(i)}越小，这就使得离 x<script type="math/tex" id="MathJax-Element-4007">x</script>处近的数据对预测结果的影响更大。

局部加权回归LOESS（locally weighted regression）相关推荐

机器学习笔记（一）-局部加权回归（Locally weighted regression）LWR
在网上通过看斯坦福大学的机器学习课程,觉得讲的非常好.同时,为了加强自己的记忆,决定将自己学到的东西和一些理解记录下来,希望有所收获.废话不多说,直接开始笔记: 局部加权回归(locally weig ...
吴恩达——机器学习局部加权回归(Loess)
先介绍参数学习方法和非参数学习方法: 参数学习方法:有固定数目的参数, 比如线性回归和逻辑回归中的非参数学习方法:参数的数目会随着训练集的大小呈线性增长,比如局部加权回归局部加权回归(Locall ...
局部加权回归Loess对比MFCC三角滤波(吴恩达机器学习中说，Loess算法用到了aircraft的自动驾驶中)
局部加权回归(Loess): Loess的目标是最小化, 其中的作用是使预测点的临近点在最小化目标函数中贡献大: Loess更加注重临近点的精确拟合. 这个算法中最神奇的就是这个w,局部相关性w很像 ...
机器学习笔记：局部加权回归 LOESS
0 前言对于预测问题,回归中最简单的线性回归,是以线性的方法拟合出数据的趋势. 但是对于有周期性,波动性的数据,并不能简单以线性的方式拟合,否则模型会偏差较大局部加权回归(lowess)能较好的处 ...
局部加权回归LOESS
欠拟合和过拟合首先看下面的三幅图, 第一幅拟合为了 y=θ0+θ1xy=θ0+θ1x 的一次函数第二幅拟合为了y=θ0+θ1x+θ2x2y=θ0+θ1x+θ2x2 的二次函数第三幅拟合为了 y= ...
1.3 欠/过拟合，局部加权回归(Loess/LWR)及Python实现(基于随机梯度下降）
import numpy as np import matplotlib.pyplot as plt #定义一个正态分布,参数分别为均值,方差以及X的行向量 def guassianDistribut ...
局部加权回归（LOWESS）
文章目录核函数叶帕涅奇尼科夫(epanechnikov)核函数立方核应用核函数局部加权回归增强鲁棒性双平方函数鲁棒局部加权线性回归局部加权线性回归:local weighted re ...
python123英文字符的鲁棒_Robust Locally Weighted Regression 鲁棒局部加权回归 -R实现
鲁棒局部加权回归 Ljt 作为一个初学者,水平有限,欢迎交流指正. 算法参考文献: (1) Robust Locally Weighted Regression and Smoothing Scatt ...
局部加权线性回归(Local Weighted Linear Regression)+局部加权回归+局部线性回归
局部加权线性回归(Local Weighted Linear Regression)+局部加权回归+局部线性回归 locally weighted scatterplot smoothing,LOWE ...

局部加权回归LOESS（locally weighted regression）

欠拟合和过拟合

局部加权回归

局部加权回归LOESS（locally weighted regression）相关推荐

最新文章

热门文章