0 前言

对于预测问题，回归中最简单的线性回归，是以线性的方法拟合出数据的趋势。

但是对于有周期性，波动性的数据，并不能简单以线性的方式拟合，否则模型会偏差较大

局部加权回归（lowess）能较好的处理这种问题。可以拟合出一条符合整体趋势的线，进而做预测。‘

同时，局部加权回归（lowess）也能较好的解决平滑问题。

在做数据平滑的时候，会有遇到有趋势或者季节性的数据，对于这样的数据，我们不能简单地将均值正负3倍标准差以外的点视为异常值剔除，需要考虑到趋势性等条件。

使用局部加权回归，可以拟合一条趋势线，将该线作为基线，偏离基线距离较远的则是真正的异常值点。

1 基本思想

以一个点x为中心，向前&后截取一段长度为frac的数据，对于该段数据用权值函数w做一个加权线性回归

记 $(x,\hat{y})$ 为该回归线的中心值，其中 $\hat{y}$ 为拟合后曲线对应值。

对于所有的n个数据点则可以分别做出一条加权回归线，每条回归线的中心值的连线则为这段数据的Lowess曲线。

在局部加权回归中，可以调整的参数有：

步长 frac	应该截取多长的数据，来进行局部回归
权值函数w	这个后面会详细说
迭代次数it	进行几次局部加权回归迭代
回归间隔delta	不一定每个数据点都需要拟合一条加权回归先，可以间隔几个算一次，中间的点用某种插值计算即可

2 权值函数

2.1 权值函数需要满足的条件

（1） $\left\{\begin{matrix} W(x)>0, |x|<1 \\ W(x)=0, |x| \ge 1 \end{matrix}\right.$

（2）W(x)=W(-x)

（3）当x≥0的时候，W(x)非增

【换句话说，希望权值函数最中间（0）的值较大，两侧的值较小】

2.2 常见的权值函数

2.2.1 B函数（二次函数）

2.2.2 W函数（三次函数）

2.2.3 二次函数和三次函数的取舍

二次与三次函数的区别在于，三次函数对于周围权值降速更快，在平滑最初时候效果好

因此对于权值函数选取，第一次迭代适用W函数（三次函数），之后迭代使用B函数（二次函数）。

2.3 权值函数的使用方法

1 将数据段[x-frac/2,x+frac/2] 映射到[-1,1]

2 带入使用的权值函数W(x)，计算出每个点的wi

3 使用加权回归得到x点附近的局部加权回归曲线：

机器学习笔记：线性回归_UQI-LIUWJ的博客-CSDN博客

3 回归迭代（鲁棒局部加权回归）

我们记：ground truth为y，预测值为 $\hat{y}$ ,残差为 $e=y-\hat{y}$ ，e的中位数为s

于是我们有：权值调整附加值，其中修正后的权值为

3.1 迭代过程

1 使用W函数作为第一轮的权值函数，求出w

2 将w带入加权回归，求出 $\hat{y}$

3 计算e和s

4 以B函数作为之后轮次的修正权值函数，求出

5 计算修正后的权值

6 以修正之后的权值作为新的w，重复2，3，4，5的迭代过程

机器学习笔记：局部加权回归 LOESS相关推荐

局部加权回归Loess对比MFCC三角滤波(吴恩达机器学习中说，Loess算法用到了aircraft的自动驾驶中)
局部加权回归(Loess): Loess的目标是最小化, 其中的作用是使预测点的临近点在最小化目标函数中贡献大: Loess更加注重临近点的精确拟合. 这个算法中最神奇的就是这个w,局部相关性w很像 ...
吴恩达——机器学习局部加权回归(Loess)
先介绍参数学习方法和非参数学习方法: 参数学习方法:有固定数目的参数, 比如线性回归和逻辑回归中的非参数学习方法:参数的数目会随着训练集的大小呈线性增长,比如局部加权回归局部加权回归(Locall ...
局部加权回归LOESS（locally weighted regression）
欠拟合和过拟合首先看下面的三幅图, 第一幅拟合为了 y=θ0+θ1xy=θ_0 + θ_1x 的一次函数第二幅拟合为了y=θ0+θ1x+θ2x2y=θ_0 + θ_1x + θ_2x^2 的二次函 ...
局部加权回归LOESS
欠拟合和过拟合首先看下面的三幅图, 第一幅拟合为了 y=θ0+θ1xy=θ0+θ1x 的一次函数第二幅拟合为了y=θ0+θ1x+θ2x2y=θ0+θ1x+θ2x2 的二次函数第三幅拟合为了 y= ...
1.3 欠/过拟合，局部加权回归(Loess/LWR)及Python实现(基于随机梯度下降）
import numpy as np import matplotlib.pyplot as plt #定义一个正态分布,参数分别为均值,方差以及X的行向量 def guassianDistribut ...
机器学习笔记（一）-局部加权回归（Locally weighted regression）LWR
在网上通过看斯坦福大学的机器学习课程,觉得讲的非常好.同时,为了加强自己的记忆,决定将自己学到的东西和一些理解记录下来,希望有所收获.废话不多说,直接开始笔记: 局部加权回归(locally weig ...
局部加权回归(HGL的机器学习笔记3）
局部加权回归(Locally Weighted Regression, LWR) 局部加权回归使一种非参数方法(Non-parametric).在每次预测新样本时会重新训练临近的数据得到新参数值.意思 ...
局部加权回归、逻辑斯蒂回归、感知器算法—斯坦福ML公开课笔记3
转载请注明:http://blog.csdn.net/xinzhangyanxiang/article/details/9113681 最近在看Ng的机器学习公开课,Ng的讲法循循善诱,感觉提高了不少 ...
拓端tecdat|R语言用LOESS(局部加权回归)季节趋势分解（STL）进行时间序列异常检测
最近我们被客户要求撰写关于LOESS(局部加权回归)的研究报告,包括一些图形和统计输出. 这篇文章描述了一种对涉及季节性和趋势成分的时间序列的中点进行建模的方法.我们将对一种叫做STL的算法进行研究, ...

机器学习笔记：局部加权回归 LOESS

0 前言

1 基本思想

2 权值函数

2.1 权值函数需要满足的条件