1.3 欠/过拟合，局部加权回归(Loess/LWR)及Python实现(基于随机梯度下降）

import numpy as np
import matplotlib.pyplot as plt
#定义一个正态分布，参数分别为均值，方差以及X的行向量
def guassianDistribution(mean,var,x):return 1/np.sqrt( 2 * np.pi * var )*np.exp( - (x[1]-mean) ** 2 / (2*var) )
#定义权值计算函数，带宽参数默认为0.1
def weight(xi,x,bd=0.1):diff=xi-xreturn np.exp(np.dot(diff,diff.T)/(-2 * bd**2 ))
#这里为了方便可视化，我们依旧就用二维特征(x0恒为1)
m=40
n=2
X=np.array([[1,x1] for x1 in np.random.rand(m)])
Y=np.array([guassianDistribution(0.5,0.5,x) for x in X])
#输入变量x及默认参数
input_x=np.array([1,0.6])
theta=np.array([0.0,0.0])
#学习率
a=0.1
#迭代1000次
for k in range(1000):for i in range(m):theta+=a * weight(X[i],input_x) * (Y[i]-np.dot(theta,X[i].T)) * X[i]
#画图
plt.scatter(X[:,1],Y)
plt.plot(X[:,1],np.dot(X,theta))
plt.show()

1.3 欠/过拟合，局部加权回归(Loess/LWR)及Python实现(基于随机梯度下降）相关推荐

局部加权回归LOESS（locally weighted regression）
欠拟合和过拟合首先看下面的三幅图, 第一幅拟合为了 y=θ0+θ1xy=θ_0 + θ_1x 的一次函数第二幅拟合为了y=θ0+θ1x+θ2x2y=θ_0 + θ_1x + θ_2x^2 的二次函 ...
局部加权回归LOESS
欠拟合和过拟合首先看下面的三幅图, 第一幅拟合为了 y=θ0+θ1xy=θ0+θ1x 的一次函数第二幅拟合为了y=θ0+θ1x+θ2x2y=θ0+θ1x+θ2x2 的二次函数第三幅拟合为了 y= ...
吴恩达——机器学习局部加权回归(Loess)
先介绍参数学习方法和非参数学习方法: 参数学习方法:有固定数目的参数, 比如线性回归和逻辑回归中的非参数学习方法:参数的数目会随着训练集的大小呈线性增长,比如局部加权回归局部加权回归(Locall ...
机器学习笔记：局部加权回归 LOESS
0 前言对于预测问题,回归中最简单的线性回归,是以线性的方法拟合出数据的趋势. 但是对于有周期性,波动性的数据,并不能简单以线性的方式拟合,否则模型会偏差较大局部加权回归(lowess)能较好的处 ...
局部加权回归Loess对比MFCC三角滤波(吴恩达机器学习中说，Loess算法用到了aircraft的自动驾驶中)
局部加权回归(Loess): Loess的目标是最小化, 其中的作用是使预测点的临近点在最小化目标函数中贡献大: Loess更加注重临近点的精确拟合. 这个算法中最神奇的就是这个w,局部相关性w很像 ...
机器学习实战--局部加权线性回归（LWR）
一概述通常情况下的线性拟合不能很好地预测所有的值,因为它容易导致欠拟合(under fitting),比如数据集是一个钟形的曲线.而多项式拟合能拟合所有数据,但是在预测新样本的时候又会变得很糟糕 ...
多项式拟合(polyfit)及局部加权回归(Lowess)对二维数据基础规律和离群特征学习的分析对比
概述: 1.当计算序列中离群区间的效应系数时,左右两侧增加的非离群区间应该尽量长些,离群程度越强,增加的非离群区间应越长, 多项式和Lowess才可能不被拉起.由于无法准确控制拉起的程度,则统一不拉起 ...
R语言平滑算法LOESS局部加权回归、三次样条、变化点检测拟合电视节目《白宫风云》在线收视率
最近我们被客户要求撰写关于LOESS的研究报告,包括一些图形和统计输出. 此示例基于电视节目的在线收视率.我们将从抓取数据开始. # 加载软件包. packages <- c("gpl ...
局部加权线性回归(Local Weighted Linear Regression)+局部加权回归+局部线性回归
局部加权线性回归(Local Weighted Linear Regression)+局部加权回归+局部线性回归 locally weighted scatterplot smoothing,LOWE ...

1.3 欠/过拟合，局部加权回归(Loess/LWR)及Python实现(基于随机梯度下降）

1.3 欠/过拟合，局部加权回归(Loess/LWR)及Python实现(基于随机梯度下降）相关推荐

最新文章

热门文章