线性回归

先复习一下线性回归的损失函数：
$J(w)=/sum_{i=1}^{m}(y_{i}-x_{i}^{T}w)^2$
我们的目标是使该函数最小，用矩阵表示为：
$(y-Xw)^{T}(y-Xw)$
对参数w求导得：

令上式等于0可估计出回归系数w得最优解：
$/hat{w}=(X^{T}X)^{-1}X^{T}y$
但线性回归往往容易欠拟合，除了使用更复杂得函数拟合，还可以使用局部加权线性回归(locally weighted linear regression)

局部加权线性回归(LWLR)

在该算法中我们给待预测点附件得每个点赋予一定的权重，即在计算时我们更关注附近的数据，离的远的数据就不管了。
常使用高斯核来给数据点赋权重

高斯核

$w(i,i)=e^{-/frac{(x_{i}-x)^2}{2*k^{2}}}$

局部加权线性回归损失函数

$J(w)=/sum_{i=1}^{m}W^{i}(x_{i}^{T}w-y)^2$

同理，解的回归系数为损失函数对w求偏导，令偏导等于0求解w

回归系数

$/hat{w}=(X^{T}WX)^{-1}X^{T}Wy$

举个例子我们要拟合的数据如下，显然线性回归会欠拟合：

使用局部加权线性回归：

import matplotlib.pyplot as plt
import numpy as np
import mathdata = np.loadtxt('ex0.txt')def lwlr(testpoint, xArr, yArr, k):m = xArr.shape[0]   # 有多少行,200weights = np.mat(np.eye(m))  # (200,200)的单位矩阵for j in range(m):diffMat = testpoint - xArr[j, :]  # xArr的j行所有值weights[j, j] = np.exp(diffMat * diffMat.T / (-2.0*k**2))  # 这一直说我没对齐，卡了半天，最后把输入的X，mat一下就好了xTx = xArr.T * (weights * xArr)if np.linalg.det(xTx) == 0.0:print("矩阵为奇异矩阵,不能求逆")returnws = xTx.I * (xArr.T * (weights * yArr.T))return testpoint * wsdef lwlrTest(testArr, xArr, yArr, k):m = testArr.shape[0]  # 样本数200yHat = np.zeros(m)  #for i in range(m):yHat[i] = lwlr(testArr[i], xArr, yArr, k)return yHatX = np.mat(data[:, :2])
y = np.mat(data[:, -1])
yHat = lwlrTest(X, X, y, 0.01)  # 预测值yHat
srtInd = X[:, 1].argsort(0)  # 按特征的大小(x轴)排序,画折线图必须先排序, srtInd = [[151],[24]]
xSort = X[srtInd][:, -1]plt.plot(xSort[:, -1], yHat[srtInd], c='r')
plt.scatter(data[:, -2], data[:, -1])
plt.show()

如果使用线性回归会欠拟合：

机器学习:局部加权线性回归(Locally Weighted Linear Regression)相关推荐

局部加权线性回归(Locally weighted linear regression)
这里有现成的,引用一下.http://www.cnblogs.com/czdbest/p/5767138.html 转载于:https://www.cnblogs.com/imageSet/p/757 ...
局部加权线性回归(Local Weighted Linear Regression)+局部加权回归+局部线性回归
局部加权线性回归(Local Weighted Linear Regression)+局部加权回归+局部线性回归 locally weighted scatterplot smoothing,LOWE ...
机器学习--局部加权线性回归
文章目录局部加权线性回归预测鲍鱼年龄局部加权线性回归具体理论见上次笔记<线性回归> 预测鲍鱼年龄 import numpy as npclass LocalWeightedLine ...
机器学习代码实战——线性回归(多变量)（Linear Regression）
文章目录 1.实验目的 2.导入必要模块并读取数据 3.对数据进行处理 3.1.experience字段数字化 3.2.test_score(out of 10)字段NaN替换为平均数 4.训练+预测 ...
【机器学习】线性回归之概率解释及局部加权线性回归
Probabilistic interpretation 我们应该想这样一个问题:当我们讨论回归问题时,我们为什么要最小化平方损失函数?在CS229的课程中,吴恩达教授给我们做了详细的概率解释.现总结 ...
机器学习基础（三十） —— 线性回归、正则化（regularized）线性回归、局部加权线性回归（LWLR）
1. 线性回归线性回归根据最小二乘法直接给出权值向量的解析解(closed-form solution): w=(XTX)−1XTy w=(\mathbf X^T\mathbf X)^{-1}\ma ...
机器学习（回归五）——线性回归-局部加权线性回归
前面博客有讲到,样本如果不是线性的可以通过多项式扩展,映射到多维空间来拟合.如此之外,还可以做一个局部加权线性回归(Locally Weighted Linear Regression,LWLR). ...
吴恩达——机器学习局部加权回归(Loess)
先介绍参数学习方法和非参数学习方法: 参数学习方法:有固定数目的参数, 比如线性回归和逻辑回归中的非参数学习方法:参数的数目会随着训练集的大小呈线性增长,比如局部加权回归局部加权回归(Locall ...
1.9 程序示例--局部加权线性回归-机器学习笔记-斯坦福吴恩达教授
程序示例–局部加权线性回归现在,我们在回归中又添加了 JLwr() 方法用于计算预测代价,以及 lwr() 方法用于完成局部加权线性回归: # coding: utf-8 # linear_regr ...

机器学习:局部加权线性回归(Locally Weighted Linear Regression)

线性回归

局部加权线性回归(LWLR)

高斯核

局部加权线性回归损失函数

回归系数

机器学习:局部加权线性回归(Locally Weighted Linear Regression)相关推荐

最新文章

热门文章