先介绍参数学习方法和非参数学习方法：

参数学习方法：有固定数目的参数，比如线性回归和逻辑回归中的 $\theta$

非参数学习方法：参数的数目会随着训练集的大小呈线性增长，比如局部加权回归

局部加权回归(Locally Weighted Regression, Loess)

如果有一个类似下图的数据集（图片来源：https://blog.csdn.net/qsczse943062710/article/details/55657700）：

采用线性回归会出现欠拟合(underfitting),这种情况下，Loess可以很好地解决这个问题。

与线性回归对比：

线性回归的目标是最小化 $\sum \left ( y^{\left ( i \right )} -\theta ^{T}x^{\left ( i \right )}\right )^{2}$

Loess的目标是最小化 $\sum \omega ^{\left ( i \right )}\left ( y^{\left ( i \right )} -\theta ^{T}x^{\left ( i \right )}\right )^{2}$ ，其中 $\omega ^{\left ( i \right )}=exp\left ( - \frac{\left ( x^{\left ( i \right )}-x \right )^{2}}{2\iota ^{2}} \right )$

$\omega$ 的作用是使预测点的临近点在最小化目标函数中贡献大：

$\begin{vmatrix} x^{\left ( i \right )}-x \end{vmatrix} small \Rightarrow \omega ^{\left ( i \right )}\approx 1$

$\begin{vmatrix} x^{\left ( i \right )}-x \end{vmatrix}large\Rightarrow \omega ^{\left ( i \right )}\approx 0$

Loess更加注重临近点的精确拟合。

$\iota$ 控制全职随距离下降的速率。

缺点：并不能解决欠拟合和过拟合问题；当数据量很大时，要对每个带预测数据拟合一次，代价大

吴恩达——机器学习局部加权回归(Loess)相关推荐

吴恩达机器学习之逻辑回归(二分类)
吴恩达机器学习之逻辑回归逻辑回归二分类逻辑回归二分类逻辑回归案例 python代码实现(含详细代码注释): 案例中几个问题的解析不同于线性回归,逻辑回归的hθ(x)还需要用sigmoid函数处 ...
吴恩达机器学习之逻辑回归：逻辑回归的假说表示、判定边界、代价函数、简化的成本函数和梯度下降、高级悠哈、多类别分类之一对多（详细笔记，建议收藏，已有专栏）
吴恩达机器学习栏目清单专栏直达:https://blog.csdn.net/qq_35456045/category_9762715.html 文章目录 6.逻辑回归(Logistic Regres ...
吴恩达机器学习ex2:逻辑回归
吴恩达机器学习练习二:逻辑回归 1. 逻辑回归(logistic regression) 构建一个可以基于两次测试评分来评估录取可能性的分类模型. 知识点回顾: 1.1 数据可视化 #coding=u ...
局部加权回归Loess对比MFCC三角滤波(吴恩达机器学习中说，Loess算法用到了aircraft的自动驾驶中)
局部加权回归(Loess): Loess的目标是最小化, 其中的作用是使预测点的临近点在最小化目标函数中贡献大: Loess更加注重临近点的精确拟合. 这个算法中最神奇的就是这个w,局部相关性w很像 ...
吴恩达机器学习 4.逻辑回归（Logistic Regression）
1.分类问题在分类问题中,你要预测的变量yyy是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法.在分类问题中,我们尝 ...
吴恩达机器学习：逻辑回归
在上一周的课程里,Andrew Ng 为我们介绍了什么是机器学习以及监督学习中的线性回归.对于一个监督学习,我们要确定我们的预测函数,代价函数,然后利用梯度下降算法找到代价函数最小时,预测函 ...
吴恩达机器学习之逻辑回归理论部分
一.特征函数对应分类问题,我们先针对二分类问题进行讨论,对应计算机而言,分类即将数据按其特征值不同分为不同的集合,仅对应二分类问题,我们只需考虑分为:正类和负类,为此我们引入特征函数. y=1 - ...
吴恩达机器学习3——逻辑回归、正则化
机器学习第三周一.逻辑回归 1. 分类问题 1.1 分类的概念 1.2 使用线性回归来解决分类模型 1.3 逻辑回归模型 1.4 分类边界 2. 逻辑回归模型 logistic regression ...
吴恩达机器学习(五)逻辑回归练习-二分类练习
1.基础内容 (1)公式总结: (2)内容回归: 逻辑回归主要是进行二分类和多分类. 二分类中,分为线性可分和线性不可分. 对于线性回归模型,我们定义的代价函数是所有模型误差的平方和.理论上来说,我们 ...

吴恩达——机器学习局部加权回归(Loess)

局部加权回归(Locally Weighted Regression, Loess)

吴恩达——机器学习局部加权回归(Loess)相关推荐

最新文章

热门文章

吴恩达——机器学习 局部加权回归(Loess)

局部加权回归(Locally Weighted Regression, Loess)

吴恩达——机器学习 局部加权回归(Loess)相关推荐

最新文章

热门文章

吴恩达——机器学习局部加权回归(Loess)

吴恩达——机器学习局部加权回归(Loess)相关推荐