机器学习-学习笔记3.1-局部加权回归
局部加权紧接着上面的线性回归中参数求解来继续讲吧。还是以上面的房屋价格的预测,它的中心思想是在对参数进行求解的过程中,每个样本对当前参数值的影响是有不一样的权重的。比如上节中我们的回归方程为(这个地方用矩阵的方法来表示Ɵ表示参数,i表示第i个样本,h为在Ɵ参数下的预测值):
我们的目标是让
最小,然后求出来Ɵ,再代入h中就可以得到回归方程了。
但是如果类似以下的样本,他们的对应图如下:
如果用之前的方法,图中线为求出的回归方程,那么在x的取值和真实差别很大,这个情况叫做欠拟合。那么我们怎么办呢?我们的主要思想就是只对x的附近的一些样本进行选择,根据这些样本得到x附近这些样本所推倒出来的回归方程,那么此时我们得到的回归方程就比较拟合样本数据,得到的效果图如下:
我们解的思路如下,加入一个加权因子:
重新构造新的j(x)
Exp是以e为低的指数,这个时候可以知道如果x距离样本很远的时候w(i)=0,否则为1,当我们预测一个值的时候就需要我们重新来计算当前的参数Ɵ的值,然后构造回归方程,计算当前的预测值。
这就是局部加权回归LWR!
转载于:https://www.cnblogs.com/boqun1991/p/4113648.html
机器学习-学习笔记3.1-局部加权回归相关推荐
- 机器学习学习笔记(13)----岭回归(Ridge回归)
在<机器学习学习笔记(4)----线性回归的数学解析>,我们通过计算线性模型的损失函数的梯度,得到使得损失函数为最小值的的解析解,被称之为普通最小二乘法: (1) 公式(1)能够求得 ...
- python123英文字符的鲁棒_Robust Locally Weighted Regression 鲁棒局部加权回归 -R实现
鲁棒局部加权回归 Ljt 作为一个初学者,水平有限,欢迎交流指正. 算法参考文献: (1) Robust Locally Weighted Regression and Smoothing Scatt ...
- 机器学习笔记(一)-局部加权回归(Locally weighted regression)LWR
在网上通过看斯坦福大学的机器学习课程,觉得讲的非常好.同时,为了加强自己的记忆,决定将自己学到的东西和一些理解记录下来,希望有所收获.废话不多说,直接开始笔记: 局部加权回归(locally weig ...
- 机器学习笔记:局部加权回归 LOESS
0 前言 对于预测问题,回归中最简单的线性回归,是以线性的方法拟合出数据的趋势. 但是对于有周期性,波动性的数据,并不能简单以线性的方式拟合,否则模型会偏差较大 局部加权回归(lowess)能较好的处 ...
- 局部加权回归(HGL的机器学习笔记3)
局部加权回归(Locally Weighted Regression, LWR) 局部加权回归使一种非参数方法(Non-parametric).在每次预测新样本时会重新训练临近的数据得到新参数值.意思 ...
- 局部加权回归、逻辑斯蒂回归、感知器算法—斯坦福ML公开课笔记3
转载请注明:http://blog.csdn.net/xinzhangyanxiang/article/details/9113681 最近在看Ng的机器学习公开课,Ng的讲法循循善诱,感觉提高了不少 ...
- 吴恩达机器学习学习笔记第七章:逻辑回归
分类Classification分为正类和负类 (规定谁是正谁是负无所谓) 吴恩达老师举例几个例子:判断邮箱是否是垃圾邮箱 一个在线交易是否是诈骗 一个肿瘤是良性的还是恶性 如果我们用之前学习的lin ...
- 多项式拟合(polyfit)及局部加权回归(Lowess)对二维数据基础规律和离群特征学习的分析对比
概述: 1.当计算序列中离群区间的效应系数时,左右两侧增加的非离群区间应该尽量长些,离群程度越强,增加的非离群区间应越长, 多项式和Lowess才可能不被拉起.由于无法准确控制拉起的程度,则统一不拉起 ...
- 局部加权回归Loess对比MFCC三角滤波(吴恩达机器学习中说,Loess算法用到了aircraft的自动驾驶中)
局部加权回归(Loess): Loess的目标是最小化, 其中 的作用是使预测点的临近点在最小化目标函数中贡献大: Loess更加注重临近点的精确拟合. 这个算法中最神奇的就是这个w,局部相关性w很像 ...
- 吴恩达——机器学习 局部加权回归(Loess)
先介绍参数学习方法和非参数学习方法: 参数学习方法:有固定数目的参数, 比如线性回归和逻辑回归中的 非参数学习方法:参数的数目会随着训练集的大小呈线性增长,比如局部加权回归 局部加权回归(Locall ...
最新文章
- angular4 note
- 2018-8-22-粒子滤波
- 手把手 | 20行Python代码教你批量将PDF转为Word
- Linux命令之ln软链接
- java二柱子_japonensisjava导航
- clover configurator_枯木逢春,用Clover让老电脑从NVME SSD启动 再用叁年没问题
- spring 动态数据源
- 1038. Recover the Smallest Number (30)
- jna 使用_使用JNA的透明JFrame
- 大工17春计算机基础,大工12春《计算机应用基础》在线测试3答案
- 2014-3-16 星期天 晴[改变生活规律,稳中求进]
- 白板推导系列Pytorch-隐马尔可夫模型-解码问题
- word2vec 数学原理
- 【图像评价】基于matlab GUI图像质量评价【含Matlab源码 1373期】
- 黑马程序员3天带你玩转Python深度学习TensorFlow框架学习笔记
- 计算机切换到桌面,电脑桌面切换软件 电脑桌面快速切换
- 一篇文章从了解到入门shell
- 2022年企业CS1升级到CS2需要什么条件 ?有什么流程?
- 电路-第五版-邱关源-习题解答-第一章
- 建筑、结构和机电应的建模都要会Revit等软件?提高效率的revit插件?
热门文章
- html5 jquery音乐播放器,play()和pause()不起作用
- Windows切换窗口
- linux malloc 内存不足,linux中 对malloc/free分配及释放内存空间时发生的泄漏问题
- BZOJ1096[ZJOI2007] 仓库建设
- mongodb linux用户验证登陆,转载:linux下mongodb的用户查询_【Linux】MongoDB创建数据库(开启用户认证)...
- mac vscode 背景半透明_武装Mac|常用MacBook软件分类汇总
- 全链路跟踪对比,skywalking、zipkin等
- asp在线html编辑器,ASP下使用FCKeditor在线编辑器的方法
- android 如何判断是否有网络,Android中判断网络连接是否可用的方法总结
- 去重 属性_亿万级海量数据去重软方法,spark/flink/mr等通用