LMS Algorithm 最小均方算法

承接上一篇博文中的线性回归中的的cost function。我们想要找出能使得 J(θ)最小的θ（也叫weights）。

其中J(θ)如下所示：

为了做到使其值最小，让我们使用一个search algorithm，起先对θ做初始猜测，并且不断的改变θ来使得J(θ)最小，直到我们有希望地收敛于θ值最小化J(θ)。具体来说，我们考虑一下梯度下降算法（gradient desent algorithm）。

一、梯度下降算法（gradient desent algorithm）、batch gradient descent（批梯度下降）、stochastic gradient descent (also incremental gradient descent）随机梯度下降（递增梯度下降）

它开始于某个初始化的θ，并且不断地执行update（更新）：

这个更新同时执行了j从0到n。

参数： α是learning rate（学习率）。

这是一个很自然的算法，它就是不断重复执行一个朝J的最大减速方向（最陡下降方向）的步骤。

为了执行这个算法，我们必须弄清楚等式右边的偏导数项是什么。让我们首先解决这个问题，如果我们只有一个训练样例（x,y）（training sample）,那么我们就可以忽略J的定义公式中的求和sum。

针对一个单一的训练样例，给定update rule：

（这个rule就叫做LMS update rule，也叫做Widrow-Hoff learning rule）

当只有一个训练样例的时候，我们得出了LMS rule。对于多个示例的训练集，有两种方法可以修改此方法。

第一种方法就是用以下的算法替代它，

此算法查看每个步骤中整个训练集中的每个示例，并且也叫做batch gradient descent（批梯度下降）

第二种方法可以代替批梯度下降算法，同样也很好：

在这个算法中，我们反复运行训练集，并且每次遇到训练样例时，我们仅根据与单个训练样例相关的误差梯度来更新参数。这个算法叫做 stochastic gradient descent (also incremental gradient descent）随机梯度下降（递增梯度下降）。 batch gradient descent在执行一个step之前都要浏览一下整个训练集，但是这在m非常大的情况下是一个costly 的操作，同时，stochastic gradient descent 就可以make progress，并且持续对它所look at的每个样例make progress.因此，通常情况下，stochastic gradient descent 得到接近使得J最小值的θ要比batch gradient descent要更加快。但是要注意,它可能永远不会“收敛”到最低限度,和参数θ将振荡最小的J(θ);但在实践中，大部分接近最小值的值都是合理的接近最小值的近似。由于这些原因，特别是当训练集很大时，随机梯度下降通常比批量梯度下降更受欢迎。

转载于:https://www.cnblogs.com/BlueBlue-Sky/p/9316514.html

LMS Algorithm 最小均方算法相关推荐

神经网络与机器学习笔记—LMS（最小均方算法）和学习率退火
神经网络与机器学习笔记-LMS(最小均方算法)和学习率退火 LMS算法和Rosenblatt感知器算法非常想,唯独就是去掉了神经元的压制函数,Rosenblatt用的Sgn压制函数,LMS不需要压制 ...
最小均方算法（LMS）
一.LMS算法全称Least mean square 算法.中文是最小均方算法. 感知器和自适应线性元件在历史上几乎是同时提出的,并且两者在对权值的调整的算法非常相似.它们都是基于纠错学习规则 ...
python 最小值算法_机器学习:Python实现最小均方算法(lms)
lms算法跟Rosenblatt感知器相比,主要区别就是权值修正方法不一样.lms采用的是批量修正算法,Rosenblatt感知器使用的是单样本修正算法.两种算法都是单层感知器,也只适用于线性可分的 ...
lms算法的verilog实现_最小均方算法（LMS Algorithm）理论及DSP实现
LMS算法可认为是机器学习里面最基本也比较有用的算法,神经网络中对参数的学习使用的就是LMS的思想,在通信信号处理领域LMS也非常常见,比如自适应滤波器. 本文主要对LMS(Least Mean Sq ...
最小均方算法（LMS Algorithm）理论及DSP实现
LMS算法可认为是机器学习里面最基本也比较有用的算法,神经网络中对参数的学习使用的就是LMS的思想,在通信信号处理领域LMS也非常常见,比如自适应滤波器. 本文主要对LMS(Least Mean Sq ...
机器学习算法｜LMS(Least Mean Square)最小均方算法公式推导
最小均方算法二分类（基于双月数据集）
1.生成数据集 import numpy as np import matplotlib.pyplot as pltclass moon_data_class(object):def __init__ ...
光纤 matlab,matlab – 均衡光纤通道的最小均方
我使用LMS的Matlab代码(最小均方算法)来均衡通道的效果,它适用于在MATLAB中生成的抽头延迟通道,但对于使用光谱系统程序的光纤通道,它不能正常工作,我认为问题在于光纤脉冲响应,因为它不是有限 ...
阵列信号处理——LMS自适应波束形成算法
一.LMS自适应波束形成算法最小均方算法(LMS)采用迭代模式,在每个迭代步骤n时刻的权向量加上一个校正量后,即组成n + 1时刻的权向量,用它逼近最佳权向量.LMS自适应波束形成算法如下表所示: ...

LMS Algorithm 最小均方算法

LMS Algorithm 最小均方算法相关推荐

最新文章

热门文章