冲量(momentum)的原理与Python实现
冲量(momentum)的原理与Python实现
前言
梯度下降法(Gradient Descent)是机器学习中最常用的优化方法之一,常用来求解目标函数的极值。
其基本原理非常简单:沿着目标函数梯度下降的方向搜索极小值(也可以沿着梯度上升的方向搜索极大值)。
但是如何调整搜索的步长(也叫学习率,Learning Rate)、如何加快收敛速度以及如何防止搜索时发生震荡却是一门值得深究的学问。
在上篇博客《【梯度下降法】一:快速教程、Python简易实现以及对学习率的探讨》中我们简单分析了学习率大小对搜索过程的影响,发现:
- 学习率较小时,收敛到极值的速度较慢。
- 学习率较大时,容易在搜索过程中发生震荡。
因此本篇博客将简单讲解“冲量”的原理以及如何用“冲量”来解决上述两个问题。
全部源代码可在本人的GitHub:monitor1379中下载。
冲量:momentum
“冲量”这个概念源自于物理中的力学,表示力对时间的积累效应。
在普通的梯度下降法x += v
中,每次x
的更新量v
为v = - dx * lr
,其中dx
为目标函数func(x)
对x
的一阶导数,。
当使用冲量时,则把每次x
的更新量v
考虑为本次的梯度下降量- dx * lr
与上次x
的更新量v
乘上一个介于[0, 1]
的因子momentum
的和,即v = - dx * lr + v * momemtum
。
从公式上可看出:
- 当本次梯度下降
- dx * lr
的方向与上次更新量v
的方向相同时,上次的更新量能够对本次的搜索起到一个正向加速的作用。 - 当本次梯度下降
- dx * lr
的方向与上次更新量v
的方向相反时,上次的更新量能够对本次的搜索起到一个减速的作用。
使用冲量的梯度下降法的Python代码如下:
import numpy as np
import matplotlib.pyplot as plt# 目标函数:y=x^2
def func(x):return np.square(x)# 目标函数一阶导数:dy/dx=2*x
def dfunc(x):return 2 * xdef GD_momentum(x_start, df, epochs, lr, momentum):"""带有冲量的梯度下降法。:param x_start: x的起始点:param df: 目标函数的一阶导函数:param epochs: 迭代周期:param lr: 学习率:param momentum: 冲量:return: x在每次迭代后的位置(包括起始点),长度为epochs+1"""xs = np.zeros(epochs+1)x = x_startxs[0] = xv = 0for i in range(epochs):dx = df(x)# v表示x要改变的幅度v = - dx * lr + momentum * vx += vxs[i+1] = xreturn xs
为了查看momentum大小对不同学习率的影响,此处设置学习率为lr = [0.01, 0.1, 0.6, 0.9]
,冲量依次为momentum = [0.0, 0.1, 0.5, 0.9]
,起始位置为x_start = -5
,迭代周期为6。测试以及绘图代码如下:
def demo2_GD_momentum():line_x = np.linspace(-5, 5, 100)line_y = func(line_x)plt.figure('Gradient Desent: Learning Rate, Momentum')x_start = -5epochs = 6lr = [0.01, 0.1, 0.6, 0.9]momentum = [0.0, 0.1, 0.5, 0.9]color = ['k', 'r', 'g', 'y']row = len(lr)col = len(momentum)size = np.ones(epochs+1) * 10size[-1] = 70for i in range(row):for j in range(col):x = GD_momentum(x_start, dfunc, epochs, lr=lr[i], momentum=momentum[j])plt.subplot(row, col, i * col + j + 1)plt.plot(line_x, line_y, c='b')plt.plot(x, func(x), c=color[i], label='lr={}, mo={}'.format(lr[i], momentum[j]))plt.scatter(x, func(x), c=color[i], s=size)plt.legend(loc=0)plt.show()
运行结果如下图所示,每一行的图的学习率lr一样,每一列的momentum一样,最左列为不使用momentum时的收敛情况:
简单分析一下运行结果:
- 从第一行可看出:在学习率较小的时候,适当的momentum能够起到一个加速收敛速度的作用。
- 从第四行可看出:在学习率较大的时候,适当的momentum能够起到一个减小收敛时震荡幅度的作用。
从上述两点来看,momentum确实能够解决在篇头提到的两个问题。
然而在第二行与第三行的最后一列图片中也发现了一个问题,当momentum较大时,原本能够正确收敛的时候却因为刹不住车跑过头了。那么怎么继续解决这个新出现的问题呢?下一篇博客《【梯度下降法】三:学习率衰减因子(decay)的原理与Python实现》将介绍如何使用学习率衰减因子decay来让学习率随着迭代周期不断变小,让梯度下降法收敛时的“震荡”与“跑偏”进一步减少的方法。
冲量(momentum)的原理与Python实现相关推荐
- 梯度下降法快速教程 | 第二章:冲量(momentum)的原理与Python实现
北京 | 深度学习与人工智能研修 12月23-24日 再设经典课程 重温深度学习阅读全文> 01 前言 梯度下降法(Gradient Descent)是机器学习中最常用的优化方法之一,常用来求解 ...
- 梯度下降法快速教程 | 第三章:学习率衰减因子(decay)的原理与Python实现
北京 | 深度学习与人工智能 12月23-24日 再设经典课程 重温深度学习阅读全文> 正文共3017个字.11张图.预计阅读时间:8分钟 前言 梯度下降法(Gradient Descent)是 ...
- python gdbt+fm_GBDT回归的原理及Python实现
提到GBDT回归相信大家应该都不会觉得陌生(不陌生你点进来干嘛[捂脸]),本文就GBDT回归的基本原理进行讲解,并手把手.肩并肩地带您实现这一算法. 完整实现代码请参考本人的p...哦不是...git ...
- 手把手教你EMD算法原理与Python实现(更新)
Rose今天主要介绍一下EMD算法原理与Python实现.关于EMD算法之前介绍过<EMD算法之Hilbert-Huang Transform原理详解和案例分析>, SSVEP信号中含有自 ...
- 信号处理之频谱原理与python实现
目录 频谱分析 FFT频谱分析原理 下面就用python案例进行说明 案例1 案例2 短时傅里叶变换STFT 本分享为脑机学习者Rose整理发表于公众号:脑机接口社区.QQ交流群:941473018 ...
- 倒频谱原理与python实现
目录 倒频谱定义 倒频谱python案例 本教程为脑机学习者Rose发表于公众号:脑机接口社区 .QQ交流群:903290195 倒频谱定义 倒频谱可以分析复杂频谱图上的周期结构,分离和提取在密集调频 ...
- python实现逻辑回归的流程_逻辑回归原理及其python实现
September 28, 2018 7 min to read 逻辑回归原理及其python实现 原理 逻辑回归模型: $h_{\theta}(x)=\frac{1}{1+e^{-{\theta}^ ...
- 典型相关分析(cca)原理_CCA典型关联分析原理与Python案例
文章来源于"脑机接口社区" CCA典型关联分析原理与Python案例mp.weixin.qq.com Rose今天分享一下CCA的相关原理以及Python应用,CCA在EEG等脑 ...
- python kmeans聚类 对二维坐标点聚类_Kmeans均值聚类算法原理以及Python如何实现
第一步.随机生成质心 由于这是一个无监督学习的算法,因此我们首先在一个二维的坐标轴下随机给定一堆点,并随即给定两个质心,我们这个算法的目的就是将这一堆点根据它们自身的坐标特征分为两类,因此选取了两个质 ...
最新文章
- PCL中的OpenNI点云获取框架(OpenNI Grabber Framework in PCL)
- Windows系统管理大师、畅销书作者William R.Stanek的又一经典力作
- linux mount命令参数及用法详解
- java web一: xml
- 工信部发布《区块链 数据格式规范》标准(PPT全文)
- Vue组件化之VueComponent介绍
- 用vim写go代码——vim-go插件
- c语言上机作业数组,2015二级c语言上机题库
- C语言编译器之四,Turbo C等
- [Unity2D]实现人物动画帧的导入以及左右移动
- Matlab求解数组中的最大值以及它所在的位置
- 【JAVA SE基础篇】27.面向对象三大特征之封装
- Android 更改menu的背景颜色和字体颜色
- 玩乐购与京东天猫深度合作 打造云购全网最低价
- selenium模拟鼠标键盘(一)
- vue H5(移动端)双指放大图片,单指拖动图片,等图片操作,使用viewerjs
- IBM硬件默认的管理地址
- mysql命令行集锦
- 设计模式之创建型——工厂模式(3种)
- LearnOpenGL学习笔记——模板测试
热门文章
- php 服务器运行状态,检查服务器各种服务的运行状态
- $.post请求的参数在后台代码中得到为null_996难得休息,小伙打开steam网页看了一款游戏,输入密码后却习惯性按了F12研究起了JS代码...
- 查看端口被占用,被结束此端口占用
- aws lambda_通过Spring将AWS SQS用作JMS提供程序
- 不会被计算机打败的棋类游戏,电脑首次打败人类围棋冠军意味着什么?
- 不同年龄段给狗狗起名字,我命中了,你呢?
- 千万别只顾着代码不上厕所
- 过年回家抢票不求人,试试这个开源抢票神器吧!
- 涨姿势:另类的表情域名赚钱大法!!
- 开源监控系统 Prometheus 入门