自适应学习率算法.基于阿米霍步长准则的线性回溯搜索算法

解决在梯度下降等算法中，学习率步长的问题。

二分精确搜索法把梯度转化为和学习率的函数，问题转化为找学习率的问题，然后寻找梯度最低的时候的学习率是多少，在此过程中用了二分法查找学习率。是一种精确搜索方法

阿米霍步长准则是一个模糊搜索方法，梯度的变化满足一定的程度，不如此处梯度是9，设定系数0.3，下一点梯度为2.7

import numpy as np
def ArmijoBacktrack(fun,d,x,alpha,c=0.3):""":param fun: 目标函数，是个函数:param d: 当前点x处的导数，因为要寻找的是当前点处的最佳学习速率alpha，当前点的梯度是固定的，是个值，向量:param x: 当前点，向量:param alpha: 初始学习速率:param c: 参数c:return: 返回找到的学习速率"""now=fun(x)nextv=fun(x-alpha*d)count=50while nextv < now and count>0:"""寻找最大的alpha"""alpha = alpha*2nextv=fun(x-alpha*d)count -=1iterstep=50slope=np.dot(d,d)while nextv > now - slope * c * alpha and iterstep>0:"""折半搜索"""alpha=alpha/2nextv=fun(x-alpha*d)iterstep-=1return alphadef GradientDescent(fun,dfun,x,alpha,itersteps):for i in range(itersteps):d=dfun(x)x-= d * alphaprint fun(x)def ArmijoGradientDescent(fun,dfun,x,alpha,itersteps):for i in range(itersteps):d=dfun(x)alpha=ArmijoBacktrack(fun,d,x,alpha)x-=d*alphaprint '{},{}'.format(alpha,fun(x))def fun1(args):"""x^2+y^4+z^6:param args::return:"""return args[0]**2+args[1]**4+args[2]**6def dgfun1(args):"""x^2+y^4+z^6:param args::return:"""return np.array([2*args[0],4*args[1]**3,6*args[2]**5])if __name__=='__main__':args=np.array([3,2,2],dtype=float)# GradientDescent(fun1,dgfun1,args,0.01,1000)ArmijoGradientDescent(fun1,dgfun1,args,0.01,1000)# print fun1(args)# print 9+16+64# print dgfun1(args)#print ArmijoBacktrack(fun1,d,args,0.1)# ArmijoBacktrack(fun1,dgfun1,args,0.001)# GradientDescent(fun1,dgfun1,args,0.001,10000)# d=dgfun1(args)

自适应学习率算法.基于阿米霍步长准则的线性回溯搜索算法相关推荐

从动力学角度看优化算法：自适应学习率算法
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP,神经网络个人主页丨kexue.fm 在从动力学角度看优化算法SGD:一些小启示一文中,我们提出 SGD 优化算法跟常微分方程(ODE) ...
自适应滤波器算法综述以及代码实现
作者:凌逆战文章地址:自适应滤波器算法综述以及代码实现 - 凌逆战 - 博客园并不是每个自适应滤波器的的代码我都实现了,我需要一定的时间,一有时间我就会来更新代码,记得关注我,如果有问题记得反馈 ...
回声消除中的自适应滤波算法综述
作者:凌逆战博客园地址:https://www.cnblogs.com/LXP-Never/p/11773190.html 自适应回声消除原理声学回声是指扬声器播出的声音在接受者听到的同时,也通过 ...
LMS自适应滤波器算法及其改进
-- 年初DSP课程期末设计时为了答辩做的PPT,内容背的滚瓜烂熟,给老师留下了深刻的印象,想必整个系也没有第二个人像我这么上心了,因此最后决定把PPT放到博客上:此外因为不希望PPT上有太多字,所以 ...
基于自适应巡视算法的工业物联网异常行为检测
[摘要]针对当前物联网节点易受攻击的问题,提出一种基于自适应巡视算法的工业物联网异常行为检测方法.根据数据包完整性.数据包传输率和传输延迟等异常行为动态更新物联网节点信誉度,结合信誉阈值自适应调整 ...
Matlab实现基于二维伽马函数的光照不均匀图像自适应校正算法
Matlab程序: %% % 基于二维伽马函数的光照不均匀图像自适应校正算法 % %% clc,close all; tic; im=imread('你的图片.jpg'); figure; imsho ...
基于圆展开自适应三边测量算法的室内定位
基于圆展开自适应三边测量算法的室内定位具有无线通信功能的移动设备的日益普及刺激了室内定位服务的增长.室内定位用于实时定位设备位置,方便访问.然而,由于大量障碍物,与室外定位相比,室内定位具有挑战性. ...
基于信息共享搜索策略的自适应灰狼算法-附代码
基于信息共享搜索策略的自适应灰狼算法文章目录基于信息共享搜索策略的自适应灰狼算法 1.灰狼优化算法 2. 改进灰狼优化算法 2.1 Iterative 混沌映射初始化 2.2 非线性自适应收敛因子 ...
基于DCT离散余弦变换的自适应水印算法的设计
文章目录前言一.目的和需求分析 1.1项目设计目的 1.2项目需求分析二.图像预处理 2.1 图像预处理的作用 2.2 Logistic混沌映射置乱 2.2 细胞自动机处理均值滤波平滑处理三 ...

自适应学习率算法.基于阿米霍步长准则的线性回溯搜索算法

自适应学习率算法.基于阿米霍步长准则的线性回溯搜索算法相关推荐

最新文章

热门文章