梯度下降法中的参数学习速率如何选择

梯度下降算法每次迭代，都会受到学习速率α的影响。
如果α较小，则达到收敛所需要迭代的次数就会非常高；如果α较大，则每次迭代可能不会减小代价函数的结果，甚至会超过局部最小值导致无法收敛。
根据经验，可以从以下几个数值开始试验α的值，0.001 ,0.003, 0.01, 0.03, 0.1, 0.3, 1, …
α初始值位0.001, 不符合预期乘以3倍用0.003代替，不符合预期再用0.01替代，如此循环直至找到最合适的α。然后对于这些不同的 α 值，绘制J(θ)随迭代步数变化的曲线，然后选择看上去使得 J(θ)快速下降的一个 α 值。
所以，在为梯度下降算法选择合适的学习速率α时，可以大致按3的倍数再按10的倍数来选取一系列α值，直到我们找到一个值它不能再小了，同时找到另一个值，它不能再大了。其中最大的那个 α 值，或者一个比最大值略小一些的α 值就是我们期望的最终α 值。

梯度下降法中的参数学习速率如何选择相关推荐

如何选择梯度下降法中的学习速率α（Gradient Descent Learning Rate Alpha）
梯度下降算法的任务是寻找参数θ,使之能够最小化损失函数. 那么梯度下降法中的学习速率α应该如何选择呢?通常我们画出损失函数随迭代次数增加而变化的曲线. 可能会得到如下的一条曲线,x轴表示迭代次数,y轴 ...
梯度下降法中为什么梯度的反方向是函数下降最快的方向？
梯度下降法中为什么梯度的反方向是函数下降最快的方向? 梯度是个向量,函数沿梯度方向具有最大的变化率.是因为函数在这个方向具有最大的变化率,所以冠以梯度这一概念,所以要搞清楚的是,怎么在无数个方向导数中 ...
loss下降auc下降_随机梯度下降法介绍及其参数讲解
算法介绍简单来说,梯度下降就是从山顶找一条最短的路走到山脚最低的地方.但是因为选择方向的原因,我们找到的的最低点可能不是真正的最低点.如图所示,黑线标注的路线所指的方向并不是真正的地方. 既然是选择 ...
梯度下降法中BGD、SGD、MBGD的区别
梯度下降法在机器学习中我们常用梯度下降法(或其改进的方法)对算法进行训练,一般分为三步:确定初始参数,前向传播获取误差,反向传播获取梯度,根据梯度更新参数.这里首先做出几个假定: 训 ...
梯度下降法Gradient Descent深度学习机器学习
梯度下降法在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,梯度下降法是一种一阶优化算法,另一种常用的方法是最小二乘法. 求偏导数 ...
在梯度下降法中，为什么梯度的负方向是函数下降最快的方向？
1.问题描述第一次接触这个问题是在大一暑假的小学期项目上,我们组的课题是一个优化问题,其中一个小问题就是证明为什么梯度的负方向是函数下降的最快方向.(全程用法语写的论文233)当时没有多大感触,后来 ...
机器学习之数学系列（二）梯度下降法(参数更新公式的由来)
一.引言下山问题如下图所示,假设我们位于黄山的某个山腰处,山势连绵不绝,不知道怎么下山.于是决定走一步算一步,也就是每次选个方向往山下走一步,这样一步一步走下去,一直走到觉得我们已经到了山脚. ...
李弘毅机器学习：第四章—梯度下降法
李弘毅机器学习:第四章-梯度下降法什么是梯度下降法? Review: 梯度下降法 Tip1:调整学习速率小心翼翼地调整学习率自适应学习率 Adagrad 算法 Adagrad 是什么? Adag ...
梯度下降法原理解析（大白话+公式推理）
目录摘要第一章:梯度下降法原理解析 1.1梯度下降算法的浅层解析(深入浅出的理解,有些专业名词在这一节只需混个眼熟即可, 1.2中就会通过前后呼应的方式进行解析.) 1.2 梯 ...
【机器学习】总结：线性回归求解中梯度下降法与最小二乘法的比较
在线性回归算法求解中,常用的是最小二乘法与梯度下降法,其中梯度下降法是最小二乘法求解方法的优化,但这并不说明梯度下降法好于最小二乘法,实际应用过程中,二者各有特点,需结合实际案例具体分析. 最后有两份 ...

梯度下降法中的参数学习速率如何选择

梯度下降法中的参数学习速率如何选择相关推荐

最新文章

热门文章