传统梯度下降法面临的挑战

选择适当的学习率α较为困难。太小的学习率会导致收敛缓慢，而学习速度太块会造成较大波动，妨碍收敛。
目前可采用的方法是在训练过程中调整学习率大小，例如模拟退火算法：预先定义一个迭代次数m，每执行完m次训练便减小学习率，或者当cost function的值低于一个阈值时减小学习率。然而迭代次数和阈值必须事先定义，因此无法适应数据集的特点。
上述方法中, 每个参数的 learning rate 都是相同的，这种做法是不合理的：如果训练数据是稀疏的，并且不同特征的出现频率差异较大，那么比较合理的做法是对于出现频率低的特征设置较大的学习速率，对于出现频率较大的特征数据设置较小的学习速率。
近期的的研究表明，深层神经网络之所以比较难训练，并不是因为容易进入local minimum。相反，由于网络结构非常复杂，在绝大多数情况下即使是 local minimum 也可以得到非常好的结果。而之所以难训练是因为学习过程容易陷入到马鞍面中，即在坡面上，一部分点是上升的，一部分点是下降的。而这种情况比较容易出现在平坦区域，在这种区域中，所有方向的梯度值都几乎是 0。

传统梯度下降法面临的挑战相关推荐

天然药物的复兴，传统靶向药物面临新挑战
从天然产物中发现药物是人类预防和治疗疾病的重要方法,人类药学最早起源于自然界,尤其是细菌.真菌和植物中的天然产物,人们从柳树皮中发现的水杨酸用于解热镇痛,从红豆杉中提取的紫杉醇用于治疗癌症,从黄花蒿内 ...
梯度下降法的理解以及马鞍点
一.梯度下降优化算法的进化 1.梯度下降法梯度下降法是训练神经网络常用的优化算法梯度下降法基于以下的观察:如果实值函数f(x)在a点处可微且有定义,那么函数f(x)在点a沿着梯度相反的方向−∇f( ...
传统企业如何应对互联网挑战
鲨鱼与沙漠:传统企业怎么面对互联网? 我举几个例子.比如说无论是淘宝.天猫,还是京东商城,对于传统零售业的挑战.大家都可以感觉到.再比如通讯运营商,像电信.移动.联通,这些强大的国有企业被腾讯用一个简 ...
机器学习最常用的优化算法 — 梯度下降法
1. 学习目标每一个机器学习模型都有一个目标函数,而学习的目标,就是最小化目标函数.直观而言,当我们已经获得了一个函数,最小化该函数其实就是,在其自变量取值范围内,找到使得因变量最小的那个自变量取值 ...
通俗易懂讲解梯度下降法！
Datawhale干货作者:知乎King James,伦敦国王大学知乎 | https://zhuanlan.zhihu.com/p/335191534 前言:入门机器学习必须了解梯度下降法,虽然 ...
优化：梯度下降法、牛顿法、共轭梯度法
1.基本概念 1.1 方向导数 1.2 梯度的概念如果考虑z=f(x,y)描绘的是一座在点(x,y)的高度为f(x,y)的山.那么,某一点的梯度方向是在该点坡度最陡的方向,而梯度的大小告诉我们坡度到 ...
大数据可视化技术面临的挑战及应对措施
来源:科技导报本文约5400字,建议阅读10分钟本文介绍了适用于大数据的数据可视化技术,讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用. [ 导读 ]本文从大数 ...
实时机器学习是什么，面临哪些挑战？
最近能够随数据获取实时调整模型的实时机器学习,正在成为媒体技术领域的新"网红".曾经连续两年,都被FTI评为传媒业的重要技术趋势之一,与自然语言理解NLU.机器阅读理解MRC.音视 ...
深度研究 | 区块链在征信业的应用探讨：切中了痛点，但也面临四大挑战
深度研究 | 区块链在征信业的应用探讨:切中了痛点,但也面临四大挑战雷锋网按:本文由中国信息通信研究院和腾讯研究院区块链联合课题组的王强.卿苏德.巴洁如所作.转载自公众号腾讯研究院.雷锋网(公 ...
梯度下降法，牛顿法，高斯-牛顿迭代法，附代码实现
---------------------梯度下降法------------------- 梯度的一般解释: f(x)在x0的梯度:就是f(x)变化最快的方向.梯度下降法是一个最优化算法,通常也称为最 ...

传统梯度下降法面临的挑战

传统梯度下降法面临的挑战相关推荐

最新文章

热门文章