DQN 中的梯度 clip

首先看这个 https://stackoverflow.com/questions/36462962/loss-clipping-in-tensor-flow-on-deepminds-dqn

DQN 文章中提到的 clip 并不是梯度 clip。

首先看一下 tensorflow 1 中的 huber_loss，令 d = 1。

  0.5 * x^2                  if |x| <= d0.5 * d^2 + d * (|x| - d)  if |x| > d

其导数为

f'(x) = x    if x in [-1, 1]
f'(x) = +1    if x > +1
f'(x) = -1    if x < -1

loss=f(yi−yi^)loss′=f′(yi−yi^)⋅yi′=f′(z)⋅yi′loss = f(y_i-\hat{y_i}) \\ loss'=f'(y_i-\hat{y_i})\cdot y_i'=f'(z)\cdot y_i' loss=f(yi−yi^)loss′=f′(yi−yi^)⋅yi′=f′(z)⋅yi′

DQN 文中提到

We also found it helpful to clip the error term from the update to be between −1 and 1. Because the absolute value loss function |x| has a derivative of −1 for all negative values of x and a derivative of 1 for all positive values of x, clipping the squared error to be between −1 and 1 corresponds to using an absolute value loss function for errors outside of the (−1,1) interval. This form of error clipping further improved the stability of the algorithm.

但这个指的是 f′(z)f'(z)f′(z) 处于 -1 和 1 之间。而梯度 clip 则是把 f′(z)⋅yi′f'(z)\cdot y'_if′(z)⋅yi′ 整体处于 -1 到 1 之间。

Use the Huber loss function, the Mnih et al 2013 paper called this error clipping.

DQN 中的梯度 clip相关推荐

机器学习中的梯度下降（ Gradient Descent）算法
前言梯度下降(Gradient Descent,GD)算法主要分为三种:批量梯度下降(Batch Gradient Descent,BGD)算法.随机梯度下降(Stochastic Gradient ...
机器学习中的梯度下降法
1. 机器学习中为什么需要梯度下降梯度下降是机器学习中常见优化算法之一,梯度下降法有以下几个作用: (1)梯度下降是迭代法的一种,可以用于求解最小二乘问题. (2)在求解机器学习算法的模型参数,即无 ...
[云炬python3玩转机器学习] 6-4 在线性回归模型中使用梯度下降法
在线性回归模型中使用梯度下降法 In [1]: import numpy as np import matplotlib.pyplot as plt import datetime;print ('R ...
图解集成学习中的梯度提升思想
摘要: 本文讲述集成学习中的梯度提升方法的思想,以简单算术及图片的形式展示整个过程,一看就懂! 简介机器学习(ML)中的一个关键步骤是选择适合数据的最佳算法,根据数据中的一些统计数据和可视化信息,机 ...
更新fielddata为true_在pytorch中停止梯度流的若干办法，避免不必要模块的参数更新...
在pytorch中停止梯度流的若干办法,避免不必要模块的参数更新 2020/4/11 FesianXu 前言在现在的深度模型软件框架中,如TensorFlow和PyTorch等等,都是实现了自动求导 ...
深度学习中的梯度下降算法
深度学习中的梯度下降算法梯度下降算法-----致力于找到函数极值点的算法,深度学习中的核心算法. 所谓的学习便是改进模型参数,以便通过大量训练步骤将损失最小化. 有了这个概念,将梯度下降法应用于寻找 ...
一文看懂神经网络中的梯度下降原理图像说明
本文是一篇关于深度学习优化方法--梯度下降的介绍性文章.作者通过长长的博文,简单介绍了梯度下降的概念.优势以及两大挑战.文中还配有大量生动形象的三维图像,有兴趣的亲了解一下? 从很大程度上来说,深度学 ...
Canny算子中的梯度求取及非最大值抑制（NMS）实现
@Canny算子中的非最大值抑制(NMS)实现 canny算子中的非极大值抑制是在对图像进行梯度求取之后,在梯度方向进行的运算,也就是说此处的非极大值抑制是在对图像进行梯度求取后,在生成的梯度矩阵上求 ...
逻辑回归中的梯度下降法
梯度下降法:该算法是一个一阶最优化算法,通过向函数上当前点对应梯度(或近似梯度)的反方向的规定步长距离点进行迭代搜索找到一个函数的局部极小值. 以一元函数为例说明梯度下降法: w的更新会朝着成本函数J ...

DQN 中的梯度 clip

DQN 中的梯度 clip相关推荐

最新文章

热门文章