tensorflow训练神经网络时loss出现nan的问题

一般情况下原因是由于优化器上的学习比率learning_rate定义值太大，如：

train_step = tf.compat.v1.train.GradientDescentOptimizer(0.1).minimize(loss)

运行打印loss：

for i in range(100):sess.run(train_step,feed_dict={xs:x_data,ys:y_data})#这里我们用全部数据来进行train，其实有个forcast GDO只用一部分数据进行训练，能使训练效率更高if i % 50:print('实际偏差率:',sess.run(loss,feed_dict={xs:x_data,ys:y_data})[0])

其结果为：

实际偏差率: 9477596000000000.0
实际偏差率: inf
实际偏差率: nan
实际偏差率: nan
实际偏差率: nan
实际偏差率: nan
实际偏差率: nan
实际偏差率: nan
......
实际偏差率: nan

将其中learning_rate的值改为0.01或者更小：

train_step = tf.compat.v1.train.GradientDescentOptimizer(0.01).minimize(loss)

结果为：

实际偏差率: 5.9452715
实际偏差率: 5.5919566
实际偏差率: 5.1778126
实际偏差率: 0.023199111
实际偏差率: 0.26209167
实际偏差率: 0.41470975
实际偏差率: 0.47333607
实际偏差率: 0.48828265
实际偏差率: 0.48628327
实际偏差率: 0.47839066
实际偏差率: 0.46885166
实际偏差率: 0.4591693
.......
实际偏差率: 0.014343787

tensorflow训练神经网络时loss出现nan的问题相关推荐

使用caffe训练时Loss变为nan的原因
极视角高校计算机视觉算法邀请赛目前正在报名中,欢迎各高校在读学生报名参加,大奖+商业项目参与机会+数据库等你来拿!!!咨询报名请加小助手(微信号:Extreme-Vision) 本文为极市平台原创编译 ...
使用TensorFlow训练神经网络进行价格预测
Using Deep Neural Networks for regression problems might seem like overkill (and quite often is), bu ...
Tensorflow训练神经网络
Tensorflow实战google深度学习框架中章节 import os os.getcwd() #查看当前路径 'E:\\深度学习\\mnist' os.chdir('E:\深度学习\mnist' ...
pytorch训练过程中loss出现NaN的原因及可采取的方法
在pytorch训练过程中出现loss=nan的情况 1.学习率太高. 2.loss函数 3.对于回归问题,可能出现了除0 的计算,加一个很小的余项可能可以解决 4.数据本身,是否存在Nan,可以用n ...
吴裕雄 python 神经网络——TensorFlow训练神经网络：不使用隐藏层
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_dataINPUT_NODE = 784 # ...
训练神经网络时如何确定batch的大小？
当我们要训练一个已经写好的神经网络时,我们就要直面诸多的超参数啦.这些超参数一旦选不好,那么很有可能让神经网络跑的还不如感知机.因此在面对神经网络这种容量很大的model前,是很有必要深刻的理解一下各 ...
训练神经网络时如何确定batch size？
前言当我们要训练一个已经写好的神经网络时,我们就要直面诸多的超参数了.这些超参数一旦选不好,那么很有可能让神经网络跑的还不如感知机.因此在面对神经网络这种容量很大的model前,是很有必要深刻的理解 ...
Tensorflow训练神经网络保存*.pb模型及载入*.pb模型
1 神经网络结构 1.0 保存*.pb模型 import tensorflow as tf from tensorflow.python.framework import graph_util fro ...
搭建卷积神经网络时loss计算方式的选择
最近在利用卷积神经网络跑模型的时候,总会出现一些奇奇怪怪的问题,而其中出现次数最多的就是loss值计算方式选择错误问题.在tensorflow中封装的loss值的计算方式有三种:BinaryCross ...

tensorflow训练神经网络时loss出现nan的问题

tensorflow训练神经网络时loss出现nan的问题

tensorflow训练神经网络时loss出现nan的问题相关推荐

最新文章

热门文章