Relu神经网络输出预测全为0或1，对所有输入样本的预测概率也相同

现有一个使用Relu激活函数的网络，训练过程中发现，它对所有的输入样本都输出一样的预测概率，比如二分类，对所有样本的预测概率都是[0.4,0.6]。由于预测概率都一样，因此预测标签也都一样，全预测为0或1。

一开始以为是不是网络结构搭建有问题，因为当网络参数确定后，不同的输入样本的输入数据不一样，那么输出的预测概率肯定不一样，怎么会全输出一样的概率。然后一层一层找原因，发现某一卷积层的输出值全为0。经过分析，该层使用的是Relu激活函数，而且该层训练后的权值W和偏置b都是负数，这样，输入在这一层的卷积运算结果全为负值，再经过Relu激活函数后，这一层的输出值就全为0。因此，不管输入样本是什么，经过该层后的输出都为0，从而导致网络最终输出的预测概率和输入样本完全没有关系，此时输出概率取决于这一层后面层的偏置参数b。

解决方法：

换一种网络参数的初始化方法，或者改变初始化方法中的参数（比如使用正态初始化的话可以尝试改变方差）

网络参数的初始化方法：

https://blog.csdn.net/weixin_38314865/article/details/106049511

Relu神经网络输出预测全为0或1，对所有输入样本的预测概率也相同相关推荐

神经网络与深度学习——TensorFlow2.0实战(笔记)(三)(python输入和输出)
从程序中学习知识点 1. #输出函数可以输出字符串常量 print("hello") #输出数学表达式 print(1+2) #输出变量 print(num) 2. #string ...
一文搞定深度学习建模预测全流程(Python)
作者 | 泳鱼来源 | 算法进阶本文详细地梳理及实现了深度学习模型构建及预测的全流程,代码示例基于python及神经网络库keras,通过设计一个深度神经网络模型做波士顿房价预测.主要依赖的Pyt ...
深度学习建模预测全流程（Python）！
本文详细地梳理及实现了深度学习模型构建及预测的全流程,代码示例基于python及神经网络库keras,通过设计一个深度神经网络模型做波士顿房价预测.主要依赖的Python库有:keras.scikit ...
一文深度学习建模预测全流程(Python)
本文详细地梳理及实现了深度学习模型构建及预测的全流程,代码示例基于python及神经网络库keras,通过设计一个深度神经网络模型做波士顿房价预测.主要依赖的Python库有:keras.scikit ...
深度学习——神经网络之DNN全连接神经网络、BP算法原理
深度学习--神经网络之DNN全连接神经网络.BP算法原理深度学习--神经网络之DNN全连接神经网络.BP算法原理 1.啥是人工神经网络 2.神经网络的应用 3.神经网络的组成 3.1.神经元 3.2 ...
DL之DNN：自定义2层神经网络TwoLayerNet模型(封装为层级结构)利用MNIST数据集进行训练、预测
DL之DNN:自定义2层神经网络TwoLayerNet模型(封装为层级结构)利用MNIST数据集进行训练.预测导读计算图在神经网络算法中的作用.计算图的节点是由局部计算构成的. ...
【Pytorch神经网络实战案例】11 循环神经网络结构训练语言模型并进行简单预测
1 语言模型步骤简单概述:根据输入内容,继续输出后面的句子. 1.1 根据需求拆分任务 (1)先对模型输入一段文字,令模型输出之后的一个文字. (2)将模型预测出来的文字当成输入,再放到模型里,使模 ...
python神经网络案例——FC全连接神经网络实现mnist手写体识别
全栈工程师开发手册 (作者:栾鹏) python教程全解 FC全连接神经网络的理论教程参考 http://blog.csdn.net/luanpeng825485697/article/details ...
[转载] python bp神经网络 mnist_Python利用全连接神经网络求解MNIST问题详解
参考链接: Python中的单个神经元神经网络本文实例讲述了Python利用全连接神经网络求解MNIST问题.分享给大家供大家参考,具体如下: 1.单隐藏层神经网络人类的神经元在树突接受刺激信息后 ...

Relu神经网络输出预测全为0或1，对所有输入样本的预测概率也相同

解决方法：

Relu神经网络输出预测全为0或1，对所有输入样本的预测概率也相同相关推荐

最新文章

热门文章