CNN————激活可能性小的神经元不代表这个神经元的用处小

在CNN中，我们会用到不同的Kernel来对图像中不同的邻域进行特征提取，而不同的Kernel提取的特征往往是不同的，
（这也是我们构建CNN网络的一个要求，我们总是希望不同的Kernel能提取到不同的特征；这也是为什么在对CNN的网络进行初始化的时候，不能将权值全部初始化为0的原因，因为如果权值的初始值相同，对于同一个gate连接的两个权值来说，由于回传过来的梯度时相同的，则两者在此次更新中被更新的△相同，则更新后的值相同，长此以往，则每次迭代后同一gate下的两个权值会一直保持相同，从而导致symmetry现象的发生，所以我们需要使用随机初始化，使得不同权值的初始化参数不同）
当我们使用ReLU函数时，会产生一个现象，也就是，ReLU函数会主动选择大于0的特征结果，而排除小于0的特征结果，此时我们就认为当前特征“not activate”，于是由于不同的Kernel通过学习会获得不同的W和b，则会导致不同的特征结果；那么会不会存在某些Kernel比较容易激活，而某些Kernel不容易激活呢？
想要弄清楚这个问题，我们还需看一下输入自变量x的范围，
首先，当layer = 1时，输入x的范围总是不小于0的，因为图像数据的范围是0~255，所以都是正数；
其次，当layer > 1时，输入x的范围也是不小于0的，因为ReLU函数的值域是[0,+∞)；
综上所述，输入x的范围也是不小0的，既然输入x是不小于0的，也就是说特征结果的正负性取决于Kernel的权值W和b，那么我们可以粗略的认为，如果W和b的正数越多越大，那么特征结果y为正数的可能性越高，也就是说当前神经元被激活的可能性就越高，那么是不是神经元被激活的可能性越高越好呢？
显然不是的，我们可以想到，如果恒定通量b的值很高，我们总能保证该Kernel是有很大的概率会被激活的，如果我们假设一种极限，也就说，该神经元100%会激活，那么就会出现一个很奇怪的现象，一个Kernel提取的特征会100%的出现，那么这种“特征”还能叫特征吗？
显然这样的模型不是我们想要的，由吴教授的讲授可知，最初Sigmoid()函数的提出其实是为了区分0.5这样一个概率值左右的特征结果，也就是说，当y>=0.5时，我们认为特征被激活；而当y<0.5时，我们认为当前的特征不足以导致我们期望的结果；
（我们还是要看看输入x的值域是什么样的？是不是都是非负的值呢？）

CNN————激活可能性小的神经元不代表这个神经元的用处小相关推荐

1个神经元传两个神经元_硅神经元
1个神经元传两个神经元 INTRODUCTION 介绍 Consciousness is only made possible by virtue of the brain, and the bra ...
2023年最新最全uniCloud入门学习，零基础入门到实战项目 uni-admin打造uniapp网页后端微信支付宝抖音小程序后端 unicloud数据后台快速打造uniapp小程序项目
今天开始带着大家一起零基础学习uniCloud,在下面的课程中我们就简称uniCloud为cloud吧.我这里从零基础开始教大家,后面可以带大家简单的做一个实战项目.所以不用担心自己没有基础,跟着石头 ...
CVPR2021小目标检测：上下文和注意力机制提升小目标检测
原论文下载:https://arxiv.org/pdf/1912.06319.pdf 摘要在各种环境中应用目标检测算法有很多局限性.特别是小目标的检测仍然是一个挑战,因为它们的分辨率低,信息有限.为 ...
小程序生命周期_来，简单说说小程序的生命周期?
简单说说小程序的生命周期? 在小程序中生命周期分为三大类应用生命周期页面生命周期组件生命周期应用生命周期 onLaunch(){ console.log('onLaunch监听小程序初始化') ...
C语言时间管理小程序,写了一个时间管理的微信小程序
原标题:写了一个时间管理的微信小程序前言以前看过<把时间当作朋友>这本书,里面有个管理时间的观点个人觉得很有用,就是养成记录自己每天的时间消耗的一个习惯,这样有助于更有效地管理自己的时 ...
张小龙的小程序革命，复盘731天，用“小”来改变这个世界
张小龙的小程序革命,复盘731天,用"小"来改变这个世界微信8年,微信公开课PRO版5年.从2014年开始,几乎每年都有一场微信和张小龙的"约会". 昨天微信 ...
.NET Core 小程序开发零基础系列（2）——小程序服务通知（模板消息）
基于上一篇文件".NET Core 小程序开发零基础系列(1)--开发者启用并校验牵手成功"的反映,个人觉得效果很不错,大家对公众号开发还是有很大需求的,同时也收到了很多同学的问题 ...
雨林木风系统封装工具封装xp_如何用小丸工具大幅度压缩视频且画质损失较小？...
如何大幅度把视频体积压下去,并保持清晰度,就只有用比视频原本低的码率,降低分辨率和压缩音频这三种方法. 降低码率可以使用CRF来控制,值越大码率越小,成反比. 一些录屏和直播的视频产生的码率都很高,文 ...
告别后端！阿里云小程序 Serverless 教你如何 30 分钟开发小程序！
CSDN摄于云栖大会整理 | 伍杏玲出品 | CSDN(ID:CSDNnews) 2018 年 9 月 12 日,支付宝小程序正式上线.仅仅过去一年时间,支付宝小程序发展飞速:月活跃用户数突破5亿 ...

CNN————激活可能性小的神经元不代表这个神经元的用处小

CNN————激活可能性小的神经元不代表这个神经元的用处小相关推荐

最新文章

热门文章