神经网络中，加上bias是如何让网络变得更灵活

reference：https://www.zhihu.com/question/68247574

实际上，bias相当于多了一个参数。在增加网络少量拟合能力的情况下，bias和其它普通权值相比无论前向还是后向，计算上都要简单，因为只需要一次加法。同时，bias与其它权值的区别在于，其对于输出的影响与输入无关，能够使网络的输出进行整体地调整，算是另一维自由度吧。放在二维上，权值相当于直线的斜率，而bias相当于截距，这二者都是直线参数的一部分，并没有必要区别对待。

因此，通常网络都会使用bias，但并不是必须，对于网络性能的影响并不是很显著（除非网络太小导致拟合能力太差）。同时，在有些场合里，bias的使用也没有意义，比如在batch normalization层之前的层就没必要加，因为会被归一化抵消掉。

简单考虑一个只有一输入一输出的简单网络：

假设用Sigmoid 激活函数，如果没有bias，则 $Y_{out}= \sigma(X_{in}\cdot W)$

先看一下在不同W下的情况：

假如输入 $X_{in}$ 的输入分布如图中蓝点（A集合）和红点（B集合）所示（在x轴上的分布），要通过 $Y_{out}(>0.5, or <0.5)$ 来判断输入时在A内还是B内，很显然，要提高准确性，sigmoid函数中的W系数需要学的很大，才能保证尽可能的判断准确。

但是如果一个测试样本在图中绿点所在的位置呢，很明显我们可以将绿点判为红点所在的B集合，但是通过训练学到的W是不能正确判断的。这个时候似乎让sigmoid函数变得更陡没法解决了。

但是如果加一个bias呢。

像这样，w（sigmoid中x的系数）不用学的很大就可以提高学习的准确率，网络就能够非常灵活的fit A,B 的分布，可以准确的判断绿点所属的集合。

简单点说，就是加上bias能更灵活的fit输入的分布。

神经网络中，加上bias是如何让网络变得更灵活相关推荐

浅谈神经网络中的bias
1.什么是bias? 偏置单元(bias unit),在有些资料里也称为偏置项(bias term)或者截距项(intercept term),它其实就是函数的截距,与线性方程 y=wx+b 中的 b ...
借CT阵营之力NFV让运营商网络变得更美
咨询调研分析报告显示运营商积极进行NFV部署如今,互联网的枝蔓已经爬上了电信业的围墙,电信网与互联网的边界变得越来越模糊.在这个由移动性.云和数字化驱动的世界里,一张面向未来的网络需要一套全新的设计 ...
两个让Transformer网络变得更简单，更高效的方法
点击上方"AI公园",关注公众号,选择加"星标"或"置顶" 作者:Sainbayar Sukhbaatar, Armand Joulin 编 ...
神经网络中的sigmoid函数
1.weights.bias 参数学习我们希望有一种学习算法,它能够自动地调整网络中的权重因子和偏置. 但是,我们怎样才能设计出这样的算法神经网络?可以通过学习来解决一些问题.假如,网络的输入是从扫 ...
PNAS | 理解单个神经元在深度神经网络中的作用
本次报道论文为发表于PNAS的Understanding the role of individual units in a deep neural network.众所周知,深度神经网络擅长查找可解 ...
神经网络的输入稀疏矩阵,神经网络中的矩阵运算
1.BP神经网络模型各个参数的选取问题样本变量不需要那么多,因为神经网络的信息存储能力有限,过多的样本会造成一些有用的信息被丢弃.如果样本数量过多,应增加隐层节点数或隐层数目,才能增强学习能力. 一 ...
神经网络中-baseline，benchmark，backbone都是什么意思？
baseline 在很多的竞赛中,我们都会见到这个名词baseline,一般都是在此基础上进行'"魔改",以它为标准,来判断改进的好坏. 目的是比较提出算法的性能或者用以比较彰显提 ...
神经网络 mse一直不变_基于关系网络的视觉建模：有望替代卷积神经网络
最近两年,自注意力机制.图和关系网络等模型在NLP领域刮起了一阵旋风,基于这些模型的Transformer.BERT.MASS等框架已逐渐成为NLP的主流方法.这些模型在计算机视觉领域是否能同样有用呢 ...
神经网络中的梯度是什么,神经网络梯度公式推导
1.BP神经网络的MATLAB训练Gradient是什么意思?Performance是什么意思?,大神能解释一下吗?谢谢了 Gradient是梯度的意思,BP神经网络训练的时候涉及到梯度下降法,表示为 ...

神经网络中，加上bias是如何让网络变得更灵活

神经网络中，加上bias是如何让网络变得更灵活相关推荐

最新文章

热门文章