神经网络全连接层详解

全连接层即：每一个节点都与上一层的节点相连，每个节点都视为一个特征点，当产生一个输入源后会对全连接层做卷积操作，卷积核多大取决于你的全连接层每层数据表有多大，全连接层里每一层都是一组数据，这组数据里包含了每次训练的结果，通俗易懂的说就是当输入一个数据后，对全连接层进行循环遍历的操作，每次遍历时对每层进行卷积运动若每层中有相似数据则记录为1，然后遍历完所有层后将所有记录值集合成一个值输出。

下面用一个简单的例子来看：

我们想在一个方框中识别出是否有一张猫的图片，猫的位置不是固定的，可能在方框的右上角，也可能在左下角，这对于计算机视觉来说会比较简单，但是对于机器学习不一样，机器学习不知道什么是图片，也不知道什么是方框，更不知道这个图片出现在什么地方算是正确的，所以我们需要给它一组数据，告诉它猫在哪个位置是正确的，因此我们需要准备非常多的特征，即猫在方框中的各个位置的特征，然后用机器学习去训练，并在指定位置出现猫的特征时给机器奖励，这个奖励值会被记录到当前训练的全连接层的某一层中，如果方框里没有猫则没有奖励反而还要被惩罚，利用这样的机制给定特征之后使用全连接层模型去训练，完成之后会得到一组可观的全连接层模型。

如下有两张猫咪图片在方框不同位置的图片

当我们把数据输入之后全连接层会对每层数据进行卷积：

可以看到首先将图像数据转化为了（Feature MAP）特征映射（即转化为向量），然后去我们的模型滤器（Filter）里进行卷据遍历，特征映射会与全连接层的每一层进行比较运算，最后发现每一层都有类似的特征数据然后输出的值就会越来越大最终输出一个比较大的数字，这个数字越大则代表越相似，所以我们可以通过这个数字来判断是否相似，可以自己设置阈值。

我们每次训练神经库的时候不会只训练一次可能每个角度的猫咪图片会训练上万次，所以一组数据下来每个角度的猫咪可能有几十万组数据，这里假设一个模型有二十万组数据，那么处于左上角猫咪的特征大概有五万组数据，当每一层遍历时发现这五万组里都符合遍历时累加值会越来越多，不符合的则不变，也有部分图片中猫咪在左上角附近我们也给了奖励，所以最后将所有遍历条件集合成一个值时会发现这个值非常大，则认为这个猫咪是存在图像中的，这一步仅仅是做到了图像中是否有猫咪这样的一个工作，但是还无法分类，比如猫咪的种类，猫咪的动作等等，上述的描述仅仅只能针对于特定场景的猫咪是否存在于方框中。

所以如果想要判断一幅图中是否有猫咪，可以将猫咪的每个部位都训练一次：

最后在进行全连接层遍历，红色部分则代表找到对应特征，其它层没有找到的则为输入特征不明显或模型特征太少，找不到输出的值就会越低

最后我们可以根据每个全连接层输出的值来判断一幅图中是否有猫咪，如果有猫咪的一半特征则认为有猫咪，或者有猫咪的一个特征都认为有猫咪。

当然更精准一点你可以根据猫咪的器官进行分类识别，下图是两层全连接层，两层全连接层是有两组全连接层模型组合的，可以用于解决非线性的问题，因为我们找到了猫的器官还要去比较这个器官属于猫的哪个部位，所以用两层全连接层做分类。

输入数据在全连接层1中找到对应的模型后通过全连接层的激活函数去寻找下一个全连接层2，在全连接层2中寻找对应的模型分类，然后输出

两层全连接会造成训练成本会比较高，其次因为是非线性时间周期所以在模型比对时时间成本会比较大

神经网络全连接层详解相关推荐

全连接层时间复杂度_神经网络全连接层（3）
CNN网络基础结构神经网络-全连接层(3) 上一回我们聊完了算法,这回我们正式开始写代码.上回在做公式推导的时候,我们实际上只是针对一个数据样本进行推导,而实际中,计算和训练都是一批一批完成的.大多 ...
卷积神经网络—全连接层
卷积神经网络-全连接层全连接层全连接层与卷积层全连接层与GAP(全局平均池化层) [1] https://blog.csdn.net/Touch_Dream/article/details/79 ...
神经网络-全连接层（1）
写在前面:感谢@夏龙对本文的审阅并提出了宝贵的意见. 接下来聊一聊现在大热的神经网络.最近这几年深度学习发展十分迅速,感觉已经占据了整个机器学习的"半壁江山".各大会议也是被深度学 ...
卷积神经网络全连接层（稠密层）是什么？（全连接层就是每一个结点都与上一层的所有结点相连的网络层）
对 n-1 层和 n 层而言,n-1 层的任意一个节点,都和第 n 层所有节点有连接(即第n层节点都和第n-1层节点相连接).即第n层的每个节点在进行计算的时候,激活函数的输入是n-1层所有节点的加权 ...
卷积神经网络--全连接层
在卷积神经网络尚未火热的年代,人们使用haar/lbp + adaboost级连的组合方式检测人脸,hog+svm的组合方式检测行人.这种传统的目标检测方法一个认知上的优势就是: 模块的功能明确,划分 ...
神经网络的全连接层_深度神经网络全连接层
一.概念全连接层一般在网络的最后部分做分类输出,全连接层的有m个输入和n个输出,每一个输出都和所有的输入相连,相连的权重w都是不一样的,同时每一个输出还有一个bias. 二.前向全连接假设输入是4 ...
卷积神经网络全连接层转换为卷积层获得heatmap
理论部分转自 http://blog.csdn.net/u010668083/article/details/46650877 实验部分全连接层换卷积层的出处大约是yahoo的一篇论文" ...
[转载] python bp神经网络 mnist_Python利用全连接神经网络求解MNIST问题详解
参考链接: Python中的单个神经元神经网络本文实例讲述了Python利用全连接神经网络求解MNIST问题.分享给大家供大家参考,具体如下: 1.单隐藏层神经网络人类的神经元在树突接受刺激信息后 ...
caffe详解之全连接层
全连接层参数说明全连接层,输出的是一个一维向量,参数跟卷积层一样.一般将全连接置于卷积神经网络的后几层.权重值的初始化采用xavier,偏置初始化为0. layer { name: "ip ...

神经网络全连接层详解

神经网络全连接层详解相关推荐

最新文章

热门文章