【深度学习】全连接层or卷积层

对于图像处理任务而言，在经过一连串的卷积、池化操作后，最后要接一个全连接层来对提取到的特征进行分类或者回归。

一般前面带卷积操作的被称之为卷积基，后面跟一层或多层全连接层。

卷积神经网络中流动的是3维/4维张量，是含有空间特征的数据。
全连接层则接受的是二维矩阵。

比如，现在卷积网络输出的是7x7x512的张量，现在后面跟着1000类的分类神经元，则需要参数是：7x7x512x1000 + 1000 = 25,089,000个参数，加号后面是偏置。

实际上，我们可以用卷积层来完成这个效果，即现在需要把7x7x512 == > 1x1x1000的形状，想一下卷积操作，我们需要形状为7x7x512的卷积核，需要1000个，所以参数量也是7x7x512x1000 + 1000 = 25,089,000个参数。

所以，不是所有的网络在后面都用全连接层，也可以是先通过一次卷积层操作。

END.

参考：

《深度学习：一起玩转TensorLayer》

【深度学习】全连接层or卷积层相关推荐

深度学习——全连接层（Fully connected dence layers）原理解析
深度学习--全连接层(Fully connected dence layers)原理解析一.简介全连接层有多个神经元,是一个列向量(单个样本).在计算机视觉领域正常用于深度神经网络的后面几层,用于 ...
深度学习笔记（24）卷积层
深度学习笔记(24) 卷积层 1. 卷积层向前传播 2. 卷积层符号 3. 简单的卷积网络 1. 卷积层向前传播一个典型的卷积神经网络的卷积层,而通常有三层: 卷积层 Conv 池化层 POOL 全 ...
【动手学深度学习PyTorch版】13 卷积层的填充和步幅
上一篇移步[动手学深度学习PyTorch版]12 卷积层_水w的博客-CSDN博客目录一.卷积层的填充和步幅 1.1 填充 1.2 步幅 1.3 总结二.代码实现填充和步幅(使用框架) 一.卷积 ...
全连接层替换为卷积层
原博客地址:https://blog.csdn.net/qq_31347869/article/details/89484343 以下为博主个人整理内容在学习FCN时的一些疑惑为什么要将全连接层变 ...
深度学习剖根问底: 卷积层的权值和梯度的更新
权值更新在前面的反向传播中我们计算出每一层的权值W和偏置b的偏导数之后,最后一步就是对权值和偏置进行更新了. 在之前的BP算法的介绍中我们给出了如下公式: 其中的α为学习速率,一般学习率并不是一个常 ...
【动手学深度学习PyTorch版】12 卷积层
上一篇移步[动手学深度学习PyTorch版]11 使用GPU_水w的博客-CSDN博客目录一.卷积层 1.1从全连接到卷积 ◼ 回顾单隐藏层MLP ◼ Waldo在哪里? ◼ 原则1-平移不变性 ...
计算机视觉与深度学习-全连接神经网络
以下内容是自己学习北京邮电大学鲁鹏副教授计算机视觉与深度学习课程(A02)的一些笔记, 笔者能力有限,如有错误还望各位大佬在评论区批评指正 . 先贴一下课程官网:CV-XUEBA 篇3地址:计算机视觉 ...
深度学习笔记（26）卷积神经网络
深度学习笔记(26) 卷积神经网络 1. CONV 2. POOL 3. Layer 4. FC 5. 卷积的优势 1. CONV 假设,有一张大小为32×32×3的输入图片,这是一张RGB模式的图片 ...
万字长文带你看尽深度学习中的12种卷积网络
转自 | AI科技评论作者 | Kunlun Bai 深度学习中的各种卷积网络大家知多少?对于那些听说过却又对它们没有特别清晰的认识的小伙伴们,Kunlun Bai 这篇文章非常值得一读.Kunlu ...
花书+吴恩达深度学习（十二）卷积神经网络 CNN 之全连接层
目录 0. 前言 1. 全连接层(fully connected layer) 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 CNN ...

【深度学习】全连接层or卷积层

【深度学习】全连接层or卷积层相关推荐

最新文章

热门文章