[人工智能-深度学习-23]：卷积神经网络CNN - 卷积核的本质是多维输入的神经元

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120734529

第1章预备核心概念

1.1 单个神经元的一维矩阵运算模型

1.2 神经网络（多个神经元）的二维矩阵运算模型

第2章单个卷积核的本质是一个神经元

2.1 卷积核的来源

2.2 卷积核的本质是：三维（长度 * 宽度 * 通道）输入的神经元

2.3 卷积核的直观运算：“积” = 算术乘 + 累加和

2.4 卷积核线性化后的运算：“积” = 一维矩阵相乘

第3章卷积运算平移：“卷”

3.1 卷积过程

3.2卷积的串行计算法：循环法

3.3 卷积的并行计算法：批量样本扩展法

3.4 卷积神经元的本质：三维输入，二维输出的神经元。

第4章多个卷积核卷积神经网络

4.1 多个卷积核并发计算的原理

4.2 卷积神经网络与全连接神经网络

第1章预备核心概念

1.1 单个神经元的一维矩阵运算模型

[人工智能-深度学习-21]：卷积神经网络CNN -- 多维输入的神经元模型及其本质：一维矩阵的点乘_文火冰糖（王文兵）的博客-CSDN博客第1章神经元的一维输入模型1.1 一维线性输入的原始神经元模型[人工智能-深度学习-6]：神经网络基础 - 人工神经元数学模型、激活函数_文火冰糖（王文兵）的博客-CSDN博客第1章人的神经系统1.1人体神经系统/神经网络的功能神经系统（nervoussystem）是机体内起主导作用的系统。（1）神经系统调节和控制人体各其他系统的复杂活动，使机体成为一个完整的统一有机体。例如，当参加体育运动时，随着骨骼肌的收缩，出现呼吸加快加深、心跳加速、出汗等一系列变化。（2）神经系统通过调整机体功能活动..https://blog.csdn.net/HiWangWenBing/article/details/120795317

1.2 神经网络（多个神经元）的二维矩阵运算模型

[人工智能-深度学习-22]：卷积神经网络CNN -- 单层神经网络的本质是矩阵相乘_文火冰糖（王文兵）的博客-CSDN博客作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：目录第1章单个神经的本质是一维矩阵（向量）内积（点乘）1.1 任意维度输入形态的神经元本质：算术乘+累加和1.2 任意维度形态的神经元都可以转换成一维输入的神经元：一维矩阵相乘1.3 多样本输入并发运算的神经元模型第2章神经网络模型（多个独立的神经元）2.1 单样本，多个神经元输出并发运算的模型2.2 多样本，多个神经元输出并发运算的模型第1章单个神经的本质是一维https://blog.csdn.net/HiWangWenBing/article/details/120798249

第2章单个卷积核的本质是一个神经元

2.1 卷积核的来源

卷积来自于卷积神经网络，而卷积神经网络中核心是卷积层，卷积层的核心是卷积核，卷积层是由多个卷积核组成的神经网络。

卷积核的维度是3维：图片像素的长度、宽度、通道数这三个维度。

卷积核每个维度的长度（size）：并不是整个图片每个维度的长度，而是卷积核本身每个维度的长度。如下图所示，红色的圆圈就是一个卷积核。

2.2 卷积核的本质是：三维（长度 * 宽度 * 通道）输入的神经元

卷积核首先是一个三个维度输入形态的神经元，如下图所示：

由于卷积核在x轴和y轴方向上，其长度都远远小于原始图片本身的长度。

因此，卷积核本身并没有与原始的输入的所有像素相连，而是部分相连，卷积核的参数矩阵的形状，决定了与之连接的输入属性的形状（维度+每个维度的长度）。

卷积核的大小又称为感受野（野：范围），它是指卷积核一次运算所能感受到输入属性的大小，这个大小远远小于图片本身的大小。

2.3 卷积核的直观运算：“积” = 算术乘 + 累加和

备注：

假设图片的张量为：64 * 64 * 3

假设图片的张量为： 5 * 5 * 3

则卷积核神经元的W矩阵为： 5 * 5 * 3 （暂忽略参数b）

那么卷积核的运算是：

（1）按位矩阵的算术乘：Z（5 * 5 * 3) = X (5 * 5 * 3) * W (5 * 5 * 3)

（2）对矩阵的所有位进行累加和 $Y = \sum Zi$

2.4 卷积核线性化后的运算：“积” = 一维矩阵相乘

假设卷积核为（5 * 5 * 3），则：

n = 5 * 5 * 3 = 45

x 是(1 * 45) 矩阵，矩阵的像素值来自于与整个原始图片的部分输入。

w 是(45 * 1)矩阵，参数的形状（shape）决定了W参数的个数，也决定了一次性与该神经元连接的输入属性的个数。

Y 是(1 * 1) 矩阵，一个卷积核为一个神经元，一个输出。

第3章卷积运算平移：“卷”

3.1 卷积过程

3.2卷积的串行计算法：循环法

循环法比较直观，就是执行多次循环：

（1）每一次执行一次“内积”的运算，每一次内积就是一次神经元的运算。

（2）存储一次执行结果（内积）

（3）按照步长，移动输入数据指针，选择新一批与感受野大小相等的数据。

（4）重复1-3操作，直到完成所有步长（完成“卷”的过程）

这种方法的优点：

简单
直观
节省内存（内存复用，用时间换区空间）

这种方法的缺点：

串行执行，非并行执行，执行效率低下。

3.3 卷积的并行计算法：批量样本扩展法

（1）扩展步骤：

把整个图片展现成一维数据
上图中样本1->n，并不是不同的样本图片数据，而是一张图片中的子图片，即部分数据。
根据相邻子图片之间的重叠关系（即步长与卷积核的大小关系）由分为三种情形。

（2）扩展类型

不重叠，中间也没有间隔：构建的扩展网络的连接数与全连接网络的连接数相同, 如下图所示：

从计算量角度看, 这种方式类似于全连接，神经元与所有的输入数据进行一次计算。

但从网络结构来看，又不同于全连接：

a) W, B参数的个数不同于全连接，每个样本与神经元计算时，共享相同的W参数。

b) 输出个数：全连接模式是只有一个输出，多样本模式有多个不同的输出。

不重叠，中间有间隔：构建的扩展网络连接数小于全连接网络的的连接数

重叠：构建的扩展网络连接数大于全连接网络的连接数

3.4 卷积神经元的本质：三维输入，二维输出的神经元。

“卷”：把输入尺寸变换成输出尺寸：长度1 * 宽度1 =》长度2 * 宽度2

“积”：把三维的卷积核大小的数据“积”（合并）成一个点。

卷积神经元是：三维输入 (X, Y, Z)，通过动态“卷积”的方式，实现二维输出（X,Y）的神经元。

全连接神经元是：一维输入（X * Y * Z)，通过静态“内积”的方式，实现一维单点输出(1*1)的神经元。

第4章多个卷积核卷积神经网络

4.1 多个卷积核并发计算的原理

每个卷积核相当于一个神经元，多个卷积核与多个“子样本”组成如下能够支持并发运算的神经网络。

（1）图中的“样本“就是一个子图片，与卷积核感受野的大小相当，所有的子图片组合成一张大图片。

（2）图中的神经元就是”卷积核“，每一路卷积核都有一组输出，而不是一个输出，输出的个数取决于卷积的次数。

（3）卷积中的“卷”的过程，就是用小尺寸的卷积核，发现或过滤大图片中一个个小区间的特征。

（3）每个卷积核的一个个的卷积输出，本质就是发现一张图片中的一个个“小图片/子图片”的规律或输出特征。

（4）不同卷积核的每一次卷积输出，本质就是发现一张图片中的一个个“小图片/子图片"的不同规律或不同输出特征。

4.2 卷积神经网络与全连接神经网络

（1）卷积神经元网络是：

三维输入 (X, Y, Z)
通过动态、并行“卷积”的方式，实现三维输出（X,Y, Z）的神经元。
由卷积核尺寸、移动步长、填充大小决定输出支持（X,Y) ,
卷积核的个数决定输出尺寸（Z）。

（2）全连接神经元是：

一维输入（X * Y * Z），等效的三维输入为(X, Y, Z)。
通过静态、并行“内积”的方式，实现一维多点输出（Z), 等效的三维输出为(1*1*Z)的神经元。
由全连接的一次性全累加和的方式，决定单个神经元的输出（1*1）
神经元的个数决定输出尺寸（Z）。

至于，如何对卷积核的一个个的输出进行一下一步的处理（比如挑选出较大的一个或求平均），就是pool层的任务了。其网络的基本原理卷积核一致。

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120734529

[人工智能-深度学习-23]：卷积神经网络CNN - 卷积核的本质是多维输入的神经元相关推荐

深度学习～卷积神经网络(CNN)概述
目录 1. 卷积神经网络的形成和演变 1.1 卷积神经网络结构 1.2 卷积神经网络的应用和影响 1.3 卷积神经网络的缺陷和视图 1.3.1 缺陷:可能错分 1.3.2 解决方法:视图 ...
深度学习：卷积神经网络CNN入门
作者:机器之心链接:https://www.zhihu.com/question/52668301/answer/131573702 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业 ...
深度学习之卷积神经网络CNN
转自:https://blog.csdn.net/cxmscb/article/details/71023576 一.CNN的引入在人工的全连接神经网络中,每相邻两层之间的每个神经元之间都是有边相连 ...
深度学习之卷积神经网络CNN理论与实践详解
六月北京 | 高性能计算之GPU CUDA培训 6月22-24日三天密集式学习快速带你入门阅读全文> 正文共1416个字,6张图,预计阅读时间6分钟. 概括大体上简单的卷积神经网络是下面 ...
深度学习之卷积神经网络CNN 常用的几个模型
LeNet5 论文:http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf LeNet-5:是Yann LeCun在1998年设计的用于手写数字识别的卷 ...
干货 | 深度学习之卷积神经网络(CNN)的模型结构
微信公众号关键字全网搜索最新排名 [机器学习算法]:排名第一 [机器学习]:排名第一 [Python]:排名第三 [算法]:排名第四前言在前面我们讲述了DNN的模型与前向反向传播算法.而在DNN ...
深度学习笔记-卷积神经网络CNN与循环神经网络RNN有什么区别？
转载 https://blog.csdn.net/weixin_35227692/article/details/79223536 转载于:https://www.cnblogs.com/USTBlx ...
【深度学习】卷积神经网络-图片分类案例(pytorch实现)
前言前文已经介绍过卷积神经网络的基本概念[深度学习]卷积神经网络-CNN简单理论介绍.下面开始动手实践吧.本文任务描述如下: 从公开数据集CIFAR10中创建训练集.测试集数据,使用Pytorch构 ...
机器学习——深度学习之卷积神经网络（CNN）——AlexNet卷积神经网络结构
目录一.AlexNet卷积神经网络结构模型 1.数据库ImageNet 2.AlexNet第一层卷积层二.AlexNet卷积神经网络的改进 1.非线性变化函数的改变--ReLU 2.最大池化(Ma ...
深度学习之卷积神经网络(Convolutional Neural Networks, CNN)(二)
前面我们说了CNN的一般层次结构, 每个层的作用及其参数的优缺点等内容.深度学习之卷积神经网络(Convolutional Neural Networks, CNN)_fenglepeng的博客-CS ...

[人工智能-深度学习-23]：卷积神经网络CNN - 卷积核的本质是多维输入的神经元