卷积神经网络（Convolutional Neural Networks，CNN）

1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptive field)的概念。视觉皮层的神经元就是局部接受信息的，只受某些特定区域刺激的响应，而不是对全局图像进行感知。
1984年日本学者Fukushima基于感受野概念提出神经认知机(neocognitron)。
CNN可看作是神经认知机的推广形式。

卷积神经网络的结构

CNN是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。
C层为特征提取层（卷积层）
S层是特征映射层（下采样层）。
CNN中的每一个C层都紧跟着一个S层。
概念示范：输入图像通过与m个可训练的滤波器和可加偏置进行卷积，在C1层产生m个特征映射图，然后特征映射图中每组的n个像素再求和，加权值，加偏置，通过Sigmoid函数得到m个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素值被光栅化，并连接成一个向量输入到传统神经网络，得到输出。

特征提取层（卷积层）——C层（Convolution layer）

大部分的特征提取都依赖于卷积运算
利用卷积算子对图像进行滤波，可以得到显著的边缘特征。

卷积神经网络的卷积运算

卷积神经网络中的关键技术

局部链接

(a) 全连接神经网络

(b) 局部连接神经网络

权值共享

多卷积核

池化

通过卷积获得了特征之后，如果直接利用这些特征训练分类器，计算量是非常大的。
对不同位置的特征进行聚合统计,称为池化 (pooling)。
池化常用方法：平均池化、最大池化。
卷积神经网络在池化层丢失大量的信息，从而降低了空间分辨率，导致了对于输入微小的变化，其输出几乎是不变的。

卷积神经网络的应用

一种典型的用来识别数字的卷积网络是LeNet-5。美国大多数银行当年用它识别支票上面的手写数字，达到了商用地步，说明该算法具有很高的准确性。

LeNet-5是一个数字手写系统，不包含输入层，共有7层，每层都包含可训练参数（连接权重）。输入图像为32*32大小。

胶囊网络

针对卷积神经网络训练数据需求大、环境适应能力弱、可解释性差、数据分享难等不足，2017年10月，Geoffrey E. Hinton教授等在 “神经信息处理系统大会上发表论文，提出了新型神经网络结构——胶囊网络（Capsule Networks）。
胶囊是一个包含多个神经元的载体，每个神经元表示了图像中出现的特定实体的各种属性。
胶囊不是传统神经网络中的一个神经元，而是一组神经元。
胶囊网络的核心思想：胶囊里封装的检测特征的相关信息是以向量的形式存在的，胶囊的输入是一个向量，是用一组神经元来表示多个特征。
输入层：数字图片经过标准的卷积层，有256个通道，每个通道均用9×9的卷积核，将输入层图片中的像素亮度转化成局部特征输出，作为Conv1层的输入。
PrimaryCaps层：卷积的胶囊层，包含32个胶囊。PrimaryCaps才是胶囊真正开始的地方。

DigitCaps层：胶囊网络的全连接层。
要识别的是10类数字（0~9），因此该层的胶囊个数共有10个，每个胶囊表示的向量中元素的个数为16，代表着不同状态下的同一个数字。
使用胶囊神经网络需要的训练数据量，远小于卷积神经网络，它采用动态路由协议算法，仅使用三层网络便可表现出很出色的性能，能够与深度卷积神经网络相当。
胶囊网络解决了卷积神经网络存在的信息丢失、视角变化等问题。
由于胶囊网络具有分别处理不同属性的能力，相比于CNN可以提高对图像变换的鲁棒性，在图像分割中也会有出色的表现。
胶囊网络相对于卷积网络的工作机理更接近人脑的工作方式。
欢迎大家加我微信交流讨论（请备注csdn上添加）

卷积神经网络与深度学习相关推荐

毕业设计 : 车牌识别系统实现【全网最详细】 - opencv 卷积神经网络机器学习深度学习
文章目录 0 简介 1 车牌识别原理和流程 1.1 车牌定位 1.2 基于图形图像学的定位方法. 1.3 基于机器学习的定位方法. 1.4 字符分割 1.5 字符识别 2 基于机器学习的车牌识别 2. ...
卷积神经网络在深度学习中新发展的5篇论文推荐
转载自:Deephub Imba 1.Deformable CNN and Imbalance-Aware Feature Learning for Singing Technique Classif ...
昇思易点通 | 经典卷积神经网络的深度学习解析
1 经典CNN之LeNet 手写字体识别模型LeNet5诞生于1994年,是最早的卷积神经网络之一.LeNet5利用卷积.参数共享.池化等操作提取特征,避免了大量的计算成本,最后使用全连接神经网络进行 ...
1.10 卷积神经网络示例-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 1.9 池化层回到目录 1.11 为什么使用卷积? 卷积神经网络示例构建全卷积神经网络的构造模块我们已经掌握得差不多了,下面来看个例子. 假设,有一张大小为32×32×3 ...
毕业设计 : 基于深度学习的口罩佩戴检测【全网最详细】 - opencv 卷积神经网络机器视觉深度学习
文章目录
什么是深度学习？45分钟理解深度神经网络和深度学习刘利刚教授
什么是深度学习? - 45分钟理解深度神经网络和深度学习刘利刚中国科学技术大学图形与几何计算实验室 http://staff.ustc.edu.cn/~lgliu [绪言] 近年来,人工智能(Ar ...
【神经网络与深度学习】CIFAR10数据集介绍，并使用卷积神经网络训练图像分类模型——[附完整训练代码]
[神经网络与深度学习]CIFAR-10数据集介绍,并使用卷积神经网络训练模型--[附完整代码] 一.CIFAR-10数据集介绍 1.1 CIFAR-10数据集的内容 1.2 CIFAR-10数据集的结 ...
《基于卷积神经网络的深度迁移学习，用于燃气轮机燃烧室的故障检测》论文阅读
目录突出抽象引言 1.1动机 1.2文献综述获得的结论 1.3贡献 1.4组织 2方法 2.1燃汽轮机组故障知识共享 2.2迁移学习 2.3 基于卷积神经网络的深度迁移学习 2.4用于燃气轮机燃 ...
吴恩达.深度学习系列-C4卷积神经网络-W2深度卷积模型案例
吴恩达.深度学习系列-C4卷积神经网络-W2深度卷积模型案例 (本笔记部分内容直接引用redstone的笔记http://redstonewill.com/1240/.原文整理的非常好,引入并添加我自 ...
卷积神经网络学习三：神经网络之深度学习与tinny_cnn中的层
卷积神经网络学习三:神经网络之深度学习一.神经网络神经网络是具有适应性的简单单元组成的广泛并行的网络,它的组织能够模拟生物神经系统对真实世界物体作出的交互反应.在机器学习中,神经网络指" ...

卷积神经网络与深度学习