卷积神经网络及图像处理中共享权重、特征映射等理解
一，前言
卷积神经网络（Constitutional Neural Networks, CNN）是在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法。先回顾一下多层神经网络:
多层神经网络包括一个输入层和一个输出层，中间有多个隐藏层。每一层有若干个神经元，相邻的两层之间的后一层的每一个神经元都分别与前一层的每一个神经元连接。在一般的识别问题中，输入层代表特征向量，输入层的每一个神经元代表一个特征值。
在图像识别问题中，输入层的每一个神经元可能代表一个像素的灰度值。但这种神经网络用于图像识别有几个问题，一是没有考虑图像的空间结构，识别性能会受到限制；二是每相邻两层的神经元都是全相连，参数太多，训练速度受到限制。
而卷积神经网络就可以解决这些问题。卷积神经网络使用了针对图像识别的特殊结构，可以快速训练。因为速度快，使得采用多层神经网络变得容易，而多层结构在识别准确率上又很大优势。
二，卷积神经网络的结构
卷积神经网络有三个基本概念：局部感知域（local receptive fields），共享权重(shared weights)和池化（pooling）。
局部感知域: 在上图中的神经网络中输入层是用一列的神经元来表示的，在CNN中，不妨将输入层当做二维矩阵排列的神经元。
与常规神经网络一样，输入层的神经元需要和隐藏层的神经元连接。但是这里不是将每一个输入神经元都与每一个隐藏神经元连接，而是仅仅在一个图像的局部区域创建连接。以大小为28X28的图像为例，假如第一个隐藏层的神经元与输入层的一个5X5的区域连接，如下图所示：
这个5X5的区域就叫做局部感知域。该局部感知域的25个神经元与第一个隐藏层的同一个神经元连接，每个连接上有一个权重参数，因此局部感知域共有5X5个权重。如果将局部感知域沿着从左往右，从上往下的顺序滑动，就会得对应隐藏层中不同的神经元，如下图分别展示了第一个隐藏层的前两个神经元与输入层的连接情况。
如果输入层是尺寸为28X28的图像，局部感知域大小为5X5,那么得到的第一个隐藏层的大小是24X24。
共享权重： 上面得到的第一隐藏层中的24X24个神经元都使用同样的5X5个权重。第j个隐藏层中第k个神经元的输出为：
这里σ是神经元的激励函数（可以是sigmoid函数、thanh函数或者rectified linear unit函数等）。b 是该感知域连接的共享偏差。wl,m是个5X5共享权重矩阵。因此这里有26个参数。 ax,y 代表在输入层的x,y处的输入激励。
这就意味着第一个隐藏层中的所有神经元都检测在图像的不同位置处的同一个特征。（权重共享，检测特征相同）因此也将从输入层到隐藏层的这种映射称为特征映射（或称作filters, kernels）。该特征映射的权重称为共享权重，其偏差称为共享偏差。
为了做图像识别，通常需要不止一个的特征映射，因此一个完整的卷积层包含若干个不同的特征映射。下图中是个三个特征映射的例子。
在实际应用中CNN可能使用更多的甚至几十个特征映射。以MNIST手写数字识别为例，学习到的一些特征如下：
这20幅图像分别对应20个不同的特征映射（或称作filters, kernels）。每一个特征映射由5X5的图像表示，代表了局部感知域中的5X5个权重。亮的像素点代表小的权重，与之对应的图像中的像素产生的影响要小一些。暗的像素点代表的大的权重，也意味着对应的图像中的像素的影响要大一些。可以看出这些特征映射反应了某些特殊的空间结构，因此CNN学习到了一些与空间结构有关的信息用于识别。
池化层（pooling layers） 池化层通常紧随卷积层之后使用，其作用是简化卷积层的输出。例如，池化层中的每一个神经元可能将前一层的一个2X2区域内的神经元求和。而另一个经常使用的max-pooling，该池化单元简单地将一个2X2的输入域中的最大激励输出，如下图所示：
如果卷积层的输出包含24X24个神经元，那么在池化后可得到12X12个神经元。每一个特征映射后分别有一个池化处理，前面所述的卷积层池化后的结构为：
Max-pooling并不是唯一的池化方法，另一种池化方法是L2−pooling
,该方法是将卷积层2X2区域中的神经元的输出求平方和的平方根。尽管细节与Max-pooling不一样，但其效果也是简化卷积层输出的信息。
将上述结构连接在一起，再加上一个输出层，得到一个完整的卷积神经网络。在手写数字识别的例子中输出层有十个神经元，分别对应0，1， … ,9的输出。
网络中的最后一层是一个全连接层，即该层的每个神经元都与最后一个Max-pooling层的每个神经元连接。
这个结构这是一个特殊的例子，实际CNN中也可在卷积层和池化层之后可再加上一个或多个全连接层。
卷积神经网络及图像处理中共享权重、特征映射等理解相关推荐
- 卷积神经网络及其在图像处理中的应用
一,前言 卷积神经网络(Constitutional Neural Networks, CNN)是在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法.先回顾一下多层神经网络 ...
- DeepDream、反向运行一个卷积神经网络在 DeepDream和卷积神经网络的可视化 中的应用
日萌社 人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 反向运行一个卷积神经网络在 卷积神经网络的可视化 中的应用 D ...
- 对于CNN卷积神经网络的前向传播和反向传播的理解
对于CNN卷积神经网络的前向传播和反向传播的理解 前向传播示意图: 咋一看这张图,作为初学者可能会不知所云(￣ω￣=)?但是想要很好的理解前向传播的原理,我们得从这张图细说. 文章目录 对于CNN ...
- 如何使用卷积神经网络进行图像处理？
人工智能(Artificial Intelligence,AI)是将人类思维嵌入计算机的一个领域. 换句话说,就是创建模仿生物大脑功能的人工大脑.现在,人们需要将使用智能可做的所有事情转移到机器中.第 ...
- 一文了解卷积神经网络在股票中应用
译者 | 阿尔法计算生(个人微信:ixci001) 摘要 卷积神经网络使计算机视觉领域发生了革命性的变化.本文探讨了CNNs的一个典型应用:利用卷积网络来预测股票价格的变动,即利用卷积网络来预测过去价 ...
- Bag of Tricks for Image Classification with Convolutional Neural Networks（卷积神经网络在图像分类中的技巧）
来源:Tong He Zhi Zhang Hang Zhang Zhongyue Zhang Junyuan Xie Mu L Amazon Web Services fhtong,zhiz,hzaw ...
- 学习笔记 | 深度卷积神经网络在计算机视觉中的应用
图像识别是一种利用计算机对图像进行处理.分析和理解,以识别各种不同模式的目标和对象的技术,是计算机视觉领域的一个主要研究方向,在以图像为主体的智能化数据采集与处理中具有十分重要 的作用和影响.目前图像 ...
- 华为开发者学院 | 卷积神经网络与图像处理，听这一节课就够了
允中 发自 凹非寺 量子位 编辑 | 公众号 QbitAI 随着人工智能技术越来越多地融入到我们的生活中,出现了智能音箱.智能助理.智能机器人等实用性产品.人工智能作为当前最热门的技术之一,越来越多 ...
- 卷积神经网络CNN介绍：结构框架，源码理解【转】
1. 卷积神经网络结构 卷积神经网络是一个多层的神经网络,每层都是一个变换(映射),常用卷积convention变换和pooling池化变换,每种变换都是对输入数据的一种处理,是输入特征的另一种特征表 ...
最新文章
- LIVE 预告 | 快手宋洋：千亿特征，万亿参数，快手推荐精排模型的发展史
- [模拟退火]BZOJ 3680 吊打XXX
- 【BZOJ3314】 [Usaco2013 Nov]Crowded Cows 单调队列
- redis 服务器/客户端安装与配置
- asp.net中@page指令的属性Inherits、Src、CodeBehind区别
- postgresql中表的继承及分区表(四)
- 今天上班的乐趣是......
- ABAP的一个新关键字 - How does FROM lookup_tab work
- iOS 10 升级后无法真机测试 Could not find Developer Disk Image
- 仪表盘怎么调 铃木uy125摩托车_平时市区骑行，摩托车链条多久保养一次？
- 一个SQL逻辑读异常的解决方法
- scala代码示例_Scala元组和地图示例
- scala学习（一）
- XILINX FPGA电源设计指南
- 为什么你的努力可能是没用的？
- VeryCD新建2组中国eMule服务器
- PDD卖百度网盘超级会员，是怎么做到销量10万+的？
- 每日一练-10-求矩阵主对角线及副对角线元素的和
- 【校企合作】湖南工业大学计算机学院与牛耳教育签约共建实训基地
- web设计与制作｜DW故宫景点介绍网页设计制作｜web旅游景点网站模板成品｜html故宫介绍网页设计制作源码｜HTML5期末大作业...