一、前馈神经网络的缺点

①权重矩阵的参数非常多（每层之间两两连接） ${x}'(t)=\frac{x(t+1)-x(t-1)}{2}$

②局部不变特征（难以提取不改变性质的操作<如旋转、缩放、平移>或局部特征）

二、卷积

给定一个输入信号序列x和滤波器w，卷积的输出为： $y_t=\sum_{k=1}^Kw_kx_{t-k+1}$

卷积的作用：

①近似微分

当令滤波器w=[1/2,0,-1/2]时，可以近似信号序列的一阶微分方程

${x}'{t}=\frac{x(t+1)-x(t-1)}{2}$

当令滤波器w=[1,-2,1]时，可以近似信号序列的二阶微分

${x}''(t)=x(t+1)+x(t-1)-2x(t)$

②低通滤波\高通滤波

滤波器w=[1/3,1/3,1/3]可以检测低频信息

滤波器w=[1,-2,1]可以检测高频信息

③卷积扩展

引入滤波器的滑动步长S和零填充P

滑动步长：窗口的长度

零填充：为了窗口取整，在两端补若干个0

④卷积类型

窄卷积：步长S=1，两端不补零P=0，输出长度为M-K+1

宽卷积：步长S=1，两端补零P=K-1，输出长度为M+K-1

等宽卷积：步长S=1，两端补零P=(K-1)/2，输出长度M

⑤二维卷积

Y=W*X $y_{ij}=\sum_{u=1}^U \sum_{v=1}^Vw_{uv}-x_{i-u+1,j-v+1}$

三、卷积神经网络

是一种前馈神经网络；受生物学感受野机制（只有特定区域接收刺激才能激活神经元）提出

特征： ①局部连接 ②权重共享 ③空间或时间上的次采样

使用卷积层代替全连接层

$h^{(l+1)}=f(w*h^{(l)}+b)$

①互相关

计算卷积需要进行卷积核翻转；卷积操作的目标：提取特征-->并不一定需要翻转

互相关： $y_{ij}=\sum_{u=1}^m \sum_{v=1}^{n}w_{uv}x_{i+u-1,j+v-1}$ 除非特别申明，卷积一般指“互相关”

②多个卷积核

卷积核可以视为一个特征提取器，为了增强卷积层的能力，可以引入多个卷积核

以二维为例：特征映射（图像讲过卷积后得到的特征）

卷积层输入：D个特征映射M × N × D

卷积层输出：P个特征映射 ${M}'\times {N}' \timeP$

③卷积层的映射关系

各输入信号通过卷积后，再汇总得到输出信号，虽然卷积方式为单连接，但是输出和输入之间可以等效为全连接。

典型的卷积层为3维结构

④汇聚层

卷积层的作用：减少连接数量（但无法减少特征映射的神经元）

可以通过增加步长来减少神经元的数量

汇聚：将数据划分为若干区域，每个区域选取一个具有代表性的数据

⑤卷积神经网络的结构

卷积层 + 汇聚层 + 全连接层 堆叠形成

典型结构： ①趋于小卷积、大深度

②趋于全卷积

四、特殊的卷积神经网络

①空洞卷积

作用：增加输出单元的感受野

在卷积核中插入空洞，变相的增加卷积核的大小（投射的时候增加空位）

②转置卷积/微步卷积

低维特征映射到高维特征（放大）

减小步长，在输入上插入空洞（S=1/2）

五、经典卷积神经网络

1.LeNet-5

LeNet-5主要用于识别手写数字，共7层

2.AlexNet

使用GPU进行并行训练，采用ReLU作为非线性激活函数，使用Dropout防止过拟合

一共5个卷积层、3个汇聚层、3个全连接层

3.Inception网络

由大量的inception模块和少量的汇聚层堆叠而成

inception模块

包含多个大小不同的卷积操作（1x1、3x3、5x5等大小不同的卷积核），并将得到的特征映射在深度上拼接（堆叠）起来作为输出特征映射。

1X1的作用：让不同深度的特征进行融合

inception模块V3

用多层的小卷积核来替代大的卷积核，减少计算量和参数量（两层3X3来替代5X5，用连续的nX1和1Xn替代nXn）

4.残差网络(ResNet)

层数极多(152层)

通过给非线性卷积层增加直连边来提高信息的传播率

将目标函数拆分为两个部分：恒等函数、残差函数

残差单元

由于每个单元有一条直连边(x)，所以即使堆叠得很深也不会出现梯度消失的问题。

六、卷积在文本上的应用

1.Ngram特征与卷积

Ngram：连接相邻的n个单词（滑动窗口）

2.文本序列的卷积

使用Lookuptable将词转换为向量。

可将其视为一维卷积（窗口大小为k，深度为d）或二维卷积（卷积核大小为dxk）

3.基于卷积模型的句子表示

4.文本序列的卷积模型

神经网络（五）卷积神经网络相关推荐

Tensorflow入门到实战五(卷积神经网络)
方法定义 tf.nn.conv2d (input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=No ...
卷积神经网络图像识别,卷积神经网络图像处理
基于深度卷积神经网络进行人脸识别的原理是什么? 本质上是模式识别,把现实的东西抽象成计算机能够理解的数字.如果一个图片是256色的,那么图像的每一个像素点,都是0到255中间的一个值,这样你可以把一个 ...
神经网络与卷积神经网络,什么是卷积神经网络
前馈神经网络.BP神经网络.卷积神经网络的区别与联系一.计算方法不同1.前馈神经网络:一种最简单的神经网络,各神经元分层排列.每个神经元只与前一层的神经元相连.接收前一层的输出,并输出给下一层．各层 ...
卷积神经网络图像处理,卷积神经网络基本原理
基于深度卷积神经网络进行人脸识别的原理是什么? 本质上是模式识别,把现实的东西抽象成计算机能够理解的数字.如果一个图片是256色的,那么图像的每一个像素点,都是0到255中间的一个值,这样你可以把一个 ...
神经网络与卷积神经网络_神经网络与人的思想
神经网络与卷积神经网络 If you are familiar with the terms Artificial Intelligence, Machine Learning , Deep Lear ...
BP神经网络与卷积神经网络（CNN）
BP神经网络与卷积神经网络(CNN) 1.BP神经网络 1.1 神经网络基础神经网络的基本组成单元是神经元.神经元的通用模型如图 1所示,其中常用的激活函数有阈值函数.sigmoid函数和双曲正 ...
【数据挖掘】卷积神经网络 ( 视觉原理 | CNN 模仿视觉 | 卷积神经网络简介 | 卷积神经网络组成 | 整体工作流程 | 卷积计算图示 | 卷积计算简介 | 卷积计算示例 | 卷积计算参数 )
文章目录 I . 人类的视觉原理 II . 卷积神经网络模仿视觉原理 III . 卷积神经网络简介 IV . 卷积神经网络组成 V . 卷积神经网络工作流程 VI . 降低样本参数数量级 VI ...
04.卷积神经网络 W1.卷积神经网络（作业：手动/TensorFlow 实现卷积神经网络）
文章目录作业1:实现卷积神经网络 1. 导入一些包 2. 模型框架 3. 卷积神经网络 3.1 Zero-Padding 3.2 单步卷积 3.3 卷积神经网络 - 前向传播 4. 池化层 5. 卷 ...
【卷积神经网络】卷积神经网络（Convolutional Neural Networks, CNN）基础
卷积神经网络(Convolutional Neural Networks, CNN),是一种针对图像的特殊的神经网络. 卷积神经网络概述 Why not DNN? 图像数据的维数很高,比如 1, ...
全连接神经网络、卷积神经网络
全连接神经网络.卷积神经网络前言全连接神经网络介绍结构损失函数梯度下降链式法则反向传播总结卷积神经网络背景结构卷积(Convolution) 池化(Max Pooling) ...

神经网络（五）卷积神经网络