卷积自编码器CAEs

一、自编码器

自编码器（Autoencoder）是一种旨在将它们的输入复制到的输出的神经网络。他们通过将输入压缩成一种隐藏空间表示（latent-space representation），然后这种重构这种表示的输出进行工作。这种网络由两部分组成：

编码器：将输入压缩为潜在空间表示。可以用编码函数h = f（x）表示。
解码器：这部分旨在重构来自隐藏空间表示的输入。可以用解码函数r = g（h）表示。

二、CAE
在CAE中，编码器由一个卷积层和一个池层组成，解码器只包括一个反卷积层。
卷积神经网络由一个由卷积和池化组成的神经网络。卷积的作用相当于一个滤波器，而池化则是提取不变特征。其网络结构如下图所示：
自编码器则是一个由输入层，隐含层，输出层所构成的神经网络。可以这样理解

卷积层-卷积：初始化k个卷积核(W)，每个卷积核搭配一个偏置b，与输入x卷积()后生成k个特征图h，激活函数是。公式如下：

池化层-池化操作（Max Pooling）：对上面生成的特征图进行池化操作，时要保留池化时的位置关系的矩阵，方便之后反池化的操作。
池化层-自编码（反池化操作）：对上面生成的特征图进行反池化操作，用到保留池化时的位置关系的矩阵，将数据还原到原始大小的矩阵的相应的位置（在此可以参考卷积神经网络的一些过程）。
卷积层-自编码（反卷积的操作）：每张特征图h与其对应的卷积核的转置进行卷积操作并将结果求和，然后加上偏置c，激活函数仍然是。公式如下：

卷积层-更新权值：要更新权值，首先要确定损失函数，此处采用的MSE（最小均方差）函数，即：目标值减去实际值的平方和再求均值，2n是为了简化求导。其中。公式如下：

参考CAE

反卷积
一句话解释：逆卷积{反卷积}相对于卷积在神经网络结构的正向和反向传播中做相反的运算。
逆卷积(Deconvolution)比较容易引起误会，转置卷积(Transposed Convolution)是一个更为合适的叫法.
不同的卷积类型
一般的卷积操作（我们这里只考虑最简单的无padding, stride=1的情况），都将输入的数据越卷越小。根据卷积核大小的不同，和步长的不同，输出的尺寸变化也很大。但是有的时候我们需要输入一个小的特征，输出更大尺寸的特征该怎么办呢？比如图像语义分割中往往要求最终输出的特征尺寸和原始输入尺寸相同，但在网络卷积核池化的过程中特征图的尺寸却逐渐变小。在这里转置卷积便能派上了用场。在数学上，转置卷积的操作也非常简单，把正常卷积的操作反过来即可。所以需要转置卷积。
参考抽丝剥茧，带你理解转置卷积（反卷积）

三、CNN的组成
多个经过训练的CAE被堆叠到CNN中，用于学习增强最终分类性能的层次表示。
四、总结
参考深度学习中的卷积与反卷积
卷积操作是找到特定的局部图像特征（如边缘），之后通过池化层进行压缩的操作，而反卷积（转置卷积）可以理解为图像的复原操作，因此在进行CAEs（卷积自编码器）定义时去寻找反卷积操作之后的图像和原来的图像的差距，差距越小说明卷积构建的越合理，CAEs的数学形式：

下图为论文《Adaptive Deconvolutional Networks for Mid and High Level Feature Learning》通过deconvolutional networks学习图片特征的过程。右边为卷积通道，左边为反卷积通道。F、P分别表示卷积及pooling，F.T、U分别表示反卷积及unpooling。可以更好的理解：图片来自于深度学习中的卷积与反卷积

CAEs通过调整卷积层池化层对应的超参数（feature maps(z)和filters(f)等等）使得通过调整的超参数而重构的图像y^与原始图像y的差别最小。最终寻找到一个优秀的基本框架，包含一个卷积层和池化层以及对应的超参数，最后再通过叠加卷积层和池化层，构成庞大的神经网络，最后添加全连接层，从而形成一个CNN的网络结构。
缺点：卷积层和池化层的数量相对来说比较固定，一个卷积层后面肯定会跟随一个池化层，但对于目前的网络来说，这样的CAEs并不能构建出更新的更复杂的神经网络结构。

卷积自编码器CAEs相关推荐

干货｜利用卷积自编码器对图片进行降噪
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达前言: 这周工作太忙,本来想更把Attention tranlsa ...
视觉进阶 | 用于图像降噪的卷积自编码器
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:磐创AI 作者|Dataman 编译|Arno 来源|A ...
卷积自编码器（Convolutional Autoencoder）的一个实验
1.卷积自编码器(CAE)的简单介绍卷积自编码器是自编码器方法的一种延伸,自编码器包括编码和解码,通过将输入的图像进行编码,特征映射到隐层空间,然后解码器对隐层空间的特征进行解码(重建的过程)获得输 ...
用于图像降噪的卷积自编码器
这篇文章的目的是介绍关于利用自动编码器实现图像降噪的内容. 在神经网络世界中,对图像数据进行建模需要特殊的方法.其中最著名的是卷积神经网络(CNN或ConvNet)或称为卷积自编码器.并非所有的读者都 ...
[自编码器：理论+代码]：自编码器、栈式自编码器、欠完备自编码器、稀疏自编码器、去噪自编码器、卷积自编码器
写在前面因为时间原因本文有些图片自己没有画,来自网络的图片我尽量注出原链接,但是有的链接已经记不得了,如果有使用到您的图片,请联系我,必注释. 自编码器及其变形很多,本篇博客目前主要基于普通自编码器 ...
GAN生成对抗网络-GAN原理与基本实现-去噪与卷积自编码器01
基本去噪自编码器 import tensorflow as tf import matplotlib.pyplot as plt import numpy as np # 显存自适应分配 gpus = ...
译文Deep Learning in Bioinformatics --深度学习在生物信息学领域的应用（1）
译文Deep Learning in Bioinformatics --深度学习在生物信息学领域的应用(1) 深度学习在生物信息学领域的应用(1) 原文链接:https://arxiv.org/abs ...
生物信息学|通过基于多模态注意机制的卷积编码器进行可解释的抗癌化合物灵敏度预测
0. 摘要根据最近神经网络在药物设计和灵敏度预测方面的进展,我们提出了一种新的模型,利用基于多模态注意机制的卷积编码器对抗癌化合物灵敏度进行可解释预测.我们的模型基于药物敏感性的三个关键数据 ...
CAE(Convolutional Auto-Encode) 卷积自编码
最近复习一下之前看的深度学习的网络,在deeplearning-toolbox中看到一个CAE一时没想起来就看了一下官方的解释 CAE(Convolutional Auto-Encode) 卷积自编码 ...

卷积自编码器CAEs

卷积自编码器CAEs相关推荐

最新文章

热门文章