Denoising Auto-Encoder

在神经网络模型训练开始前，通过Auto-encoder对模型进行预训练，可以确定编码器的初始参数值。然而，受模型复杂度、训练集数据量以及数据噪声等问题的影响，通过Auto-encoder得到的初始模型往往存在过拟合的风险。
例如，圆饼干和方饼干，在认知中同属于饼干这一类，形状对我们的判断没有作用，也就是噪声。如果不能将形状数据去除掉，可能产生“圆饼干是饼干，方饼干不是饼干”的过拟合问题。
当采用无监督的方法分层预训练神经网络的权值时，为了学习到教鲁棒的特征，可在网络的输入层引入随机噪声——降噪自编码器（denosing auto encoder）
降噪自编码器：一个模型，能够从有噪声的原始数据作为输入，而能够恢复出真正的原始数据。这样的模型，更具有鲁棒性。
以MNIST手写数字识别为例。对输入的数据引入了变换角度、随机噪点、添加背景图像等噪声。模型通过训练后可以对有噪音图像更加鲁棒，这也更符合实际使用的需求。
对于有噪声的输入数据，区别于一般自编码机，降噪自编码机要做的就是数据的降噪。
从数学上来讲，假设原始数据x被我们故意破坏了，比如加入了高斯噪声，或者把某些维度数据抹掉，变成x’，然后再对x’进行编码、解码，得到恢复信号xx = g(f(x’))，该恢复信号尽可能地逼近未被污染的原数据x。此时，监督训练的误差函数就从原来的L(x,g(f(x)))，变为L(x,g(f’(x)))。
从直观上理解，降噪自编码器希望学到的特征尽可能鲁棒，能够在一定程度上对抗原始数据的污染、缺失等情况。

import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
import torch
from matplotlib.pyplot as plt
import time
import math
from torch import nn.optim
from torchvision.datasets import MNIST
from torchvision.transforms import ToPILImage
from torchvision.utils import save_imageclass AutoEncoder(nn.Module):def __init__(self):super(AutoEncoder,self).__init__()#编码self.encoder = nn.Sequential(nn.Cov2d(1,64,kernel_size=3,stride=1,padding=1),nn.ReLU(),nn.MaxPool2d(kernel_size=2,stride=2),nn.Cov2d(64,128,kenerl_size=3,stride=1,padding=1)nn.ReLU())#解码self.decoder = nn.sequential(nn.Conv2d(128,64,kenerl_size=3,stride=1,padding=1)nn.ReLU(),nn.Upsample(scale_factor=2,mode="nearest"),nn.Conv2d(64,1,kernel_size=3,stride=1,padding=1),nn.ReLU())def forward(self,x):x = self.encoder(x)return self.decoder(x)class Trainer:def __init__(self,batch_size,epochs):self.device = torch.devicee("cuda" if torch.cuda.is_availavle() else "cpu")print("device:{}".format(self.device))self.net = AutoEncoder().to(self.device)self.loss_fn = nn.MSELoss()self.opt = torch.optim.Adam(self.net.parameters())self.BATCH_SIZE = batch_sizeself.EPOCHS = epochs

Denoising Auto-Encoder相关推荐

堆叠降噪自动编码器 Stacked Denoising Auto Encoder（SDAE）
原文链接自动编码器(Auto-Encoder,AE) 自动编码器(Auto-Encoder,AE)自编码器(autoencoder)是神经网络的一种,经过训练后能尝试将输入复制到输出.自编码器内部有 ...
Auto Encoder(AE)，Denoising Auto Encoder(DAE), Variational Auto Encoder(VAE) 区别
文章主要内容参考李宏毅老师的机器学习课程:https://www.bilibili.com/video/BV1Wv411h7kN?p=70 Auto Encoder: 是什么?有什么用? Auto E ...
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Auto Encoder 自编码器 + PyTorch实战
文章目录一.Basic Idea of Auto Encoder 1.1 Auto Encoder 结构 1.2 Auto Encoder 降维 1.3 Why Auto Encoder 1.4 D ...
Auto Encoder用于异常检测
对基于深度神经网络的Auto Encoder用于异常检测的一些思考 from:https://my.oschina.net/u/1778239/blog/1861724 一.前言现实中,大部分数据都 ...
自编码器(Auto Encoder)原理及其python实现
目录一.原理二.为什么要使用自编码器三.代码实现 1.原始自编码器 2.多层(堆叠)自编码器 3.卷积自编码器 4.正则自编码器 4.1稀疏自编码器四.降噪自编码器五. 逐层贪婪训练堆叠自编 ...
2021李宏毅机器学习课程笔记——Auto Encoder
注:这个是笔者用于期末复习的一个简单笔记,因此难以做到全面详细,有疑问欢迎大家在评论区讨论 https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-d ...
【人工智能概论】变分自编码器（Variational Auto Encoder , VAE）
[人工智能概论] 变分自编码器(Variational Auto Encoder , VAE) 文章目录 [人工智能概论] 变分自编码器(Variational Auto Encoder , VAE) ...
Masked Auto Encoder总结
Masked Auto Encoder总结文章目录 Masked Auto Encoder总结 MAE简介 Random Mask random mask 逻辑 random mask 实现 Enc ...
机器学习笔记：auto encoder
1 autoencoder 介绍这是一个无监督学习问题,旨在从原始数据x中学习一个低维的特征向量(没有任何标签) encoder 最早是用线性函数+非线性单元构成(比如Linear+nonlinea ...
Auto Encoder再学习
一:AutoEncoder基本概念将输入的比较高维度信息,不管是语音,文字,图像经过encoder转成一个中间状态的向量(也叫做latent code),这是一个低维度的数据,再通过decoder ...

Denoising Auto-Encoder

Denoising Auto-Encoder相关推荐

最新文章

热门文章