数据扩充和数据预处理

参考：《解析深度学习——卷积神经网络原理与视觉实践》

网址：http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf

数据扩充

有效的数据扩充不仅能扩充训练样本数量,还能增加训练样本的多样性,一方面可避免过拟合,另一方面又会带来模型性能的提升，但实际使用时需要“量体裁衣”。

更多图像数据扩充方法代码可参见：https://github.com/alegu/imgaug

注：如果是图像检测任务或者是图像分割任务，记得将图像数据和标记数据进行同步扩充（比如图像翻转时，对应的标记坐标跟着做相应翻转）

一、常用的数据扩充方法：

水平翻转、随机抠图、尺度变换、旋转、色彩抖动

色彩抖动是在RGB颜色空间对原有RGB色彩分布进行轻微的扰动,也可在HSV颜色空间尝试随机改变图像原有的饱和度和明度(即,改变 S和V通道的值)或对色调进行微调(小范围改变该通道的值)。

二、特殊的数据扩充方法：

Fancy PCA

监督式数据扩充（海康威视研究院提出）——利用高层语义信息

GAN数据扩充

GAN根据随机向量通过生成对抗形式可以生成不同的数据类型，可以作为数据扩充的一种方法。

数据预处理

中心式归一化

先对数据集进行划分，训练集、验证集、测试集，图像减均值只对训练集操作。

减均值操作的原理是,我们默认自然图像是一类平稳的数据分布(即数据每一个维度的统计都服从相同分布),此时,在每个样本上减去数据的统计平均值(逐样本计算)可以移除共同部分,凸显个体差异。

数据扩充和数据预处理相关推荐

数据扩充与数据预处理
Contents 1 数据扩充 1.1 一般的数据扩充 1.2 特殊的数据扩充方式 1.2.1 Fancy PCA 1.2.2 监督式数据扩充 1.3 总结 2 数据预处理 2.1 参考资料数据扩充 ...
（论文加源码）基于DEAP脑电数据集的脑电情绪识别（利用生成对抗性网络进行特征提取和数据扩充）
本篇论文发表于2022年的顶级期刊,代码可以完整运行,详情见第八节或者个人主页论文源码见个人主页:https://download.csdn.net/download/qq_45874683/876 ...
Keras ImageDataGenerator用于数据扩充/增强的原理及方法
摘要在这篇博客中,您将学习如何使用Keras的ImageDataGenerator类执行数据扩充/增强.另外将介绍什么是数据增强,数据增强的类型,为什么使用数据增强以及它能做什么/不能做什么. 有三 ...
Data Augmentation for Deep Learning-based Radio ModulationClassification解读（基于深度学习的无线电调制分类数据扩充）
摘要:深度学习最近被应用于自动分类接收无线电信号的调制类别,而无需人工经验.然而,训练深度学习模型需要大量的数据.训练数据不足会导致严重的过度拟合问题,降低分类精度.为了处理小数据集,数据增强被广泛应 ...
第1章-数据探索(1)-数据预处理
简介在我们了解了业务背景,确定了需求和分析目标以后,我们接下来要面对的,就是数据的探索了.不论数据的形式是直接连到数据库.还是导出的csv.txt.json等格式,当我们把数据加载到我们的分析利器( ...
ICLR2021 | 利用数据扩充提高蛋白质序列模型的通用性
今天给大家介绍投稿在ICLR2021上的一项工作.由于蛋白质序列上的微小改变可能导致其功能上难以预测的变化,所以蛋白质序列往往无法使用类似于计算机视觉或自然语言处理中所使用的随机数据扩充方法.针对以上 ...
对图像数据最主要的预处理： Resize
简介: 对于图像进行预处理,对于训练视觉深度网络非常重要.可以借助于OpenCV中的相关的函数,或者Paddle中的对于图像预处理的函数完成.本文验证了对于旋转数字进行Resize的方法. 关键词: ...
数据可视化与数据预处理
# -*- coding: utf-8 -*- """ Created on Fri Oct 4 20:41:20 2019@author: shenlong " ...
python学习音频-Python 音频数据扩充的技巧
经典的深度学习网络AlexNet使用数据扩充(Data Augmentation)的方式扩大数据集,取得较好的分类效果.在深度学习的图像领域中,通过平移. 翻转.加噪等方法进行数据扩充.但是,在音频( ...

数据扩充和数据预处理

数据扩充和数据预处理相关推荐

最新文章

热门文章