数据增强系列（2）如何使用Augly库进行数据增强

在机器学习和深度学习中，拥有更多数据对于帮助您从模型中获得良好性能非常重要。您可以使用称为数据增强的技术来创建更多数据。数据增强是从业者用来通过从现有数据创建修改后的数据来增加数据的技术。

如果您的项目数据集很小，或者您想减少 ML 或深度学习 (DL) 模型中的过度拟合，那么使用数据增强技术是一种很好的做法。

在本文中，您将学习如何使用来自 Facebook 的名为Augly的新开源库来执行数据增强。

1. 什么是Augly？

AugLy 是一个数据增强库，可以帮助您评估和提高模型的稳健性。该库支持四种模式（音频、视频、图像和文本），并且包含 100 多种执行数据增强的方法。

如果您正在从事使用音频、视频、图像或文本数据集的机器学习或深度学习项目，您可以使用此库来增加数据并提高模型性能。

该库由 Facebook AI 的软件工程师 Joanna Bitton、FAIR 的研究工程师 Zoe Papakipos 以及 Facebook 的其他研究人员和工程师开发。

该库已用于不同的项目，例如：

图像相似性挑战:由 Facebook AI 举办的 NeurIPS 2021 竞赛，奖金为 20 万美元。它已经生成了 DISC21 数据集，该数据集将在挑战结束后公开发布！
DeepFake 检测挑战赛:由 Facebook AI 在 2020 年举办的 Kaggle 竞赛，奖金为 100 万美元；还生成了 DFDC 数据集。
SimSearchNet :Facebook AI 开发的一种近似重复的检测模型，用于识别平台上的侵权内容。

2.如何安装Augly？

AugLy 是一个 Python 3.6+ 库。它可以通过以下方式安装：

pip install augly

注意：上述命令仅安装使用图像和文本模式的基本要求。对于音频和视频模式，您可以安装所需的额外依赖项

pip install augly[av]

在某些环境中，pip 不会按预期安装 python-magic。在这种情况下，您需要另外运行：

conda install -c conda-forge python-magic

3.文本数据的数据增强技术

import augly.text as textaugs

然后创建一个简单的文本输入。

# Define input text
input_text = "Hello, world! Today we learn Data Augmentation techniques"

现在我们可以应用各种增强如下：

3.1模拟错别字

使用拼写错误、键盘距离和交换技术模拟每个文本中的拼写错误。

print(textaugs.simulate_typos(input_text))
# Hello, world! Today ew leanr Dtaa Augmentation techniques

正如您所看到的，这种技术增加了一些拼写错误并交换了一些文本单词。

3.2插入标点符号

您可以在每个输入文本中插入标点符号。

print(textaugs.insert_punctuation_chars(input_text))
# ['H,e,l,l,o,,, ,w,o,r,l,d,!,,T,o,d,a,y, ,w,e, ,l,e,a, r,n, ,D,a,t,a, ,A,u,g,m,e,n,t,a,t,i,o,n, ,t,e,c,h,n,i ,q,u,e,s']

3.3双向替换

这种技术反转每个输入文本中的每个词（或词的一部分），并使用双向标记以原始顺序呈现文本。它单独反转每个单词，即使换行也能保持词序。

print(textaugs.replace_bidirectional(input_text))
# ['\u202eseuqinhcet noitatnemguA ataD nrael ew yadoT !dlrow ,olleH\u202c']

3.4替换相似字符

这会用相似的字符替换每个文本中的字母。

print(textaugs.replace_similar_chars(input_text))
# Hello, wor7d! T()day we learn Data Augm3^tati[]n techniques

如您所见，字符“l”已替换为数字7，字符“o”已替换为“()”，字符“e”已替换为数字3，然后字符“o”已替换为“[]”。

3.5倒置更换

这会根据粒度颠倒文本中的单词。

print(textaugs.replace_upside_down(input_text))
# sǝnbᴉuɥɔǝʇ uoᴉʇɐʇuǝɯɓnⱯ ɐʇɐᗡ uɹɐǝl ǝʍ ʎɐpoꞱ ¡plɹoʍ 'ollǝH

3.6分词

此函数将文本中的单词拆分为子单词。

print(textaugs.split_words(input_text))
# He llo, world! To day we learn Data Augmentation techniques

4.图像数据的数据增强技术

第一步是导入图像模态及其依赖项，其中包含图像数据的增强技术。

import os
import augly.image as imaugs
import augly.utils as utils
from IPython.display import display

现在我们可以应用各种增强如下：

4.1图像缩放

缩放功能可以帮助您改变图像的分辨率。您可以使用一个名为factor的参数来定义图像缩小或放大的比例。

input_img_path = "images/simple-image.jpg"
# We can use the AugLy scale augmentation
input_img = imaugs.scale(input_img_path, factor=0.2)
display(input_img)

4.2模糊图像

在这个函数中，半径越大，图像越模糊。

input_img = imaugs.blur(input_img, radius=5.0)
display(input_img)

4.3改变图像的亮度

要更改亮度，您需要调整此函数中的因子参数。小于 1.0 的值会使图像变暗，大于 1.0 的值会使图像变亮。将因子设置为 1.0 不会改变图像的亮度。
让我们将因子的值设置为 1.5。

input_img = imaugs.brightness(input_img,factor=1.5)
display(input_img)

然后让我们将因子的值设置为0.5以使其更暗。

#make it darker
input_img = imaugs.brightness(input_img,factor=0.5)
display(input_img)

4.4改变图像的纵横比

在此函数中，纵横比是您要创建的新图像的宽度/高度。

input_img = imaugs.change_aspect_ratio(input_img, ratio=0.8)
display(input_img)

4.5改变图像的对比度

在这个函数中，因子参数处理一切，当你将因子设置为零时，它会给出一个灰度图像，低于 1.0 的值会降低对比度，系数 1.0 给出原始图像，大于 1.0 的系数增加对比度。

input_img = imaugs.contrast(input_img,factor=1.7)
display(input_img)

4.6裁剪图像

要裁剪图像，您需要定义裁剪图像的左上、右上和下边缘的位置。

input_img = imaugs.crop(input_img,x1=0.25,x2=0.75,y1=0.25,y2=0.75)
display(input_img)

正如我之前解释过的，该库有100 多种增强技术，本文未涵盖其中的大部分。

参考目录

https://hackernoon.com/how-to-perform-data-augmentation-with-augly-library-bn1f37y4