点上方计算机视觉联盟获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：AI公园     作者：Harpal Sahota

编译：ronghuaiyang

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

实现了Google Research，Brain Team中的增强策略。

像许多神经网络模型一样，目标检测模型在训练大量数据时效果最好。通常情况下，可用的数据有限，世界各地的许多研究人员正在研究增强策略，以增加可用的数据量。谷歌的大脑团队进行了一项这样的研究，并发表在了一篇论文中，名为Learning Data Augmentation Strategies for Object Detection。在这篇论文中，作者确定了一组增强称为策略，它对目标检测问题表现良好。该策略通过增强搜索获得，提高了通用模型的性能。

作者将增强策略定义为一组子策略。在模型进行训练时，随机选择其中一个子策略用于增强图像。在每个子策略中都有要依次应用于图像的增强。每个转换也有两个超参数：概率和幅度。概率表示该增强将被应用的可能性，而幅度表示该增强的程度。下面的代码显示了本文中使用的策略：

policy = [      [('TranslateX_BBox', 0.6, 4), ('Equalize', 0.8, 10)],        [('TranslateY_Only_BBoxes', 0.2, 2), ('Cutout', 0.8, 8)],     [('Sharpness', 0.0, 8), ('ShearX_BBox', 0.4, 0)],      [('ShearY_BBox', 1.0, 2), ('TranslateY_Only_BBoxes', 0.6, 6)], [('Rotate_BBox', 0.6, 10), ('Color', 1.0, 6)],
]

在这个策略中有5个子策略，如果我们取第一个子策略，它就包含了TranslateX_BBox和Equalize增强。TranslateX_BBox操作在x轴上转换图像的幅度为4。在本例中，大小并不直接转换为像素，而是根据大小缩放为像素值。该增强的概率也为0.6，这意味着如果该增强被选中，则应用该增强的概率为60%。随着每个增强都有一个相关的概率，引入了一个随机的概念，给训练增加了一定程度的随机性。总的来说，Brain Team已经提出了4个策略: v0, v1, v2和v3。本文中显示了v0策略，其他三个策略包含更多的子策略，这些子策略具有几种不同的转换。总的来说，增加分为三类，作者定义为：

颜色操作: 扭曲颜色通道，不影响边界框的位置。

几何操作：几何扭曲图像，这相应地改变了边界框的位置和大小。

包围框操作：只会扭曲包围框中包含的像素内容。

BBAug

那么BBAug)在这方面有什么贡献呢？BBAug是一个python包，它实现了谷歌Brain Team的所有策略。这个包是一个包装器，可以更容易地使用这些策略。实际的扩展是由优秀的imgaug包完成的。

上面显示的策略应用于一个示例图像，如下所示。每一行是一个不同的子策略，每一列是该子策略的不同运行。

正如你所看到的，在子策略的运行之间有一定程度的变化，因此给训练增加了一定程度的随机性。这只是BBAug实施的4个策略之一。要查看所有4个策略的完整可视化，请查看包的GitHub页面：https://github.com/harpalsahota/bbaug。该包还提供了一些有用的功能，比如定制策略的可能性，以及位于图像外部的边界框，如果它们部分位于图像外部，则会被自动删除或剪切。例如，在下面的图像中，应用了平移增强，将边界框部分推到图像外部。你可以看到新的边界框已经缩小以适应这一点。

也可以创建只影响边界框区域的增强。在下图中，solarisaugmentation只应用于边界框区域：

用随机策略增加单个图像有多容易？就像这样简单:

from bbaug import policies# select policy v0 set
aug_policy = policies.policies_v0()# instantiate the policy container with the selected policy set
policy_container = policies.PolicyContainer(aug_policy)# select a random policy from the policy set
random_policy = policy_container.select_random_policy() # Apply the augmentation. Returns the augmented image and bounding boxes.
# Image is a numpy array of the image
# Bounding boxes is a list of list of bounding boxes in pixels (int).
# e.g. [[x_min, y_min, x_man, y_max], [x_min, y_min, x_man, y_max]]
# Labels are the class labels for the bounding boxes as an iterable of ints e.g. [1,0]
img_aug, bbs_aug = policy_container.apply_augmentation(random_policy, image, bounding_boxes, labels)
# image_aug: numpy array of the augmented image
# bbs_aug: numpy array of augmneted bounding boxes in format: [[label, x_min, y_min, x_man, y_max],...]

总结

该包实现了谷歌Brain Team推导出的增强策略。目前，已经实现了所有4个策略，该包还附带了notebooks，以帮助用户将这些策略集成到他们的PyTorch训练pipeline中。

英文原文：https://towardsdatascience.com/bbaug-a-package-for-bounding-box-augmentation-in-pytorch-e9b9fbf1504b

-------------------

END

--------------------

我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

这是我的私人微信，位置有限，一起进步！

王博的公众号，欢迎关注，干货多多

王博Kings的系列手推笔记（附高清PDF下载）：

博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（上）

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（下）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（上）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（下）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（上）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（下）

博士笔记 | 周志华《机器学习》手推笔记第九章聚类

博士笔记 | 周志华《机器学习》手推笔记第十章降维与度量学习

博士笔记 | 周志华《机器学习》手推笔记第十一章稀疏学习

博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论

博士笔记 | 周志华《机器学习》手推笔记第十三章半监督学习

博士笔记 | 周志华《机器学习》手推笔记第十四章概率图模型

点分享

点收藏

点点赞

点在看