论文：Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation

非官方实现代码：https://github.com/qq995431104/Copy-Paste-for-Semantic-Segmentation

一、前言

二、思路及代码

一、前言

前些天分享了一篇谷歌的数据增强论文，解读在这：https://blog.csdn.net/oYeZhou/article/details/111307717。

可能由于方法比较简单，官方没有开源代码，于是，我自己尝试在语义分割数据集上进行了实现，代码见GitHub。

先看下实现的效果：

原图：

使用复制-粘贴方法增强后：

将合成后的annotation和image叠加可视化出来：

二、思路及代码

从上面的可视化结果，可以看出，我们需要两组样本：一组image+annotation为源图，一组image+annotation为主图，我们的目的是将源图及其标注信息叠加到主图及其标注信息上；同时，需要对源图的信息做随机水平翻转、大尺度抖动/随机缩放的操作。

思路如下：

随机选取源图像 $I_{src}$ （用于提取目标）、主图像 $I_{main}$ （用于将所提取的目前粘贴在其之上）；
对 $I_{src}$ 和 $I_{main}$ 分别进行随机水平翻转；
根据参数设置，对 $I_{src}$ 和 $I_{main}$ 进行大尺度抖动（Large Scale Jittering，LSJ），或者仅对 $I_{src}$ 进行随机尺度缩放；
将 $I_{src}$ 及其对应的 $mask_{src}$ 分别使用公式 $I_{1} \times \alpha+I_{2} \times(1-\alpha)$ 进行合成，生成合成的图像及其对应mask；
保存图像及mask，其中，mask转为8位调色板模式保存；

具体实现的代码如下（需要你的数据集为VOC格式，如果是coco格式，需要先将coco数据集的mask提取出来，可以参考这篇博客）：

"""
Unofficial implementation of Copy-Paste for semantic segmentation
"""from PIL import Image
import imgviz
import cv2
import argparse
import os
import numpy as np
import tqdmdef save_colored_mask(mask, save_path):lbl_pil = Image.fromarray(mask.astype(np.uint8), mode="P")colormap = imgviz.label_colormap()lbl_pil.putpalette(colormap.flatten())lbl_pil.save(save_path)def random_flip_horizontal(mask, img, p=0.5):if np.random.random() < p:img = img[:, ::-1, :]mask = mask[:, ::-1]return mask, imgdef img_add(img_src, img_main, mask_src):if len(img_main.shape) == 3:h, w, c = img_main.shapeelif len(img_main.shape) == 2:h, w = img_main.shapemask = np.asarray(mask_src, dtype=np.uint8)sub_img01 = cv2.add(img_src, np.zeros(np.shape(img_src), dtype=np.uint8), mask=mask)mask_02 = cv2.resize(mask, (w, h), interpolation=cv2.INTER_NEAREST)mask_02 = np.asarray(mask_02, dtype=np.uint8)sub_img02 = cv2.add(img_main, np.zeros(np.shape(img_main), dtype=np.uint8),mask=mask_02)img_main = img_main - sub_img02 + cv2.resize(sub_img01, (img_main.shape[1], img_main.shape[0]),interpolation=cv2.INTER_NEAREST)return img_maindef rescale_src(mask_src, img_src, h, w):if len(mask_src.shape) == 3:h_src, w_src, c = mask_src.shapeelif len(mask_src.shape) == 2:h_src, w_src = mask_src.shapemax_reshape_ratio = min(h / h_src, w / w_src)rescale_ratio = np.random.uniform(0.2, max_reshape_ratio)# reshape src img and maskrescale_h, rescale_w = int(h_src * rescale_ratio), int(w_src * rescale_ratio)mask_src = cv2.resize(mask_src, (rescale_w, rescale_h),interpolation=cv2.INTER_NEAREST)# mask_src = mask_src.resize((rescale_w, rescale_h), Image.NEAREST)img_src = cv2.resize(img_src, (rescale_w, rescale_h),interpolation=cv2.INTER_LINEAR)# set paste coordpy = int(np.random.random() * (h - rescale_h))px = int(np.random.random() * (w - rescale_w))# paste src img and mask to a zeros backgroundimg_pad = np.zeros((h, w, 3), dtype=np.uint8)mask_pad = np.zeros((h, w), dtype=np.uint8)img_pad[py:int(py + h_src * rescale_ratio), px:int(px + w_src * rescale_ratio), :] = img_srcmask_pad[py:int(py + h_src * rescale_ratio), px:int(px + w_src * rescale_ratio)] = mask_srcreturn mask_pad, img_paddef Large_Scale_Jittering(mask, img, min_scale=0.1, max_scale=2.0):rescale_ratio = np.random.uniform(min_scale, max_scale)h, w, _ = img.shape# rescaleh_new, w_new = int(h * rescale_ratio), int(w * rescale_ratio)img = cv2.resize(img, (w_new, h_new), interpolation=cv2.INTER_LINEAR)mask = cv2.resize(mask, (w_new, h_new), interpolation=cv2.INTER_NEAREST)# mask = mask.resize((w_new, h_new), Image.NEAREST)# crop or paddingx, y = int(np.random.uniform(0, abs(w_new - w))), int(np.random.uniform(0, abs(h_new - h)))if rescale_ratio <= 1.0:  # paddingimg_pad = np.ones((h, w, 3), dtype=np.uint8) * 168mask_pad = np.zeros((h, w), dtype=np.uint8)img_pad[y:y+h_new, x:x+w_new, :] = imgmask_pad[y:y+h_new, x:x+w_new] = maskreturn mask_pad, img_padelse:  # cropimg_crop = img[y:y+h, x:x+w, :]mask_crop = mask[y:y+h, x:x+w]return mask_crop, img_cropdef copy_paste(mask_src, img_src, mask_main, img_main):mask_src, img_src = random_flip_horizontal(mask_src, img_src)mask_main, img_main = random_flip_horizontal(mask_main, img_main)# LSJ， Large_Scale_Jitteringif args.lsj:mask_src, img_src = Large_Scale_Jittering(mask_src, img_src)mask_main, img_main = Large_Scale_Jittering(mask_main, img_main)else:# rescale mask_src/img_src to less than mask_main/img_main's sizeh, w, _ = img_main.shapemask_src, img_src = rescale_src(mask_src, img_src, h, w)img = img_add(img_src, img_main, mask_src)mask = img_add(mask_src, mask_main, mask_src)return mask, imgdef main(args):# input pathsegclass = os.path.join(args.input_dir, 'SegmentationClass')JPEGs = os.path.join(args.input_dir, 'JPEGImages')# create output pathos.makedirs(args.output_dir, exist_ok=True)os.makedirs(os.path.join(args.output_dir, 'SegmentationClass'), exist_ok=True)os.makedirs(os.path.join(args.output_dir, 'JPEGImages'), exist_ok=True)masks_path = os.listdir(segclass)tbar = tqdm.tqdm(masks_path, ncols=100)for mask_path in tbar:# get source mask and imgmask_src = np.asarray(Image.open(os.path.join(segclass, mask_path)), dtype=np.uint8)img_src = cv2.imread(os.path.join(JPEGs, mask_path.replace('.png', '.jpg')))# random choice main mask/imgmask_main_path = np.random.choice(masks_path)mask_main = np.asarray(Image.open(os.path.join(segclass, mask_main_path)), dtype=np.uint8)img_main = cv2.imread(os.path.join(JPEGs, mask_main_path.replace('.png', '.jpg')))# Copy-Paste data augmentationmask, img = copy_paste(mask_src, img_src, mask_main, img_main)mask_filename = "copy_paste_" + mask_pathimg_filename = mask_filename.replace('.png', '.jpg')save_colored_mask(mask, os.path.join(args.output_dir, 'SegmentationClass', mask_filename))cv2.imwrite(os.path.join(args.output_dir, 'JPEGImages', img_filename), img)def get_args():parser = argparse.ArgumentParser()parser.add_argument("--input_dir", default="../dataset/VOCdevkit2012/VOC2012", type=str,help="input annotated directory")parser.add_argument("--output_dir", default="../dataset/VOCdevkit2012/VOC2012_copy_paste", type=str,help="output dataset directory")parser.add_argument("--lsj", default=True, type=bool, help="if use Large Scale Jittering")return parser.parse_args()if __name__ == '__main__':args = get_args()main(args)

代码复现：Copy-Paste 数据增强for 语义分割相关推荐

CV Code | 本周新出计算机视觉开源代码汇总（含目标跟踪、语义分割、姿态跟踪、少样本学习等）...
点击我爱计算机视觉标星,更快获取CVML新技术刚刚过去的一周出现了很多很实用.有意思.很神奇的CV代码. 比如大家期待的SiamRPN++算法,官方终于要开源了. 阿里MNN成为移动端网络部署的新选 ...
CenterNet：Objects as Points论文学习笔记+代码复现(demo+训练数据)【检测部分】
目录 1.关键部分Heatmap了解 2.Centernet论文细节: 3.尝试复现CneterNet--INSTALL.md安装: 4.尝试复现CneterNet--跑跑demo.py: 5.尝试复 ...
总结 62 种在深度学习中的数据增强方式
数据增强数据增强通常是依赖从现有数据生成新的数据样本来人为地增加数据量的过程这包括对数据进行不同方向的扰动处理或使用深度学习模型在原始数据的潜在空间(latent space)中生成新数据点从而 ...
语义分割数据增强python代码
语义分割数据增强python-pytorch代码-语义分割github项目 0. 先放gi ...
【YOLOV5-6.x讲解】数据增强方式介绍+代码实现
主干目录: [YOLOV5-6.x 版本讲解]整体项目代码注释导航现在YOLOV5已经更新到6.X版本,现在网上很多还停留在5.X的源码注释上,因此特开一贴传承开源精神!5.X版本的可以看其他大佬的帖 ...
只讲关键点之兼容100+种关键点检测数据增强方法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨DefTruth 编辑丨极市平台本文介绍了已有的几种关键点检测数据增强的方法,将其的优缺点进行 ...
复现Detectron2-blendmask之冰墩墩雪容融自定义数据集语义分割
第一节--Detectron2-BlendMask论文综述 1-1 Detectron2-BlendMask论文摘要实例分割是计算机视觉中非常基础的任务.近来,全卷积实例分割方法得到了更多的注意力, ...
python ssd目标检测_目标检测算法之SSD的数据增强策略
前言这篇文章是对前面<目标检测算法之SSD代码解析>,推文地址如下:点这里的补充.主要介绍SSD的数据增强策略,把这篇文章和代码解析的文章放在一起学最好不过啦.本节解析的仍然是上篇SSD ...
python批量实现图像数据增强（扩增）
什么是数据扩增? 数据扩增是对数据进行扩充的方法的总称.数据扩增可以增加训练集的样本,可以有效缓解模型过拟合的情况,也可以给模型带来的更强的泛化能力. 通常在进行数据扩增操作的时候应该保持图像原本的标 ...
目前缺少用于语义分割的 3D LiDAR 数据吗？关于三维点云数据集和方法的调查
目前缺少用于语义分割的 3D LiDAR 数据吗?关于三维点云数据集和方法的调查原文 Are We Hungry for 3D LiDAR Data for Semantic Segmentatio ...

代码复现：Copy-Paste 数据增强for 语义分割

一、前言

二、思路及代码

代码复现：Copy-Paste 数据增强for 语义分割相关推荐

最新文章

热门文章