数据不够,用GAN来凑!
作者 | CV君
来源 | 我爱计算机视觉(ID:aicvml)
在计算机视觉领域,深度学习方法已全方位在各个方向获得突破,这从近几年CVPR 的论文即可看出。
但这往往需要大量的标注数据,比如最著明的ImageNet数据集,人工标注了100多万幅图像,尽管只是每幅图像打个标签,但也耗费了大量的人力物力。
说到标注这件事,打个标签其实还好,如果是针对图像分割任务,要对图像进行像素级标注,那标注的成本就太高了。跟专业的标注公司打过交道的朋友都知道,打标签、标关键点和标像素区域,所要付出的成本可大不同。
在医学影像领域,图像数据往往难以获取,而这又是一个对标注精度要求极高的领域。
最近几年,以GAN为代表的生成模型经常见诸报端,那能否用GAN破解标注数据不足的问题呢?
最近发现一篇论文Generating large labeled data sets for laparoscopic image processing tasks using unpaired image-to-image translation,来自德国国家肿瘤疾病中心等单位的几位作者,提出通过GAN对计算机合成的人体腹腔镜图像进行转换的方法,能够大批量得到与真实图像相似的合成图像,并在器官分割实验中,大大改进了真实图像的分割精度。非常值得一读。
下面是作者信息:
下图即为作者用计算机图形学方法合成的腹腔镜图像(A,下图第一列),和转换后的具有真实感的合成图像(Bsyn,下图第二列和第三列)。
CV君不是专业的医务人员,不过也可以看出转换后的图像的确比之前更具真实感。
方法介绍
作者使用Nvidia发布的MUNIT库进行图像转换,并进行了改进。
这是一个非成对数据的图像转换问题,作者使用一种循环loss,将A 域(模拟图)和B域(少部分真实图)进行循环的编码、生成、鉴别。
因为A 域内图像是计算机模拟出来的,所以天然的带有像素级标签。
作者的改进之处在于添加了MS-SSIM loss (Multi-Scale Structural Similarity,多尺度结构相似性损失函数),保证转换后图像结构相同。
另外,作者对编码器加入随机噪声,防止生成的纹理都完全相同。
下图为作者提供的训练数据的例子:
请注意,他们含有相似的目标,但很显然内容并不是匹配的,这样的训练数据是比较好找到的。
实验结果
作者用上述方法生成了10万幅图像,并在图像分割任务中验证了,这种合成数据对医学图像分割模型训练的价值。
下图对各种情况进行了分割结果比较:
Bv是原有真实数据,Bsyn是合成数据,I代表模型在Imagenet进行了预训练。
可见,使用这种合成数据大幅改进了分割精度。而在Imagenet数据集上预训练的结果更好。这种方法对你有什么启发?欢迎留言。
(*本文为 AI科技大本营转载文章,转载请联系作者)
◆
精彩推荐
◆
“只讲技术,拒绝空谈!”2019 AI开发者大会将于9月6日-7日在北京举行,这一届AI开发者大会有哪些亮点?一线公司的大牛们都在关注什么?AI行业的风向是什么?2019 AI开发者大会,倾听大牛分享,聚焦技术实践,和万千开发者共成长。
目前,大会盲订票限量发售中~扫码购票,领先一步!
推荐阅读
码农们的「血与泪」:新零售「全渠道中台」的前世今身
腾讯拥抱开源:首次公布开源路线图,技术研发向共享、复用和开源迈进
混合云发展之路:前景广阔,巨头混战
干货 | Python后台开发的高并发场景优化解决方案
5G 浪潮来袭!程序员在风口中有何机遇?
这次又坑多少人? 深度解析 Dash 钱包"关键"漏洞!
壕!两万多名腾讯员工获 51 万港元股票奖励
你点的每个“在看”,我都认真当成了喜欢
数据不够,用GAN来凑!相关推荐
- 数据不够,Waymo用GAN来凑:生成逼真相机图像,在仿真环境中训练无人车模型...
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 疫情当下,Waymo等自动驾驶厂商暂时不能在现实世界的公共道路上进行训练.测试了. 不过,工程师们还可以在GTA,啊不,在仿真环境里接着跑车 ...
- 数据不够,游戏来凑!随机三维人物实现可泛化的行人再辨识(ReID)
[导语]数据不够,游戏来凑!阿联酋起源人工智能研究院(IIAI)科学家通过随机组合颜色和纹理产生了8000个三维人物模型,并在游戏环境里模拟真实监控得到一个虚拟行人数据集,最终通过跨库泛化性测试一举超 ...
- 一文看懂「生成对抗网络 - GAN」基本原理+10种典型算法+13种应用
生成对抗网络 – Generative Adversarial Networks | GAN 文章目录 GAN的设计初衷 生成对抗网络 GAN 的基本原理 GAN的优缺点 10大典型的GAN算法 GA ...
- 机器学习分类算法_达观数据:5分钟带你理解机器学习及分类算法
1.本文介绍内容:什么是机器学习,机器学习有哪些分类算法,分类算法之k-近邻,决策树,随机森林2.本文适合人群:本文通过通俗易懂的语言和例子介绍核心思想,不拽高大上的名词,适合于不懂机器学习的小白3. ...
- 史上最强GAN被谷歌超越!标注数据少用90%,造假效果却更逼真
当前生成图像最逼真的BigGAN被超越了! 出手的,是谷歌大脑和苏黎世联邦理工学院.他们提出了新一代GAN:S³GAN. 它们生成的照片,都是真假难辨. 下面这两只蝴蝶,哪只更生动? 两张风景照片,哪 ...
- ICML2020:预训练的GAN在有限数据下的生成器
生成对抗网络可以生成高度逼真的图像,通常与真实图像是无法区分的.这样生成的大多数图像都没有包含在训练数据集中,说明用GAN生成的数据对增强数据集的能力很强.尽管在数据有限的情况下这种情况特别重要,但是 ...
- 登顶Github趋势榜,非监督GAN算法U-GAT-IT大幅改进图像转换效果
点击我爱计算机视觉标星,更快获取CVML新技术 近日,GAN的大家族又出一位重量级新成员U-GAT-IT,图像转换效果提升明显,原作者开源代码这两天登顶Github趋势榜,引起极大关注. U-GAT- ...
- 赠书 | 读懂生成对抗神经网络 GAN,看这文就够了
生成对抗神经网络(Generative Adversarial Nets,GAN)是一种深度学习的框架,它是通过一个相互对抗的过程来完成模型训练的.典型的GAN包含两个部分,一个是生成模型(Gener ...
- T-PAMI 2021 | 换个损失函数就能实现数据扩增?
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 作者丨rainforest wang@知乎(已授权) 来源丨http ...
最新文章
- [转] WINCC教学视频
- android关机位置定位,Android5.0关机充电动画位置
- 常见List面试问题
- mysql的底层数据结构_MySQL索引底层数据结构实现原理
- PHP修复输入验证代码中的漏洞
- 黑客攻防技术系列高清视频教程+必备工具包下载
- Android11 下载APK并安装
- Caliburn.Micro WPF教程——创建项目
- T-SQL 基础简介
- 2022年 iOS面试题总结
- 如何用公众号关联认证小程序
- 《缠中说禅108课》69:月线分段与上海大走势分析、预判
- Android Studio 支持安卓手机投屏
- 从安装包中提取wear OS手表端应用
- XGen for iOS789 简明 教程
- 超简单的 VIM 练级攻略
- [每日100问][2011-10-11]iphone开发笔记,今天你肿了么
- 从linux启动到rootfs的挂载分析 https://blog.csdn.net/kevin_hcy/article/details/17663341
- 鸿蒙构建系统——gn官方FAQ翻译,以及gn官方文档分享
- java:泛型(自定义泛型类、自定义泛型接口、泛型的继承和通配符说明)
热门文章
- ESXi主机与网络中其他主机的网咯数据包捕获
- Exchange Server 2013 安装完成后配置外部URL
- 使用微信开发者工具创建小程序项目
- 100道 Dubbo面试题及答案(2021最新)
- Python3 中实现MATLAB中的点乘 即两列表对应元素相乘
- 阅读Book: MultiObjective using Evolutionary Algorithms (4) --- 3 种方法find Non-dominated set
- IOS 编程中引用第三方的方类库的方法及常见问题
- Wannafly挑战赛14
- 15.linux-LCD层次分析(详解)
- 01--安装Activiti流程设计器eclipse插件