登顶Github趋势榜,非监督GAN算法U-GAT-IT大幅改进图像转换效果
点击我爱计算机视觉标星,更快获取CVML新技术
近日,GAN的大家族又出一位重量级新成员U-GAT-IT,图像转换效果提升明显,原作者开源代码这两天登顶Github趋势榜,引起极大关注。
U-GAT-IT算法源自论文U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation:
作者来自韩国NCSOFT公司与波音韩国工程技术中心。
论文主要贡献:
1. 提出了一种新的无监督图像到图像转换方法,它具有新的注意力模块和新的归一化函数AdaLIN。
2. 提出的注意力模块通过基于辅助分类器获得的注意力图,区分源域和目标域,帮助模型知道在何处进行密集转换。
3. AdaLIN函数帮助我们的注意力引导模型灵活地控制形状和纹理的变化量,而无需修改模型架构或超参数。
U-GAT-IT,是无监督的GAN,训练时不需要成对图像,由两套GAN系统循环图像转换组成。
一套GAN系统,将图像从源域到目标域转换。
另一套GAN系统,将图像从目标域向源域转换。
故其有两套生成器和判别器。
为了让系统在生成和判别时更具针对性对特定区域进行转换和鉴别,作者加入CAM(意即类激活图模块)。它能找出对于判断一张图的真假最重要的区域,这样生成器和判别器就可对此区域更具针对性生成和判别。
作者使用的生成器:
作者使用的判别器:
另外作者发明了AdaLIN归一化方法,其作用为在归一化时,在Instance Normalization (IN)和Layer Normalization(LN)两种归一化方法之间动态自适应选择,不局限于常用的IN。
作者称,AdaLIN可以使得系统灵活控制形状与质地的变化。
实验结果
作者首先研究了添加注意力模块CAM给系统带来的影响,下图为几幅图像转换的视觉效果比较:
(a)为原图像,(b)为生成器的注意力图,(c)(d)为鉴别器的局部和全局注意力图,(e)为使用CAM后的图像转换结果,(f)为不实用CAM的结果。
可见,该文提出的CAM模块极大提升了转换图像的视觉效果。
数值量化比较结果如下:
可见使用CAM与AdaIN,均使得算法效果提升。
作者在多个数据集上进行转换,并进行了用户主观感受的调查研究:
共有135位参与者对使用图中 5 种算法转换的结果进行了打分,U-GAT-IT可谓是取得了压倒性的优势!
作者在几大数据集上对正向和逆向图像转换都进行了比较,数值结果如下:
U-GAT-IT在大多数情况下都是最好的!
总之,U-GAT-IT是目前无监督图像转换的新标杆!
多说一句,
图像转换有什么用?
除了“自拍变漫画”、“猫变狗”、“狗变猫”、“实景变素描”这些偏娱乐性的应用,图像转换也可以用来做“正经事”。
CV君曾经跟大家分享了一篇无监督GAN用于医学图像数据增广的文章:
数据不够,用GAN来凑!
大大丰富了医学影像分割的数据,有效提升了分割质量。
现在可以使用U-GAT-IT来一波神笔马良的操作了~
论文地址:
https://arxiv.org/pdf/1907.10830.pdf
TensorFlow版代码:
https://github.com/taki0112/UGATIT
PyTorch版代码:
https://github.com/znxlwm/UGATIT-pytorch
GAN微信交流群
关注最新最前沿的生成对抗网络,欢迎加入专业交流群,扫码添加CV君拉你入群,(如已为CV君好友请直接私信)
(请务必注明:GAN)
喜欢在QQ交流的童鞋,可以加52CV官方QQ群:805388940。
(不会时时在线,如果没能及时通过验证还请见谅)
长按关注我爱计算机视觉
登顶Github趋势榜,非监督GAN算法U-GAT-IT大幅改进图像转换效果相关推荐
- 登顶 GitHub 趋势榜,标星1.8k:200 行 JS 代码让画面人物瞬间消失!
整理 | 夕颜 出品 | CSDN(ID:CSDNnews) 今天,一个名为 Real-Time-Person-Removal(实时人物去除)项目在GitHub上火了,登上近日GitHub Trend ...
- 李笑来登顶 GitHub TOP 榜!币圈大佬要教程序员如何自学编程
币圈红人李笑来,何许人也? --从英语老师.作家,到比特币首富.投资人,李笑来的身上有着众多广为人知的标签.因"录音门"事件让人哗然不已的他近来频频神隐,最近却又带着登顶 GitH ...
- 李笑来python自学_李笑来登顶 GitHub TOP 榜!币圈大佬要教程序员如何自学编程
原标题:李笑来登顶 GitHub TOP 榜!币圈大佬要教程序员如何自学编程 币圈红人李笑来,何许人也? --从英语老师.作家,到比特币首富.投资人,李笑来的身上有着众多广为人知的标签.因" ...
- NLP中文面试学习资料:面向算法面试,理论代码俱全,登上GitHub趋势榜
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 一年一度的秋招已经悄悄来临,征战在求职路上的你,准备好了吗? 工欲善其事,必先利其器. 这里有一份NLP面试大全,全中文教学,囊括机器学习 ...
- GitHub趋势榜第一:超级命令行工具Semantic,比较解析源代码
新智元报道 来源:GitHub 编辑:大明 [新智元导读]作为开发者,天天都要与源代码打交道,面对不同版本,不同语言的代码进行比较.分析,理顺开发流程往往是开发者的日常.近日,一款名为Sema ...
- 李笑来登GitHub趋势榜第一,教你自学编程,含37%“硬核鸡汤”
郭一璞 乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI 从杭州买房指南,到女装大佬集合,GitHub从来不缺神奇的项目. 这不,又一个项目,跃迁到了GitHub趋势榜的第一名,所以,今天 ...
- “狗屁不通文章生成器”项目登顶GitHub热榜~
点击上方"IT平头哥联盟",选择"置顶或者星标" 你的关注意义重大! 前言 GitHub 被誉为全球最大的同性交友网站,--,陪伴我们已经走过 10+ 年时间, ...
- 微软推出Python入门课,登上GitHub趋势榜第一(附视频)
来源:新智元 本文约900字,建议阅读10分钟. 本文带你看视频轻松学习python课程! [ 导读 ] 微软针对 Python 初学者,推出了一套免费的教程视频.这套课程最大的特定是轻松简洁,一上线 ...
- 微软推出Python入门课,登上GitHub趋势榜第一
[新智元导读]微软针对 Python 初学者,推出了一套免费的教程视频.这套课程最大的特定是轻松简洁,一上线就很受欢迎,5天视频播放量超25万,更一度登上GitHub趋势榜第一名. 最近,微软针对 P ...
最新文章
- 零起点学算法17——比较2个数大小
- 谷歌顶级量子科学家详述他为何从谷歌辞职
- [转]Linux文件搜索
- 5种较为简单的缺失值处理方法
- Go程序开发---Go环境配置:CentOS6.5+Go1.8标准包安装
- mysql创建库并创建用户_mysql创建数据库并创建用户授权
- Adobe reader 在打开时如何恢复上一次阅读位置
- httpsession 是一样的吗_理解HTTP session原理及应用
- 长青藤cad_长青网
- 2020-02-27
- 2021年危险化学品经营单位安全管理人员考试报名及危险化学品经营单位安全管理人员作业考试题库
- 关于虚拟机中的HWADDR和MACADDR地址
- 移动互联网终端 淘宝客如何实现盈利
- 2G到5G蜂窝网络的定位技术简介
- 7月生日会|清凉的惊喜与祝福
- java swing 抽奖程序_java swing抽奖程序
- 含泪整理 计算机网络详细八股文(第一部分)
- 阿拉伯数字转换为汉字大写数字
- Matlab代码 多时间尺度优化调度 MATLAB程序含冰蓄冷空调的冷热电联供型微网多时间尺度优化调度
- 交易系统开发(九)——Dark Pool技术
热门文章
- golang map合并_Golang之流式编程
- 服务器信号怎么设置好,手机这样设置,WIFI信号马上提高!
- 计算机密码学奖,上海交通大学计算机科学与工程系(CSE)
- javascript map 排序_1Keys仅用1 kb的JavaScript制作钢琴
- android开机动画多长时间_Android系统开机动画的一生
- 华为鸿蒙搭载哪些手机,华为鸿蒙系统支持哪些手机 可以装华为鸿蒙系统手机...
- wifi情况下使用fiddler_fiddler常见的应用场景
- 小学音乐教学和计算机的融合,小学学科教学与计算机深度融合赛课心得体会(共4篇)...
- linux下找不到sqlite3头文件,关于CentOS 7下sqlite3找不到的问题解决
- bootstrap-table 列属性_bootstrap中table如何隐藏列?