逼真照片随手画,马良神笔已上线 | 点击收获这份英伟达GauGAN开源代码
鱼羊 发自 纽凹非寺
量子位 报道 | 公众号 QbitAI
有一种神奇的力场,它能凭空造物:
还能扭转时间:
它专注于山和大海:
你也可以试着造一造人潮人海。
你是否还记得它的名字?
没错,就是英伟达在上个月公布的,致敬印象派大师高更的GauGAN。
现在,这个能让普通人秒变神笔马良的神器终于开源啦!
怎么用
首先克隆这个repo:
1git clone https://github.com/NVlabs/SPADE.git2cd SPADE/
然后备好PyTorch 1.0和python 3+,安装requirements.txt:
1pip install -r requirements.txt
还需要:
1cd models/networks/ git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch 2cp Synchronized-BatchNorm-PyTorch/sync_batchnorm . -rf 3cd ../../
别忘了数据集和预训练模型
这一次随代码公布的还有数据集和预训练模型。
在下载数据集时,记得下载train2017.zip,val2017.zip,stuffthingmaps_trainval2017.zip和annotations_trainval2017.zip。
要特别注意的是英伟达使用了一个生成实例的脚本datasets/coco_generate_instance_map.py。
准备好了数据集,就可以用预训练模型生成图像了。
从Google Drive Folder下载预训练模型,存成‘/checkpoints’:
1cd checkpoints 2tar xvf checkpoints.tar.gz 3cd ../
开始生成图像:
1python test.py --name [type]_pretrained --dataset_mode [dataset] --dataroot [path_to_dataset]
输出的图像默认存储在 ./results/[type]_pretrained/
当然你也可以训练新的模型:
1# To train on the Facades or COCO dataset, for example.2python train.py —name [experiment_name] —dataset_mode facades —dataroot 3[path_to_facades_dataset] 4python train.py —name [experiment_name] —dataset_mode coco —dataroot [path_to_coco_dataset] 56# To train on your own custom dataset 7python train.py —name [experiment_name] —dataset_mode custom —label_dir [path_to_labels] — image_dir [path_to_images] 8—label_nc [num_labels]
不过想要真正利用GauGAN成为一名“造物主”,你还需要一台配备8个V100 GPU的NVIDIA DGX1。此外,该代码仅供学术研究使用。
为何与众不同
GauGAN合成的图像明显要比此前的图像合成方法逼真得多,NVIDIA应用深度学习研究副总裁Bryan Catanzaro就说,这项技术不是简单地将其他图像拼接在一起,它是在合成新的图像——像个艺术家那样。
而GauGAN之所以能有如此神奇的手笔,当归功于空间适应标准化(SPADE)算法。
SPADE不单单使用随机的输入图像,它还采用了被称作分割图的图像,在分割图中,每一个像素都会被归类。这样一来,SPADE就能生成更接近于真实的图像,这种模式被称作“图对图翻译”。
并且SPADE不再将分割图输入到第一层,而是使用它的下采样来调整每一层的输出,这样就不会在生成图像中丢失语义信息。
在这样的训练之下,生成器不会将草放在天空的位置,因为鉴别器能判断出这样的图像是假的。
也就是说,SPADE解决了对pix2pixHD来说最大的难题。
传送门
GitHub地址:https://github.com/NVlabs/SPADE
项目地址:https://nvlabs.github.io/SPADE/
论文地址:https://arxiv.org/abs/1903.07291
— 完 —
活动报名|多模态视频人物识别
加入社群
量子位AI社群开始招募啦,量子位社群分:AI讨论群、AI+行业群、AI技术群;
欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !
逼真照片随手画,马良神笔已上线 | 点击收获这份英伟达GauGAN开源代码相关推荐
- 给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成逼真图像
来源丨机器之心 作者丨小舟.陈萍 这么美的照片竟然不是出自摄影师之手?! 在 2019 年举办的 GTC 大会上,英伟达展示了一款新的交互应用 GauGAN:利用生成对抗网络(GAN)将分割图转换为栩 ...
- 真实到可怕!英伟达MIT造出马良的神笔
问耕 郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI 记得神笔马良的故事么? 拿到神笔的马良,可以画物品.画动物.画食物,而且,这些画作都可以一秒钟从画面上出来,变成真实世界中存在的东 ...
- 涂鸦一键变逼真照片,我被自己的绘画技巧惊呆了 | 英伟达朱俊彦CVPR新研究...
安妮 发自 凹非寺 量子位 出品 | 公众号 QbitAI 平静的水面上,剧变突然出现. 一条黑色弧线从半空延伸而下,划过半个圈.继而自己填满,俨然一座岩山,就这样落在水中间. 水面漾起波纹.揉揉眼睛 ...
- 字节加入“大模型之战”;网易已自研数十个超大规模预训练模型;英伟达2023财年净利润同比下滑55%丨每日大事件...
数据智能产业创新服务媒体 --聚焦数智 · 改变商业 企业动态 网易:2022年总营收965亿元 2月23日,网易发布2022年第四季度及全年财报.财报显示,四季度营收254亿元,同比增长4%, ...
- 不可思议!英伟达新技术训练NeRF模型最快只需5秒,代码已开源
英伟达将训练 NeRF 模型从 5 小时缩至 5 秒. 你曾想过在 5 秒内训练完成狐狸的 NeRF 模型吗?现在英伟达做到了! 令人不可思议的是,就如谷歌科学家 Jon Barron 在推特上表示的 ...
- 英伟达对ARM、Linux开放光线追踪,SDK已就位,网友:switch也能跑光追的节奏?...
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 今后,在ARM架构CPU的电脑上,你也可以享受英伟达光追的快乐了. 在GDC 2021上,英伟达首次展示了DLSS和光追等技术在ARM硬件上 ...
- 英伟达公开课 | 如何突破Decoder性能瓶颈?揭秘FasterTransformer2.0的原理与应用,已开源...
位来 发自 凹非寺 量子位 报道 | 公众号 QbitAI 4月9日,英伟达x量子位分享了一期nlp线上课程,来自NVIDIA的GPU计算专家.FasterTransformer 2.0开发者之一的薛 ...
- access游戏库不显示 ea_英伟达上线云游戏服务 千款游戏月费4.99美元
2月5日,全球知名人工智能计算公司英伟达宣布推出自己的云游戏服务GeForce Now,该服务包含了1000款游戏,定价月费4.99美元,90天内限时推出了该服务的免费试用体验. 5G时代来临,随 ...
- 甲骨文中国裁员已定,补偿为N+6;VMware联手云平台合作伙伴AsiaPac,闪耀狮城;对标英伟达,寒武纪新货曝光……...
关注并标星星CSDN云计算 极客头条:速递.最新.绝对有料.这里有企业新动.这里有业界要闻,打起十二分精神,紧跟fashion你可以的! 每周三次,打卡即read 更快.更全了解泛云圈精彩news g ...
最新文章
- ZServer4D开源项目
- 汇编语言:实验一 查看CPU和内存,用汇编指令和机器指令编程
- php种loop用法,PHP EvLoop 用法 手册 | 示例代码
- 找回mysql root密码_找回MySQL的root密码
- C语言字符型数组ppt,C语言第13讲指针与字符串(字符数组).ppt
- 如何在一个页面添加多个不同的kindeditor编辑器
- win10 iis网站服务器,windows10如何搭建IIS服务器
- php5.2 sqlserver2000,Linux系统下让PHP连sqlserver2000
- Struts2之result的配置
- 《机器学习与数据科学(基于R的统计学习方法)》——2.15 小结
- Spring Boot 整合定时任务,可以动态编辑的定时任务
- kettle日志解析_Kettle运行日志记录
- 嵌入式Linux(二)汇编LED驱动实验
- Packet Tracer的使用(一)
- 数据库课程设计--公交车管理系统总结(Qt学习小结)
- oracle聚簇因子对于索引使用的影响
- 要跑步,选对鞋!给新手的跑步鞋指南
- java restful项目打包_GitHub - yangguang010/RestfulAPI: 使用java封装萤石开放平台的接口 HTTPS—SDK。可以直接将api封装成jar包...
- 一个Fluent动网格问题及解决方法的记录
- 7大搜索引擎站长平台
热门文章
- 我们为什么要学习 Python、TypeScript 与 Go?
- PC 芯片接连抛售,失去明星工程师的东芝是如何走向末路的?
- 流浪汉转型程序员,年薪超 70 万人民币!
- 今天,Google 在中国终于光明正大地搞 AI 了!
- 牵手高通的百度是要拿科大讯飞开刀了?
- 小码农也有大梦想!最小公倍数java算法
- 第 0 章 Readme
- h5 html被缓存,【Web前端问题】html5离线缓存,不能被缓存问题
- linux sonar 安装教程,Linux下为Sonarqube安装中文插件
- 一次选中多个物体_经验之谈|Anchor Boxes:物体检测的关键