用AI指挥另一个AI,GAN+CLIP的组合成了“CG艺术家”
梦晨 发自 凹非寺
量子位 报道 | 公众号 QbitAI
嫌弃GAN生成的图像不够炫酷?
不需要改变数据集,只需要给CLIP下达的命令中把“虚幻引擎”几个字加上,再让CLIP去指挥GAN,图像就立马变成了高大上的CG艺术风。
文字中加入虚幻引擎这个技巧,最早由Aran Komatsuzaki发在推特上,吸引了大量CV圈的人来围观。
后来有人把这套流程发在了Colab上,网友们都玩疯了。
还可以指定成“彩色铅笔风格”
或者“吉卜力风格”:
最绝的是,加上“3D photo inpainting”竟然可以生成立体构图。
CLIP是OpenAI开发的一个负责给图像重排序的模型,它与GAN合作的方式也很简单。
先用一张平平无奇的随机图案作为种子,像这种:
像这样让CLIP算出其与文字描述的相似度打分,然后反馈给GAN,让GAN以提升分数为目标不断迭代。
AI艺术家组合就这么出现了。
除了在提示中加入风格要求之外,还可以直接告诉AI一个人名,看看在AI眼中他们长啥样。
甚至能用来猜猜那些从未露面的大佬们,比如神秘的比特币之父中本聪。
这就是AI心目中的中本聪,不管你信不信,反正我是信了。
在线试玩
VQGAN+CLIP在Colab上有很多版本,我们经过对比选择了一个加入额外优化和池化技巧,在速度和质量上都比较出色的一个(链接在文章末尾)。
第1步和第2步,按顺序执行就好。
第3步,选择使用的模型,默认的是用ImageNet训练的。
第4步设置参数,一般情况下只需要在texts里填上要生成的内容,用“|”分隔。
width和height控制生成图像的分辨率,model可以选择使用的模型(需要在第3步中下载)。
改变seed的数字可以更换随机图像种子。
另外还可以在init_image处指定一张初始图片,需要把图片上传到Colab环境里再填入链接。
比如,有人使用这样一张图片作为图像种子,开发了新玩法:生成宝可梦。
第五步执行,300*300分辨率的图迭代500次只需要几分钟。
最后,还可以把生成的过程合成为视频。
就是这么简单,快来试试吧。
在线试玩:
https://colab.research.google.com/drive/1ZAus_gn2RhTZWzOWUpPERNC0Q8OhZRTZ
VQGAN:
https://github.com/CompVis/taming-transformers
CLIP:
https://openai.com/blog/clip/
参考链接:
[1]https://twitter.com/arankomatsuzaki/status/1399471244760649729
[2]https://twitter.com/92C8301A/status/1408795789766365187
[3]https://twitter.com/ak92501
[4]https://twitter.com/casvaIuir/status/1408394829218914305
用AI指挥另一个AI,GAN+CLIP的组合成了“CG艺术家”相关推荐
- 利用python+百度AI搞定一个文字识别功能同时转换成语音
一些准备 使用百度的AI开放平台,首先你得有个百度的开发者账号,相信你有百度云的话应该都会有,没有的话简单注册一下就可以了. 然后进入控制台选择人工智能-文字识别去创建个应用,这样就会生成对应的App ...
- AI公开课:19.04.17杨松帆—好未来AI Lab负责人《为人工智能时代打造一个AI老师》课堂笔记以及个人感悟
AI公开课:19.04.17杨松帆-好未来AI Lab负责人<为人工智能时代打造一个AI老师>课堂笔记以及个人感悟 导读 杨松帆,现为好未来教育集团人工智能实验室负责人.曾任FaceThi ...
- OpenAI掌门人Sam Altman:AI的下一个发展阶段
来源:OneFlow本文为约5757字,建议阅读10分钟 本文介绍了LinkedIn联合创始人ReidHoffman与OpenAI首席执行官Sam Altman进行的关于AI发展阶段的对话. 预告了一 ...
- AI:2023年6月9日北京智源大会演讲分享之基础模型前沿技术论坛—《工程化打造AI中的CPU》、《构建一个AI系统:在LLM上应用带有RLHF来推进定制》、《多模态预训练的进展回顾与展望》、《扩展大
AI:2023年6月9日北京智源大会演讲分享之基础模型前沿技术论坛-<工程化打造AI中的CPU>.<构建一个AI系统:在LLM上应用带有RLHF来推进定制>.<多模态预训 ...
- 一个AI PhD的毕业随感
来自 | 知乎 作者 | bebaa444 链接 | https://zhuanlan.zhihu.com/p/122148241 编辑 | 深度学习这件小事公众号 本文经作者授权转载,请勿二次转 ...
- 神经网络学习笔记6——生成式AI绘画背后的的GAN与Diffusion初解
系列文章目录 文章目录 系列文章目录 AI绘画 GAN前言 一.生成网络与判别网络的协同进化 1.生成器与判别器的学习趋向 2.部分算法理念 Diffusion 前言 一.Diffusion前向过程 ...
- 揭秘华为AI一站式开发平台,3步构建一个AI模型 | 华为昇腾师资培训沙龙西安场...
2018 年,在第三届 HUAWEI CONNECT(华为全联接大会)上,华为首次公布了 AI 战略与全栈全场景 AI 解决方案,其中包含全球首个覆盖全场景人工智能的华为昇腾(Ascend)系列处理器 ...
- 认知智能,AI的下一个十年 | AI Procon 2020
整理 | 屠敏 出品 | AI科技大本营(ID:rgznai100) 60 年间的「三起两落」 ,人工智能的沉浮变迁. 在 1956 年的夏天,人工智能在美国达特茅斯大学召开的学术会议之上蹒跚学步,吸 ...
- 无需训练RNN或生成模型,我写了一个AI来讲故事
作者 | Andre Ye 译者 | 弯月 出品 | AI科技大本营(ID:rgznai100) 这段日子里,我们都被隔离了,就特别想听故事.然而,我们并非对所有故事都感兴趣,有些人喜欢浪漫的故事,他 ...
最新文章
- 【Python】百度翻译的爬虫实现(前篇)
- 如何给女朋友解释什么是“元宇宙”?
- POJ Mayor's posters——线段树+离散化
- 做好一个team leader的几点看法
- python中sort和sorted区别_Python中的 sort 和 sorted的用法与区别
- Sqli-labs less 53
- 原子动作检测 A Better Baseline for AVA
- Pygame 安装教程
- MFC界面美化之换肤
- python locust学习笔记
- iPhone转Android体验,一直用苹果手机,突然换成安卓是什么体验?网友:差距太大!...
- 2021年中国艺术品拍卖服务行业市场规模及现状分析 [图]
- android 阿拉伯数字转汉字,Android中阿拉伯文字的阿拉伯数字
- CXL协议的认知记录
- dnf辅助新手制作_网络辅助功能的新手介绍
- Java 导入zip,并进行解压
- 联想 Linux下 装win10 双系统(免坑)
- java毕业设计 Vue网上购物商城系统(含源码+论文)
- 中国最新自然保护区矢量面数据(Shp)
- python圆柱体积代码_python:表示环绕自身的方形网格(圆柱体)