这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN
金磊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
AI画的简笔画能到什么水平?
给一张美国演员Rami Malek的照片,效果是这样的。
是不是和原图很逼近了?
再来看下输入《老友记》合影的效果。
虽然人物众多,但出来的简笔画效果,依旧还是能分清剧中的人物。
如果毛发特别浓密的人物照,AI还能hold得住吗?
小姐姐“爆炸头”的边缘毛发,也算得上是完美还原了。
再近距离一些的呢?来看“霉霉”(Taylor Swift)照片的效果。
可以说是相当的细节了,把发丝的层次感、光感,以及衣物的褶皱,都发挥的“淋漓尽致”。
……
这些就是出自一个叫ArtLine的AI的作品。
而且它在Reddit非常火爆,已经达到了1100+的热度。
如此惟妙惟肖的效果,你是不是认为又是GAN的功劳?
错!
ArtLine完全没有用到GAN:
也正因如此,ArtLine的效果真真儿的惊艳到了网友。
那么,它是如何做到的呢?
ArtLine背后的三大“法宝”
ArtLine的作者十分爽快地分享了其背后的三大技术:
Self-Attention
Progressive Resizing
Generator Loss
接下来,一起逐一看下各个技术背后的细节内容。
Self-Attention部分引用的技术,出自两年前GAN之父lan Goodfellow等人提出的研究。
等等,刚才不是还说“没用到GAN”吗?
作者对此的解释是:
并没有起到太大作用。
这项研究主要是在GAN生成中加入了注意力机制,同时将SNgan的思想引入到生成器当中。
所要解决的是传统GAN自身存在的一些问题,例如:
使用小的卷积核很难发现图像中的依赖关系
使用大的卷积核就会丧失卷积网络参数与计算的效率
研究中核心的自注意力机制如下图所示。
其中,f(x),g(x)和h(x)都是普通的1x1卷积,差别只在于输出通道大小不同。
而后,将f(x)的输出转置,并和g(x)的输出相乘,再经过softmax归一化,得到一个Attention Map。
得到Attention Map之后,和h(x)逐像素点相乘,得到自适应的注意力feature maps。
从结果上来看,引入自注意力机制的效果,确实在FID和IS两个性能指标下,得到了较好的效果。
ArtLine涉及到的第二个技术灵感,来自英伟达在2018年的一项研究。
这项研究主要提出了一种新的训练对抗神经网络的方法。
核心思想是逐步训练生成器和判别器:从低分辨率开始,随着训练进程推进,逐步增加新的层来提炼细节。
这种方法不仅加快了训练速度并且更加稳定,可以产生高质量的图像。
ArtLine所涉及到的最后一个技术,是来自斯坦福大学李飞飞团队在2016年提出的研究。
这项研究主要解决了实现的风格转换,比较费时的问题。
风格转换部分主要用了上面的网络模型,这个模型可以分为两部分:左侧是图像转换网络,而右侧是损耗网络。
其超分辨率重建也是采用上面的网络模型,只是具体内部的图像转换网络部分稍有区别。
这个网络与之前的研究相比,效果达到了相当的水平,但速度却提升了百倍之多,达到3个数量级。
关于作者
ArtLine的项目作者叫做Vijish Madhavan。
他在GitHub中坦言自己并非程序员出身,也道出了ArtLine目前存在的一些缺陷,例如处理像素低于500px的图像时,效果并不理想等。
现在,ArtLine可以在线玩了!
感兴趣的读者,可以戳下方链接体验一下。
Colab链接:
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb.ipynb)
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine.ipynb
GitHub项目地址:
https://github.com/vijishmadhavan/ArtLine
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
AI落地最佳参考!
2020中国人工智能年度评选结果揭晓
12月16日,量子位MEET 2021智能未来大会现场,50大领航企业、10大明星创业公司、30大商业领军人物、10大最佳产品、10大最佳解决方案、5大社会责任榜样、5大最佳技术社区等年度奖项悉数颁出。
点击图片查看完整榜单:
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~
这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN相关推荐
- 2018全球人工智能技术大会:AI做什么,才能惊艳到你?
<倚天屠龙记>中,峨眉掌门斗敌不过,便使了倚天剑,寄希望于用天下最具杀伤力的兵器给自己战力多一份加成.如今,在各个行业的力求IT可以更多赋能企业创新核心的问题上,AI技术正在扮演倚天剑的角 ...
- AI绘画到底有多惊艳,看了这组照片后真正自叹不如
AI绘画现在有多火,已不必言说,相信很多的人都知道并且用过,但AI绘画出来的作品,究竟有多惊艳,却是智者见智,仁者见仁. 但是,即使曾经持有坚定怀疑态度的人,在看了这组漫画之后,相应也会有所改观. 图 ...
- 中国量化在AI全球盛会上的惊艳亮相
在上周刚刚结束的全球知名AI开发者大会NVIDIA GTC 2022上,幻方AI受邀参会. GTC大会由NVIDIA主办,是面向全球科研学者,开发工程师.产业决策者的AI顶会之一,历年来发布了很多影响 ...
- 全宇宙最强AI 聊天机器人模型ChatGPT惊艳来袭,你还不上车?居然能写演讲稿和帮忙写代码
目录 1.ChatGPT介绍 2.ChatGPT如何注册,国内不可用 3.VS Code下载安装ChatGPT 3.1 打开VS Code找到ChatGPT 3.2 ChatGPT 详细安装步骤: 3 ...
- CVPR 2021 | 五官复原效果惊艳,腾讯ARC利用GAN人脸先验来解决
作者|机器之心编辑部 来源|机器之心 人脸复原 (Face Restoration) 是指从低质量的人脸中复原得到高清的人脸.真实世界中的人脸复原是一个很有挑战的任务,因为降质 (degradatio ...
- 华为三星手机惊艳世界的“背后”,竟然都藏着这家中国企业!
近期,知名爆料网站Slashleaks上爆出一张照片,或许为2019年iPhone的新品设计图. 从爆料图上看,与2018版iPhone的尺寸大致相当,照片中最重要的细节是金属底盘的背部左上角留出的孔 ...
- CVPR2021 | 五官复原效果惊艳,腾讯ARC利用GAN人脸先验来解决
点击上方"机器学习与生成对抗网络",关注星标 获取有趣.好玩的前沿干货! 文章 机器之心发布 未经允许不得二次转载 人脸复原 (Face Restoration) 是指从低质量的 ...
- AI做了什么,才能惊艳到你?
2019独角兽企业重金招聘Python工程师标准>>> <倚天屠龙记>中,峨眉掌门斗敌不过,便使了倚天剑,寄希望于用天下最具杀伤力的兵器给自己战力多一份加成.如今,在各个 ...
- 全球首个AI女主播上岗了!太惊艳了!
来源:水木然 摘要:前不久,全球首个AI女主播诞生的消息走红网络!刚刚,这位AI女主播今天正式上岗了! 是不是非常惊艳? 如果不是专门解释,她极有可能被为是真人! 这位全球首个AI女主播的上岗,吸引了 ...
最新文章
- 【c语言】蓝桥杯算法提高 3-3求圆面积表面积体积
- Selenium3+python自动化009- 截图
- poj 2392 Space Elevator
- java对象内存占用情况分析
- Java 8的烹调方式– Lambda项目
- CF558E-A Simple Task-线段树+计数排序
- Django 前后端数据传输、ajax、分页器
- python的第三方库是干什么用的-Python 常用的标准库以及第三方库有哪些?
- 计算机程序员的英语词汇,计算机程序员常用英语词汇
- java还原合并单元格_Java 合并/取消合并 Excel 单元格
- 关于机器人方面的sci论文_机器人领域国际期刊(SCI收录)
- oracle分区表和分区索引的概念
- 大地GhostXP_SP3_2013极速装机5月版
- ⭐李宏毅2020作业2---logistic regression
- Java游戏项目之“超级玛丽”实战教程,终于可以制作属于自己的小游戏了
- 用python将多张图片拼接成一张
- append和extend的差别
- 使用xpath解析网页的实例(完整代码)
- 专业建站和个人建站如何选择?
- Yii2的Gii应用
热门文章
- python range函数与numpy arange函数,xrange与range的区别
- Python情感分析:鹿晗的粉丝们究竟原谅他了吗?
- Linux网络相关、firewalld、netfilter及其5表5链、iptables语法
- 函数式编程语言时代已经来临
- Linux入门时必学文件处理个命令
- ubuntu下面搭建SolrCloud集群
- 快速理解VirtualBox的四种网络连接方式
- .NET WinForm中给DataGridView自定义ToolTip并设置ToolTip的样式
- Sql Server 性能分析4 –数据库大小,数据库表大小综合性分析报表输出
- SQL Server密码爆破工具SQLdict