AI新海诚就是在下,不信来玩
鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
这样的东京街景,是不是有点日系纪实动漫那种feel了?
现在,不需要人类画师一帧帧描画,把你拍下的视频喂给AI,就能让现实世界分分钟掉进二次元世界。
布景:
美食:
甚至复仇者联盟,也能瞬间打破电影宇宙和漫画宇宙的界限。
这项研究名为White-box-Cartoonization,来自字节跳动、东京大学和Style2Paints研究所。
论文已收录于CVPR 2020。
白盒卡通表示
如此AI「魔法」的关键,还是生成对抗网络(GAN)。
并且,研究人员提出了三个白盒表示方法,分别用来表示平滑表面、结构和纹理。
表面表示:表示动漫图像的光滑表面。
使用导向滤波器对图像进行处理,在保持图像边缘的同时平滑图像,去除图像的纹理和细节信息。
结构表示:获取全局结构信息和稀疏色块。
首先使用felzenszwalb算法将图像分割成不同的区域。
由于超像素算法只考虑像素的相似性而忽略语义信息,研究人员进一步引入选择性搜索来合并分割区域,提取稀疏分割图。
另外,标准的超像素算法会使全局对比度降低,导致图像变暗。
为此,研究人员提出了一种自适应着色算法,以增强图像对比度,减少朦胧效果。
然后,用预训练的VGG16网络提取生成器生成的图像和抽取的结构表示的高级特征,限制空间结构。
纹理表示:反映卡通图像中的高频纹理、轮廓和细节。
研究人员提出了一种从色彩图像中提取单通道纹理表示的随机颜色偏移算法,以保留高频纹理,减少色彩和亮度的影响。
整个GAN框架带有一个生成器G,以及两个判别器Ds和Dt。其中Ds旨在区分模型输出的表面表示和真正的动漫图像。Dt用于区分模型输出的纹理表示和真正的动漫图像。
具体而言,生成器网络是一个类似U-Net的全卷积网络。
研究人员使用 stride=2 的卷积层进行下采样,以双线性插值层作为上采样,以避免棋盘式伪影。
该网络只由3种层组成:卷积层、Leaky ReLU(LReLU)和双线性调整层。这使得该网络能轻松嵌入到手机等边缘设备中。
判别器网络则基于PatchGAN进行了调整,其最后一层为卷积层。
输出特征图中的每个像素对应输入图像中的一个图像块(patch),用于判断图像块属于真正的动漫图像还是生成图像。
训练数据集方面,风景图像采集自新海诚、宫崎骏和细田守的动漫作品,人像图像则来自京都动画和PA Works。影片都被剪辑成帧并随机剪裁,大小为256×256。
实验结果
所以,这种图像卡通化方法的效果究竟如何。
在定量实验中,研究人员发现,AI提取的表示成功愚弄了训练好的分类器。
与原始图像相比,分类器在三个提取的卡通表示中准确率都比较低。
另外,计算出的FID指标也显示,卡通表征有助于缩小真实世界照片和卡通图像之间的差距。
再来看一组直观的对比。
△(f)-(g)为CartoonGAN
与之前的方法相比,白盒框架能生成更为清晰的边界轮廓,并有助于保持色彩的和谐。
比如,图中(f)-(g)所展示的CartoonGAN的某些风格就存在色彩失真的问题,而白盒框架色彩更为自然。
另外,白盒框架也有效地减少了伪影,效果超越CartoonGAN。
网友:惊艳
如此效果,让不少网友大呼「惊艳」,在reddit上达到了500+的热度。
有网友表示,有了这样的黑科技,未来,或许只需要一个创意,就能打造一部好作品。市场的准入门槛将因此而降低。
也有网友认为,颜艺、卖萌这类现实中不存在的画面,还是要靠动漫制作人员的创作。不过,这样的AI将来无疑能减轻动漫制作人员的工作量。
现在,研究人员还放出了在线Demo,如果你感兴趣,可以亲自上手试试~
最后,左边出自人类的画笔,右边是AI的大作,你pick哪一个?
传送门
GitHub地址:
https://github.com/SystemErrorWang/White-box-Cartoonization
在线Demo:
https://cartoonize-lkqov62dia-de.a.run.app/cartoonize
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
报名 |「隐私计算+AI」技术直播
不了解任何隐私AI技术的情况下,开发者怎样做到只改动两三行代码,就将现有AI代码转换为具备数据隐私保护功能的程序?
8月6号,中科院软件研究所博士、矩阵元算法科学家--谢翔将直播解析,加小助手“qbitbot9”或者直接扫码,即可进入直播交流群:
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
AI新海诚就是在下,不信来玩相关推荐
- AI之Robot:带你玩转机器人DIY机器人——让你成为机器人的真正主人
AI之Robot:带你玩转机器人&DIY机器人--让你成为机器人的真正主人 目录 关于机器人 知识框架--Chatbot Conversation Framework 语境--语言语境& ...
- 谷歌AI的七个“不正经”玩法,个个能玩一整天
郭一璞 问耕 发自 凹非寺 量子位 报道 | 公众号 QbitAI 谁说AI只能搞一些一本正经的工作? 谷歌最近就放出了几只比较搞笑的AI,可以完成一些不走寻常路的工作,比如:帮你实现靠脸吃饭,让你 ...
- AI智慧安监:打电话/玩手机智能检测,构筑安全生产新防线
1.方案背景 在油库.加油站.化工厂等场景中,安全生产是首要的监管问题,因为有易燃物品的存放,打电话很容易引起火灾爆炸等安全事故,造成巨大的生命和财产损失.因此,对人员行为的监管是安全的关键,在一些特 ...
- 人人可用的AI大模型来了,“玩”TA还有奖金拿
允中 发自 凹非寺 量子位 编辑 | 公众号 QbitAI 忽如一夜春风来,AI大模型遍地开. 论起今年AI领域最热的话题,大模型绝对榜上有名,多个企业.机构争先发布了自己的AI大模型.如同拥有了更多 ...
- AI入门:无门槛可以玩的神经网络
今天发现了一个非常好的网站 https://teachablemachine.withgoogle.com/# 不需要任何代码,只用一个摄像头就可以建一个图像分类的神经网络,晚上和女儿一起玩了下.她基 ...
- AI微课还能这样玩!开言英语“套路”深度解析
AI微课到底怎么玩?许多老师都带着疑惑参与了内测.毕竟AI互动课是近年来才新起的教学模式,作为率先尝试将AI互动课应用到在线教育SaaS解决方案的短书,希望通过更多的案例分享,帮助老师们了解并参考AI ...
- 楚留香ai识别人脸_楚留香手游AI捏脸怎么弄_楚留香手游AI捏脸方法步骤_玩游戏网...
<楚留香>手游坐观万象每日打坐点一览 楚留香坐观万象活动还在进行中,小伙伴们每天需要打坐才能获得相应的奖励哦,但每日的打坐点都是不一样的,不少玩家们都在为每日的打坐点而发愁,没关系,接下来 ...
- AI主播正式上岗,“玩法”百变的人工智能
提及现在的人工智能,有些人想到的也许并不是AI给生活提供的便利,而是我真的会失业吗?我的工作有可能被AI取代吗?作为程序员来讲,如果AI某天学会了自主编程,那么我该何去何从呢?至少目前来讲这还不太可能 ...
- 小哥自创AI防拖延系统,一玩手机就被“闪瞎” | Reddit高热
Alex 发自 凹非寺 量子位 | 公众号 QbitAI 你有过被Deadline支配的恐惧吗? 为了克服拖延症,一位小哥对自己"下了狠手". 他编写出一套使用物体检测API的算法 ...
最新文章
- 17.1 MySQL主从介绍 17.2 准备工作 17.3 配置主 17.4 配置从 17.5 测试主从同步
- Swift入门篇-循环语句
- Opengl超级宝典笔记——空间绘图画点
- BZOJ1050 [HAOI2006]旅行
- emwin edit控制的输入长度小数点怎么处理_变频器学习,变频器主电路与控制回路学习...
- 90-30-020-源码-任务调度-Kylin任务调度
- java 队列的使用
- 面向对象编程 和 面向接口编程
- Hibernate 缓存机制(转)
- 【TWVRP】基于matlab A_star算法求解带时间窗和任务软时间窗多车场多车型车辆路径问题【含Matlab源码 1561期】
- H3C Comware平台的优势
- Java实现 蓝桥杯 算法训练 猴子吃包子(暴力)
- 【深度学习】【ICLR2019】DARTS代码解读
- GoogleVRForUnity✨一款常用的谷歌VR插件教程
- Windows11台式机连接Type-C触摸屏显示器
- Python内置函数、匿名函数
- 带你玩转IntelliJ IDEA操作手册
- 99. Recover Binary Search Tree(恢复二叉搜索树)
- 计算机高级筛选操作步骤,职称计算机考试:excel高级筛选
- 为什么pytorch要用mean=[0.485, 0.456, 0.406] 、std=[0.229, 0.224, 0.225]