0.7秒,完成动漫线稿上色
鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
给一张这样繁复的线稿:
一步步填上颜色、赋上光影:
你猜需要多长时间?
答案是最快0.7秒。
没错,这又是AI的手笔。
厚涂不在话下,换种漫画上色风格,只要给出示例,这只AI也能迅速get到灵魂。
而这,还不是Ta的全部实力。
有别于业内针对静态漫画的上色AI,这个来自爱奇艺的智能上色引擎,还能用来给动态漫画赋上前后风格统一的色彩。
并且是已经正式「出道」的那种——
在爱奇艺自制轻动画《吞噬永恒》中,这只自动上色AI就已经落地应用,施展了自己的才能。
所以,这样一只AI的「上色灵感」源自何处?
我们照例一起扒一扒背后的技术~
理解线稿,精细上色
想要学会上色,AI首先要明白线稿为何物。
爱奇艺工程师们的做法,是在基于GAN的模型中引入注意力机制和语义参考模块,使得AI能够自动识别人类画师给出的线稿。
如下图所示,智能上色引擎能get到眼球、斧头等各个部分完整的语义信息。
看懂了线稿,就可以进入到上色环节了。
为了使得上色效果精准,并在多帧情况下保持各帧风格的一致性,爱奇艺工程师们祭出了以下几招:
根据具体需求调整网络结构,使模型与数据更加匹配
设计色彩参考模块和风格参考模块等预处理模块,提高上色图片的色彩丰富度和风格统一性
多种loss相结合,实现像素级别的精细匹配和上色。
具体的上色手法,就像这样:
虽然啪一下很快的,但其实爱奇艺智能上色引擎对人类老司机很「讲武德」——提供了分图层的输出模式,专业画师可以轻松在AI的基础上灵活调整上色细节。
需要说明的是,在给动态漫画上色的过程中,AI倒是也「参考」了一些人工上色的方法,比如背景和特效大多可以重复使用,上色模型可以只专注于对人物进行上色。
另外,值得一提的是,在打磨上色算法的过程中,工程师们也积累下了一套线稿数据生产系统。
对于用户而言,基于爱奇艺智能上色引擎获取到的数据,可以构建线稿数据库和不同风格的动态漫画数据库。
自动动画上色模型
看到这里,你可能会有这样一个疑问:这样的AI能应用在动态漫画的制作过程中,那么更高难度的动画呢?
最近,爱奇艺在一篇WACV 2021论文中,通过最新的研究进展,展示了未来的一种可能性。(论文地址见文末)
研究人员发现,动画帧之间存在着很强的关联性,很多只是身体位置和动作发生了变化,如果能获得帧间的相关性,只需要一帧上好色的图片,就能将其颜色变换到其他待上色帧,减少大量重复、非创造性的劳动。
为此,研究人员设计了一种相关匹配特征转移模型,称为:基于相关性匹配的特征迁移模块,Correlation Matching Feature Transfer(CMFT),来将参考帧的颜色特征与待上色帧进行对齐。
并且,研究人员将该模型以coarse-to-fine的方式嵌入到基于U-Net的生成网络中,逐步对匹配的特征进行细化和修正。
效果如何?
上图中,实际上只有第一帧是人类画师的作品,后面几张都是AI根据第一帧生成的。
实验表明,在帧间一致性和上色质量上,这只AI都超越了前辈。
这也就意味着,AI自动上色技术未来还可能在更为复杂的动画领域大展身手。
等到这样的AI模型从实验室落地到工业界,一方面,能在更广阔的领域中解放创作者的双手,让他们将更多的精力投入到艺术创意工作中。
另一方面,无疑能进一步提高动画的工业化生产效率、降低生产成本。
好番连连看的日子,想想都觉得幸福感爆棚了。
当然啦,在这个过程中,想要实现AI和创作者习惯之间的无缝衔接,让AI模型能「摸透」创作者的想法,还是少不了算法研究者和动漫创作者之间的紧密交流、合作。
推动动漫工业化新流程
转回当下,像爱奇艺智能上色引擎这样的AI,其实已经开始在产业中发挥价值。
事实上,熟悉动漫画制作过程的小伙伴都知道,线稿上色这一步处于脚本创作、分镜和线稿之后,随着剧情的推进,动漫内容需要不断去更新延续,在流程中存在重复劳动环节,工作量巨大。
以漫画为例,一话通常在十到二十格之间,一部作品基本又是成百上千话的量,其中涉及大量对相同或相似帧的上色工作。
而AI恰恰能够辅助人工完成上色环节中的底色和光影着色,有效提高行业生产力。
在2020年中国二次元用户规模有望突破4亿的背景之下,对于动漫产业而言,人工成本的攀升和有限的上色效率,目前已经成为限制动漫产量提高的一大障碍。
而爱奇艺智能上色引擎这样已经实际落地到动态漫产业中的AI,恰恰为解决这一矛盾带来了一种全新的可能性:改变传统工作方式,把创意交给人类,把重复交给AI。
爱奇艺表示,相较于纯人工上色,智能上色引擎预计可在动态漫制作上色环节中,节省约30%的人力。
除此之外,对于专业上色画师而言,这样的AI或许也能够提供参考,激发新的灵感,甚至衍生出更多更有意思的玩法。
那么,你是不是有什么大胆的想法了呢?
文章最后,传送一下这只AI的作者——爱奇艺AI创作团队。
该团队的目标是:不断探索新技术与内容制作的深度融合,以技术替代操作简单、重复性高且繁琐的基础性、非原创性工作,让创作者把时间投入到创意中,进而优化内容生产流程,推动行业的工业化水平。
目前,不仅是在动态漫上色领域,在录制、素材管理、后期等综艺节目制作环节,爱奇艺均探索了AI辅助一体化智能制作方案的应用。
论文链接:https://arxiv.org/abs/2004.06718
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
量子位年度智能商业大会启幕,大咖已就位!
12月16日,李开复博士、谭建荣院士、清华唐杰教授,以及来自小米、美团、百度、华为、爱奇艺、小冰、亚信、浪潮、容联、澎思、地平线、G7等知名AI大厂的大咖嘉宾将齐聚MEET2021大会,期待关注AI的朋友报名参会、共探新形势下智能产业发展之路。
▽早鸟票限时优惠,扫码锁定席位吧~
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~
0.7秒,完成动漫线稿上色相关推荐
- 0.7秒完成动漫线稿上色,爱奇艺发布AI上色引擎
出品 | AI科技大本营(ID:rgznai100) 中国漫画的需求量在不断增加,而动漫制作成本一直居高不下.究其原因为动漫制作是一个复杂且耗时的过程,需要大量工作人员在不同阶段进行协作. 动漫制作过 ...
- 曾在字节实习的程序员小姐姐,教你一步提取动漫线稿!比用PS更清晰
丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI 每当你看到喜欢的动漫作品,想把线稿提出来.进行重新上色等加工时,你是怎么做的? 用PS吗? 是不是有点麻烦?结果还很糊? GitHub上有一 ...
- 超火的漫画线稿上色AI出新版了!无监督训练,效果更美好 | 代码+Demo
夏乙 安妮 编译整理 量子位 出品 | 公众号 QbitAI 给喜欢的动漫形象建个了收藏夹,里面收集她的各种图片--懂,谁没几个喜欢的动漫萌妹呢. 一些手绘线稿也很可爱,但黑白配色总会略显单调. △请 ...
- 线稿上色V3(比V2差别在于这个参考图的处理方式),并且更好用哦
转自AI Studio,原文链接:线稿上色V3(比V2差别在于这个参考图的处理方式),并且更好用哦 - 飞桨AI Studio 线稿上色V3(比V2差别在于这个参考图的处理方式),并且更好用哦 - 飞 ...
- 美术老师去世后,他做了一个算法模型,为老师的线稿上色
大数据文摘出品 来源:artnome 编译:楚阳.橡树_Hiangsug.夏雅薇 机器学习最能发挥功效的地方是协助人而非取代人. 尽管我们可能无法从头开始构建自己的机器学习模型,但是类似于Runway ...
- Photoshop高级应用之线稿上色实例:女孩
Photoshop高级应用之线稿上色实例:女孩 1.先是草稿,懒的透一遍干净的稿子了,这次尝试一下直接用草稿画,当然这样是比有个干净线稿直接上色要辛苦的多,但效果也相应的会更好. 2.调整一下线稿的亮 ...
- 动漫线稿怎么画才流畅
如何画出流畅的线稿?动漫画画线稿教程!画画手初级线稿,使用数位板很难一次绘制出流畅的长线条,虽然也可以使用曲线工具来绘制,但为了制作的便利,最好还是能熟练掌握徒手绘制流畅长线条的方法.来试试,对小白来 ...
- krita 平涂 线稿上色 颜色蒙版
Flat Coloring So you've got a cool black on white drawing, and now you want to color it! The thing w ...
- 资源 | Style2paints:专业的AI漫画线稿自动上色工具
IT派 - {技术青年圈} 持续关注互联网.大数据.人工智能领域 关注 往期精彩回顾 重大改变!Excel即将接入Python!办公软件也要革命 2017年大数据领域薪资有多高? 由于档期限制,我们经 ...
最新文章
- 【C 语言】二级指针作为输出 ( 指针输入 | 指针输出 | 二级指针 作为 函数形参 使用示例 )
- 【高德地图开发3】---地图显示
- P3357 最长k可重线段集问题(网络流/串联/拆点)
- xshell十大技巧
- epoll边缘触发_C++回声服务器_9-epoll边缘触发模式版本服务器
- python读单行文本求平均值_利用Python读取json数据并求数据平均值
- CSDN 开学见面礼!3 周带你 Get 大厂工程师基础能力
- 关于在不同版本和平台之间进行还原或复制的常见问题
- 【Kafka】kafka检查消费者位置
- “夸夸机器人” App 来了:变身百万粉丝大 V,48 万人给你的帖子点赞
- 利用VS2010进行SQL Server服务器和本地的数据融合
- wsl2 Ubuntu安装Anaconda3
- 利润表模板excel_让财务人看完心动的369个Excel财务分析图表,老板都忍不住点赞...
- 将数字转为中文金额的大写方式(C++版)
- Maven打包失败:程序包XXX不存在
- Chrome内核浏览器显示【您的时钟快了,您计算机的日期和时间不正确】解决办法
- 紫光展锐发布系统级安全的高性能5G SoC移动平台T820
- 工业过程控制领域中通信
- 云里黑白第八回——msconfig诊断启动,这辈子都不敢用了o(╥﹏╥)o出现问题,你的PIN不可用,禁用服务
- 湖北物联网产业标准联盟成立
热门文章
- C ++ 17中有哪些新功能?
- Java并发编程:CountDownLatch、CyclicBarrier和 Semaphore
- docker-compose 命令
- 交互式线上科学期刊Distill上线,Ian Goodfellow表示“学ML就找它”
- Mybatis3.3.x技术内幕(十三):Mybatis之RowBounds分页原理
- win8 开发之旅(16)---------足球游戏揭秘(2)
- VC获取系统时间、程序运行时间
- linux定时关机命令_电脑设置定时关机你会吗?Windows自带的这行命令真好用
- flutter开发环境搭建
- setAttibute和getParameter的区别