全球变脸应用新突破:实时秒变娃娃脸、全机型覆盖,断网也能用
雷刚 发自 凹非寺
量子位 报道 | 公众号 QbitAI
秒变娃娃脸,技术应用又有新突破。
而且相比P图后“变脸”,这次是拍摄短视频时终端实时进行“变脸”,上至万把元的iPhone下至千元安卓机,都能体验,甚至没有网络也OK。
你可能没想到,这次引领全球技术之先的是中国公司快手。
没错,就是老铁双击666的快手。
秒变童颜
在其最新迭代的版本中,拍摄页面上线了名为“变小孩”的魔法表情。
拍摄界面选择该表情进行短视频拍摄,就能秒变童颜,实现娃娃脸的样子——一千个老铁,有一千个娃娃脸老铁的样子。
比如这样:
这样:
以及这样:
上手简单,看起来也好玩,但稍懂技术原理,就知道实现这样的应用和效果,实际非常不简单。
核心是依靠GAN——对抗生成网络。
这次不仅国内首个实现端上实时GAN,也是全球范围内第一次实现iOS安卓多平台、全机型覆盖的视频实时GAN,甚至出于技(lao)术(ban)实(yao)力(qiu),快手AI工程师们还实现了“断网”壮举——没有网络状态也能用。
这是完全终端本地化的实现AI能力,是包含Google在内的AI头雁公司才有的追求。
并且相比翻译、语音识别,视觉和实时视频,对于终端算力、内存资源、模型训练和压缩要求都更为严苛,除了要投入资源攻坚,还得顶着用户体验的压力,最后在各种各样的终端用户场景中接受检验。
挑战其实不小。
但可以直接带来的效益,值得直面这份挑战。魔表上线3天即到百万使用量。
实时变脸的潮与难
或许你也多少留意到了,“变脸”、“换脸”在全世界掀起了一股新风尚。
除了没有证据但可能在开车的各类deepfakes,从图片到视频,从变老、男变女、女变男,返老孩童,全球网友玩得不亦乐乎。
简单回顾起来,最初在视频中推出实时“娃娃脸”的是Snapchat。
在今年5月,这个海外社交应用推出了该新功能,研发打造时长一年之久。
但效果也立竿见影,一经发布,日活大涨10%。
其后还间接带火了俄罗斯变脸应用FaceApp,很多明星和普通人,开始借助应用看到自己老去、还童的效果。
但放眼全球,能够跟上这种技术风潮的也不算多。
而且从Snapchat和FaceApp,也能看出技术实现之挑战。
一方面,实时视频几乎不能覆盖全机型全平台——Snapchat就只能在iOS支持。
另一方面必须依靠云端训练和效果实施,对网络状况要求也很高。这带来的小插曲是美国议员呼吁封杀FaceApp,因为上传照片到云端,会让俄罗斯侵害美国人隐私。
而快手选择做端上实时“变脸”,目标是能给所有用户带去更潮的短视频玩法。但除了技术上的难要解决,留给快手Y-tech技术小分队的时间只有一个多月的时间。
没错,一个多月,打完Snapchat一年的仗。
“娃娃脸”背后技术
其实早在18年4月份,快手已经在端侧实现了“变老”的功能效果。
但从技术而言,“变老”和“娃娃脸”的难度,不可相提并论。
通俗点说,“变老”不需要改变人脸结构,可以通过贴妆方式实现,娃娃脸的人脸结构有很大变化,在五官细节上也和成人有很微妙的差别,而且千人千面,难以用传统贴妆方法实现。
另外,“娃娃脸”效果,P图和实时视频的挑战也不一样。
视频所追求的,是在没有人为干预的条件下,快速生成效果逼真的娃娃脸。
进而也就有两大挑战必须解决:
一是需要机器根据每个人的脸部特征自动生成图像,而且不能有手工P图的痕迹。
二是要在手机端实时做到脸部图像生成。手机端的算力以及内存资源有限,在有限算力以及内存资源支持条件下完成这些任务,任务艰巨。
这些挑战,也是Snapchat在iOS实现而无法全平台全机型覆盖的原因——iPhone的算力和资源,算是最上层的。
但中国实际情况,以及快手的用户而言,安卓用户占比不低,而且安卓机型种类较多,不同机型算力和内存资源差异较大,因此完成实时视频变“娃娃脸”,在快手这里产品需求有了更明确定义:
设计一个能够覆盖高、中、低不同机型的解决方案。
于是,快手技术团队采取了差异化的AI模型生成方案,针对不同机型,采用相应解决方案。
对于算力较高的机型,可以让AI模型做更多的工作,比如生成的图像范围更广,细节更清晰。
对于算力较低的机型,可以把一部分AI模型的工作拆出来用传统的方法去解决。
然而总体还有一点,不管算力高低,最后到用户使用中,都得实现GAN的“秒变”,这也就意味着算力再低,也要有高质量的AI算法实现——挑战和能力都暗含其中了。
最后,对于快手来说还有一项潜在挑战:网络。
一方面是用户体验上的考量,实时效果对延迟要求很高,服务端计算增加的网络延迟对于实时应用来说非常显著——用户需要等待,体验的效果滞后。
另一方面,如果用户还位于偏远山区,手机信号和网络不好,体验就会变得非常糟糕。
所以从一开始,快手技术团队对这款特效的目标就定成了达到“手机断网”也能用。
因此所有算法操作,都在手机端完成,不需要把用户拍摄的图像或视频传到后端服务器做算法处理。
用一个小小手机,完成了算力强大的服务器才能做到的事,这是快手技术团队在“娃娃脸”功能上秀出的实力。
而且这只是实力的冰山一角,后台深藏的是驱动快手产品向前的基础引擎。
技术积累之力
正所谓水滴石穿非一日之功。
快手此次能够引领全球技术应用之先,快手自研的YCNN深度学习推理引擎、定制化模型压缩算法都是幕后功臣。
正是基于内部自研的压缩模型,才能在考量各种边界条件、有限的计算以及内存资源条件下,依然把模型的计算量降到最小,同时又不影响算法效果。
而快手端上深度学习推理引擎,为娃娃脸算法落地提供了有力支持。
这个取名YCNN的深度学习推理引擎,之前介绍快手AI时也多次提到。
这是快手自研的、支持多平台的、深度优化的神经网络推理引擎,是快手很多AI功能的强大加速器,支持包括不限于NEON、SSE、Metal、NPU,OpenCL,OpenGLES的优化方法和技术。
在这次“娃娃脸”功能里,针对移动平台尤其是低端安卓机计算能力较弱的特点,YCNN引擎在定点化推理方面的优化,提出了低功耗高性能的解决方案。
实际上,近几年来,在深度学习研究领域,GAN等模型被广泛的应用到解决各种问题上,但像快手这样坚持打造核心基础引擎,并最终让产品功能受益,让终端用户受益的,并不多。
而且也由于产品落地和应用的成功,技术上的难度和积累少为人知。
实际上,让拥有不同手机机型的每一个老铁,能够无差别享受高算力AI技术带来的乐趣,背后是极其强大的技术团队的付出。
但这样的团队,也有委屈的时候。在最近快手首次召开的技术OpenDay上,有校招学生透露“因为家里人、朋友觉得快手Low而表达过不想让他们选择来快手工作”。
如果能够全面了解一下快手,了解下快手的普惠价值观,以及通过这家公司的努力给普通人的生活带来的改变,相信他们的想法会改变。只有全面的了解之后,才能做出客观的判断。
那如果更深入了解端上GAN的进展突破呢?知晓“本地化无网络”也能应用AI模型呢?或者更进一步知道压缩模型和推理引擎的强悍……
可能是时候给予快手以及快手的技术更多正名了。
并且在技术可能加剧资源、地区和发展不平等的今天,快手能通过终端产品让每一个用户无差别感受技术的乐趣、感知不一样的世界,还帮助更多偏远地区加速商业化提升收入,善莫大焉。
把技术推向更前沿值得感叹,用前沿技术打造接地气的、普惠的产品,值得赞美。
你说呢?
Last but not least,做出这款特效的技术团队是快手的Y-tech团队,这里也特别传送门一下:
快手Y-tech,是快手在人工智能等前沿领域的探索者和先行者,以研发前沿科技、提升用户体验、创造用户价值为使命,致力于在计算机视觉、机器学习 、深度学习和计算机图形学等领域开展技术研究和业务落地。
研究的技术方向还包括图像处理、人脸识别、多媒体技术、SLAM/AR/VR/MR、三维重建、优化算法,推荐,ranking,game AI, 机器学习平台,数据库,数据分析,强化学习等。
最后,附马上能体验的H5传送门(也可直接点击阅读全文),欢迎分享你的“宝宝照”到盆友圈。谁还不是个宝宝呢?
https://activity1.m.viviv.com/babyface/
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
活动推荐 | AI计算盛会限时免费报名
2019人工智能计算大会将于8月27日-28日在北京举办,通过量子位特邀渠道,即可获得原票价1099的限时免费报名通道。识别下图二维码即可报名。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !
全球变脸应用新突破:实时秒变娃娃脸、全机型覆盖,断网也能用相关推荐
- 学会这五个邮件办公技巧,邮件秒变“私人秘书”【公司邮箱如何申请】
如今的职场人士,工作节奏快,没日没夜赶进度是常有的事,但是有的人加班可以完成几天的工作,而有的人加班当天的工作都完不成,那些高效办公的人都是怎么做到的呢? 作为职场人士日常办公中一定少不了与邮件打交道 ...
- DL之GAN:HighNewTech基于计算机视觉领域GAN技术—最新黑科技之秒变宝宝——回到最初的样子
DL之GAN:High&NewTech基于计算机视觉领域GAN技术-最新黑科技之秒变宝宝--回到最初的样子 导读 8月14日,快手APP上线名为"变小孩"的魔法表 ...
- 学会这五个邮件办公技巧,邮件秒变“私人秘书”【注册企业邮箱】
如今的职场人士,工作节奏快,没日没夜赶进度是常有的事,但是有的人加班可以完成几天的工作,而有的人加班当天的工作都完不成,那些高效办公的人都是怎么做到的呢? 作为职场人士日常办公中一定少不了与邮件打交道 ...
- 高糊视频秒变4K!Facebook发布低分辨率视频实时渲染算法,网友:是好东西,但是玩不起...
贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI 还记得那个引来巨大争议,最后把LeCun逼退推特的低分辨率图像还原算法PULSE吗? PULSE是针对低分辨率图像进行还原的,而就在PUL ...
- Alphabet联网气球项目取得新突破;苹果全球开发者大会6月5日召开│ IoT黑板报...
百度宣布全资收购渡鸦科技 加码人工智能 @一财网 据百度官微消息,百度宣布全资收购渡鸦科技有限责任公司,创始人吕骋携团队正式加盟百度,并出任百度智能家居硬件总经理,向百度集团总裁和首席运营官陆奇汇报. ...
- 神秘AI换脸软件入侵全球社交网络!马斯克秒变文艺复兴贵族
来自:新智元 FaceApp的热度刚过不久,近期又有一款让你的脸秒变「迪士尼」的App火遍了全球的社交网络. 要测试「AI换脸」的效果,怎么能少了我们的老朋友LeCun. 实测效果还不错,确实有一丝丝 ...
- 高糊视频秒变4K!Facebook发布低分辨率视频实时渲染算法,网友:是好东西,但是玩不起
还记得那个引来巨大争议,最后把LeCun逼退推特的低分辨率图像还原算法PULSE吗? PULSE是针对低分辨率图像进行还原的,而就在PULSE问世不久后,一个针对模糊视频进行实时高分辨率渲染的算法问世 ...
- 在线佳能计算机,佳能相机秒变电脑摄像头 高画质直播新玩法
原标题:佳能相机秒变电脑摄像头 高画质直播新玩法 出自蜂鸟网-器材,原文链接:https://m.fengniao.com/document/5362626.html 随着网络直播与在线视频会议的飞速 ...
- 拯救渣画质,马赛克图秒变高清,杜克大学提出AI新算法
作者 | 神经小兮 来源 | HyperAI超神经(ID: HyperAI) 导语:将「马赛克」像素级别的大头照转换成高清照片,是一种怎样的体验?杜克大学提出的 AI 算法,不仅可以「去掉马赛克」,还 ...
最新文章
- 哈佛大学通过百度搜索的数据写了篇论文:新冠病毒起源于去年8月的武汉...
- 3.2.1 虚拟内存的基本概念
- php实现小说字典功能_四十章 PHP实现获取并生成数据库字典的方法
- C语言1e12怎么识别,掌握C语言中基本的运算符
- C#窗体的Load事件与Shown事件的区别
- 零XML的Spring配置
- VUE 入门基础(3)
- C++ 对引用的理解4
- ubuntu入门知识
- 华硕固件,梅林固件,高恪固件等等有什么区别?
- Windows VS Linux,Linux或将成为最终赢家?
- ubuntu 安装J2EE环境
- stm32+rx8025
- numpy tolist()的用法
- am调制解调仿真matlab,AM调制与解调仿真matlab
- (万文)最全、最细前端面试问题总结(答题思路分析、答案解析)
- 【渝粤题库】陕西师范大学292951 公司金融学Ⅱ 作业(专升本)
- 高性价比的“小985”院校推荐!认可度超高
- 重装操作系统的20条原则
- c语言程序设计呼克佑第二版课后答案,《程序设计技术》实验大纲-呼克佑