来源:大数据文摘

本文约2000字,建议阅读5分钟

本文为你介绍爱奇艺PersonAI团队利用AI算法将明星变脸的技术。

刘亦菲有多漂亮就不用我多介绍了。

单是她那“优越的颅顶”,就已经足够上一次热搜了。

有个网友在刘亦菲脑壳上画了个圈圈,简直是照着篮球长得嘛,还有网友表示,“竟然觉得她光头也一定好看”。

不过网友们没能等来刘亦菲剃光头,却等来了刘亦菲变胖!

近期,一位名叫“AIworks”的B站UP主发布了一个AI模拟女明星变胖后的视频,视频中“四小花旦”变胖的逼真效果引发网友热议,被网友称为“大型减肥教育片”。

这个视频发布后在b站引发了一波“爱豆”变胖热潮,我们也第一时间与视频UP主取得了联系,详细问了问他是怎么把刘亦菲变胖的。

从刘亦菲到“刘大姐”,中间只差了个AI!

揭秘之前,咱们先一起来看看效果。看着这法令纹,这双下巴,这赘肉,要不是知道她们原来的样子,很难分清这是AI的作用。

那这背后是什么技术呢?

经常关注我们的同学应该对这样的技术不陌生了,像之前报道的styleGAN人脸风格变换,都是对GAN(对抗生成网络)的应用,但是从效果来看,这个作品在细节方面有了很大的进步,尤其是在动态视频中的表现效果,已经达到了以假乱真的地步。

对此UP主在接受采访时也告诉我们,这个作品是他利用爱奇艺的一款小程序完成的,可以支持多种人脸编辑,包括变老、长胡子、变男变女等。

跟爱奇艺相关技术团队PersonAI沟通后我们得知,这款神奇的小程序主要也是用到了GAN的技术,变胖这个效果主要是PersonAI自研的GAN生成技术,借鉴了开源的StarGan的域迁移生成方案,同时加上了传统warp变胖的图到图约束loss、身份约束loss、真实度感知loss等多种训练loss,还取了个非常直白的名字——FatGAN。

之所以能够取得比styleGAN更好的效果,PersonAI团队也费了一番功夫:“(我们的方法)与styleGAN不同,styleGAN生成的特征不连续,在人脸角度比较大的时候生成的效果不稳定,真实的图像编辑效果差,这些都导致无法在真实视频中得到较好的效果。”

至于为什么能够产生法令纹、双下巴这些细节,PersonAI团队负责人首先称赞了网友们的“火眼金睛”,“网友们的眼睛还是很尖的,”

“在刚开始做的时候,发现收集的微胖人群数据集里面,微胖人群的法令纹也确实会比瘦子的深一些多一点,因此在域迁移GAN生成网络里面特意加了纹理约束来表征法令纹等一些微胖人群特有的细节。”

算法来自爱奇艺,“胖出法令纹”网友直呼细节真实

采访中,PersonAI团队负责人也表示,FatGAN生成人脸的五官与身份保持得很好,归因于团队的千万级人脸识别模型的特征比较鲁棒,微胖数据也是利用该团队的人脸属性模型在爱奇艺海量的视频素材库里面收集的。

在“四小花旦”的视频在b站爆火后,up主又把目光投向了男明星们,第一个中招的就是易烊千玺。

胖起来就泯然众人的哥哥们,甚至让有的网友产生了这样的想法:

这也体现了FatGAN的逼真的效果——既照顾到了真实的微胖是什么样子,又能保持与原对象本身的相似度。

为了做到这两点,爱奇艺PersonAI团队克服了重重困难:“目前常见的模拟变胖变瘦的效果,基本上都是通过人脸图像warp的方式来实现的,这种方法没有法令纹等微胖人群的真实细节特征,而FatGAN通过添加属性、感知、边缘纹理等多种约束,使得生成的变胖效果更加真实。”

为了让生成的图像更像本人,FatGAN需要能较好地保持身份信息,为了做到这一点,利用了团队内部的千万级人脸识别模型,提取生成前后的人脸图像多尺度身份特征进行约束。同时,采用传统warp变胖的效果进行感知Loss、L1loss等约束 。FatGAN单帧图像处理流程如下:

图1 FatGAN单帧图像处理流程

“不仅是个真实的‘胖子’,还是个真实但美丽的‘胖子’”

为了让用户能体验视频中变胖的真实效果,FatGAN需要保证视频生成的稳定性,需要在生成过程中加入了光流预测模块进行时序上的约束。

但是直接利用光流速度很慢,因此团队构建了一个Unet+shuffle+Spade 的轻量级网络,利用下图2的大网络对轻量级网络进行蒸馏训练,这样可以做到移动端实时处理的效果。

图2 变胖视频处理流程图

这么好玩的应用当然不会只停留在实验室,也不会只停留在把明星变胖上,许多网友也在B站留言提出了更多的要求。

对此,爱奇艺PersonAI团队也告诉我们,“除了变胖特效外,我们小程序还支持多种人脸属性编辑,包括变老、长胡子、变男变女等,具体可以关注爱奇艺AI中心微信小程序。”

感兴趣的小伙伴可以试一下~

目前团队还在探索在AI中引入更多的设计和美学元素,比如希望不仅可以变成一个真实的“胖子”,还可以是一个真实且美丽的“胖子”。

团队还希望GAN技术与3D技术结合起来,可以自由实现任意人脸编辑效果,支持用户个性化定制玩法,比如用户根据自己的审美捏一个属于自己的“明星脸”。

最后,UP主也和我们一起畅想了一下AI技术在媒体方向的应用:

“也许将来,用户自己创作的AI人物也能参与到剧中。”

编辑:王菁

校对:王欣

AI把爱豆变胖视频火遍B站,我们找到了背后的技术团队:你是怎么把刘亦菲变胖的?...相关推荐

  1. 视频剪辑,人脸贴纸美颜特效数字图像处理背后的技术-Qt版本

    Qt能做什么?其实大部分都是一些c++最擅长的领域,客户端软件,工具软件. Qt最擅长什么?这个看主流的行业巨头,比如Autodesk的3D建模动画软件maya, Adobe的3D贴图绘制软件Subs ...

  2. 一夜之间,「AI孙燕姿」火遍全网!

    来源:新智元 一夜之间,「AI孙燕姿」火遍全网. B站上,AI孙燕姿翻唱的林俊杰「她说」.周董「爱在西元前」.赵雷「成都」等等,让一众网友深陷无法自拔. 「冷门歌手」孙燕姿新晋成为2023年度热门歌手 ...

  3. 奥巴马吐槽川普“笨蛋”的视频火了,这又得“归功”于AI

    夏乙 栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI 一段吐槽视频今天在美国火了. 也就半天的工夫,这段视频在Twitter上有200多万次播放,1300多条评论,被转发了2万6000多次 ...

  4. 用AI「复活」逝者:「深度怀旧」项目火遍推特,我们也用民国老照片试了下 #蚂蚁呀嘿

    转载自:机器之心 最终,我们或许能让那些过去的人们,「亲自」为我们讲述他们自己的故事. 最近几个星期,一股由 AI 引发的「动起来」趋势席卷全网,各种让照片变视频的动画不时出现在各大社交网络的时间线上 ...

  5. 这张父子照曾火遍全国,如今他们的故事比照片更动人

    Jan. 4 "我见证了这个家庭的喜怒哀乐,一家人非常简单淳朴,非常努力勤恳." 十年前,这张父子合照火遍了互联网. 照片中的"棒棒"冉光辉扛着一百多斤货物,牵 ...

  6. 一夜之间ChatGPT火遍全球,程序员的饭碗保不住了吗

    一夜之间拆的GPT火遍全球 程序员的饭碗保不住了吗 本来我不想说这话题的啊 最近几天有四五个网友私信问我 说有了拆的GPT以后 程序员是不是也失业了 等等类似的这种问题吧 所以今天我根据这个我知道的内 ...

  7. 开课吧里的python学习是真的吗-Python是个什么鬼,为何火遍留学圈?

    原标题:Python是个什么鬼,为何火遍留学圈? 昨天快睡的时候,学弟给我打电话,说实习有些不顺利. "我都这么拼命了,可转正名额里还是没有我, 他们是不是把我当廉价劳动力啊?" ...

  8. 火遍半边天的狼人杀APP只剩“曾经”,剧本杀APP成功上位?

    开始之前想问一下各位,你们知道剧本杀吗?有玩过剧本杀游戏吗? 所谓剧本杀是对谋杀之谜类游戏的统称,是一种有剧本支撑的推理类趣味游戏,是真人实景角色扮演系列游戏的一种,该游戏早已风靡欧美市场,但其在我国 ...

  9. AI 加持、打通好看视频和爱奇艺,百度短视频战略升级

    在过去的2019年里,最火的娱乐方式毫无疑问是短视频.随时随地的碎片化娱乐方式,雅俗共赏的综合性内容俘获了各个年龄段的用户,使得刷.拍短视频内容已经成为生活常态,短视频的渗透率与增长速度已经压过传统视 ...

最新文章

  1. C++11中enum class的使用
  2. PinkLotar 外挂汉化版+Mod 工具
  3. Xcode:Task failed with exit 1 signal 0 {
  4. OpenStack 通用设计思路
  5. 过程的首要目的是好的结果
  6. AngularJS HTML DOM
  7. [Linux Mysql] Linux下Mysql的基本操作
  8. Linux学习之系统编程篇:使用信号量实现“生产者和消费者模型”
  9. 使用SSL和Spring Security保护Tomcat应用程序的安全
  10. elk系列1之入门安装与基本操作
  11. python科学计算_可视化图解Python科学计算包NumPy
  12. 08-07 性能测试--性能监听平台
  13. 生成不同尺寸dimen的xml文件以及文件夹
  14. Kebernetes 学习总结(8) statefulset
  15. oracle 最大一行,一行最大column数和row piece-概念
  16. 奇舞周刊第 444 期:浅谈文档的实时协同编辑
  17. iPhone 开发分辨率 持续更新
  18. linux rm 文件找回_Linux下用rm删除的文件的恢复方法
  19. [小物分享] “Cap-less”——烂笔头3088
  20. 国子监祭酒是个什么官

热门文章

  1. 【c语言】蓝桥杯算法训练 平方计算
  2. linux下详解shell中/dev/null 21
  3. localStorage、sessionStorage、Cookie的区别及用法
  4. 《深入理解Hadoop(原书第2版)》——1.3大数据的编程模型
  5. 解决eclipse中egit中的cannot open git-upload-pack问题
  6. 《BI项目笔记》创建标准维度、维度自定义层次结构
  7. 8核移动处理器时代来临
  8. mysql日期函数 简书_ios怎样搭建php服务器
  9. 分子偶极矩大小如何判断_润滑油粘度大小该如何判断你知道吗?
  10. android media sessiom,如何使用新的MediaSession类在Android 5.x上接收...