实时把你的脸变成名画,手机摄像头新玩法
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
梦晨 发自 凹非寺
量子位 报道 | 公众号 QbitAI
这款叫做“FaceBlit”的最新的风格迁移技术,能够实时把镜头前你的脸变成指定画像的风格,还能匹配你的表情动作。
性别不同也没问题。
甚至可以用雕像和草稿。
这一切都能在手机上实时进行,不需要拍好视频再等待处理。这意味着,本项技术可以应用于直播和视频通话,而不仅是上传拍好的视频作品。
它还可以反过来用,通过镜头捕捉你的表情动作,让画像同步动起来。
来看看这么惊艳的效果是如何做到的吧。
位置匹配+外观匹配
首先是位置匹配,通过下巴的轮廓确定整个面部的形状。检测出五官等重要面部特征并编码。
再把画像与人脸的面部特征进行匹配,确保迁移的结果在语义上能够一一对应。既鼻子对鼻子,眼对眼。
然后是外观匹配,先把画像与人脸都去掉颜色进行灰度化,再进行高斯模糊处理。
用原始图像减去模糊后的图像得到其差值图像。以差值图像为依据进行直方图匹配(Histogram Match)。
从对比图中可以看到,位置匹配和外观匹配共同作用才能得到理想的结果。
为什么这么快?
风格迁移其实已经有很多方案,但使FaceBlit脱颖而出的最大的特点就在于速度快,无需大规模数据集和长时间训练。
在19年的前期成果中已经能做到在十几秒内训练出稳定的效果。
FaceBlit将Fišer等人在2017年提出方法中的4个匹配简化成两个,即上面提到的位置匹配和外观匹配,并改进底层生成算法,将准备时间缩短到几十毫秒。
检测面部特征时使用下采样(subsample),在对检测精度影响很小的情况下降低图片的分辨率。
通过预计算3D像素查找表,以占用更多内存为代价节省时间,并将搜索范围限制在目标位置的20个像素以内。
最终在性能测试中,FaceBlit通过稍微提高预计算时间,大大减少了合成时间。这意味着,完成对参考画像的预计算后,就可以实时合成出所需的图像。
还是在只使用了CPU的情况下。
在使用三星Note 8手机的测试中,FaceBlit在50万像素分辨率下以每秒15帧运行。
进一步研究方向
研究团队表示,虽然FaceBlit效果已经很惊艳,但还不够完美,并提出了3个未来的研究方向。
解决由于在计算过程中省略了对时间一致性的匹配,导致生成结果中会出现闪烁的问题。
解决外观匹配方法容易在风格迁移中忽略一些大尺度的特征的问题。
通过交叉分析相似风格的同一套画像,来使结果能适应不同观察角度、照明条件等复杂情况。
作者团队
这项研究一作为来自捷克理工大学的Aneta Texler, Ondřej Texler和Michal Kučera。
另外还有来自相机社交应用公司Snap的华人研究员柴蒙磊参与其中。
柴蒙磊博士毕业于浙江大学。主要从事计算机视觉和计算机图形学的研究,主攻人类数字化、图像处理、三维重建和基于物理的动画。
最后,FaceBlit的相关代码预计于4月份在GitHub上公布。
参考链接:
[1]https://ondrejtexler.github.io/faceblit/
[2]https://www.youtube.com/watch?v=XF6lWAVFXy0
[3]https://www.youtube.com/watch?v=Fi4TXewjka0
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
点个在看 paper不断!
实时把你的脸变成名画,手机摄像头新玩法相关推荐
- 安卓手机充电慢_苹果和安卓手机充电新玩法:充电零钱自动涨效果
手机充电零钱自动涨效果 首先,这个玩法苹果和安卓手机通用,只要在手机上安装有微信就可以实现手机充电零钱自动涨效果,操作方法非常简单,只需打开特定的小程序,然后将你的手机充上电,你的零钱就会自动上涨,一 ...
- 旧手机的新玩法:postmarketOS 已适配上百款安卓手机
百度智能云 云生态狂欢季 热门云产品1折起>>> 在沉寂将近1年之后,postmarketOS的开发者终于发布了最新动态,展示了在这段时间所做的努力.postmarketOS是专 ...
- 手机QQ更新8.8.0正式版:新玩法上线 表情包呲你一脸
小伙伴们注意:公众号的推送机制不再按照时间前后推送了,微信公众号信息流乱序.君哥建议大家把科技毒瘤君公众号置顶(设为星标⭐),以便第一时间看到推送,非常感谢~,方法如下图: 文 章 分 类 软 ...
- 实时风格迁移,移动端运行,人脸特效又有了新玩法
视学算法报道 转载自:机器之心 编辑:维度 人脸风格迁移出现新玩法!捷克理工大学联合 Snap 公司创建了一个用于视频中人脸风格实时迁移的框架,既不需要大型数据集和冗长训练周期,更能够在移动端运行. ...
- 截屏没有了_原来华为手机的截屏方法不止3种,用了这么久,现在才知道新玩法?...
华为手机有很多种截屏的方法,这些花式截屏方法,能够让不少华为用户玩上一整天,可是小酱却发现,华为手机的截屏方法不止3种,用了这么久,总算让小酱找到截屏的新玩法了. 下面就让小酱来跟大家一起说说,华为手 ...
- 华为鸿蒙音量键对比,华为手机的音量键原来还能这么用?这六大新玩法,你用过几个...
原标题:华为手机的音量键原来还能这么用?这六大新玩法,你用过几个 华为刚发布的鸿蒙系统这几天着实火了一把,开发者大会上的黑科技展示也尤为不俗,但是你可知道华为不光系统硬件做的好,就连手机上的音量键也有 ...
- 史上最好玩的全家福!华为手机新玩法刷爆90后餐桌
一年一度的传统佳节--春节近在咫尺,相信大多数人不是已经回家,就是在回家的路上. 中国人过春节已有4000多年的历史,不同年代的风俗千变万化,但万变不离其宗,大家都会在春节这一天尽可能地回到家里与亲人 ...
- 2016年天猫手机双11玩法曝光
9月12日,2016年天猫手机双11商家大会在杭州举行,一系列主题和玩法也随之公开.其中,"互动城"."直播"成了今年天猫手机双11玩法的重点,各种围绕这两个重 ...
- 实时音视频直播新玩法中的混音技术
作者|冼牛 编辑|覃云 最近半年,视频直播领域中产生不少创新玩法,其中包括 K 歌直播和合唱直播.这些创新玩法都用到实时音频混音技术.今天我们来聊一下混音技术的实现,及其在创新玩法中的应用. 混音的应 ...
最新文章
- 树视图的代码 TreeView
- UI设计实用素材|iPhone样机模型(展示你的应用程序、网站或用户界面的完美方式。
- c 语言转换成java语言,求助大神!!!JAVA转换成C语言
- forEach与map
- Storm的Metric接口简介
- 威纶通触摸屏与仪表通讯_【智】威纶通触摸屏与两台变频器Modbus RTU通讯案例详解...
- 计算机操作系统第一章测试题及答案
- 【小月电子】ALTERA FPGA开发板系统学习教程-LESSON8 LCD1602液晶显示
- Android仿自如客APP裸眼3D效果
- 网络游戏制作---坦克大战(1)
- 职业高中计算机英语必背单词,高中英语3500个必背单词.pdf
- 序列化-Kryo的使用详解
- Python+Appium自动化测试-通过坐标定位元素
- 歌尔首次闪耀CES Asia,展示全面创新力量
- resilience4j是什么?
- elasticsearch高级搜索功能多维度分享
- 像素风放置类游戏-突袭盛宴Raid Party
- Linux Tomcat JSP 布署详细教程
- IGBT学习记录(一)
- 2012年1月房价排行
热门文章
- 【组队学习】【34期】Scratch(二级)
- 中国电子学会青少年编程能力等级测试图形化四级编程题:计算生肖
- 【Matlab与线性代数】Matlab中对数组元素引用方法总结
- Matlab与机器学习 -- BP网络神经元上的转移函数
- 【Python】百度翻译的爬虫实现(后篇)
- 程序员因开发速度太慢而遭公司起诉,索赔金额高达90万!
- 这篇论文,透露谷歌团队构想的“未来搜索”
- 数据库设计的10个最佳实践
- 优酷智能档在大型直播场景下的技术实践
- 蚂蚁金服提新概率图模型GLN,正确率提升8.2%,具备可解释性 | NeurIPS 2019