深度学习AI美颜系列---天天P图疯狂变脸算法
自从天天P图出了疯狂变脸的特效之后,到现在为止已经近两年时间了,这两年时间,天天P图多次凭借换脸特效登上APP Store排行榜首,从小学生证件照到圣诞节梦幻妆再到后来的各种影视游戏特效,以及后来的军装照等等等等,5月4日青年节,天天P图的“前世青年照”又是传遍了朋友圈,火遍了排行榜。
在这里本人将这个换脸放到这个模块来讲,是因为这个技术,用深度学习来搞,个人认为潜力更大。下面简单将换脸分为深度学习方法和传统方法来讲。
[深度学习方法]
2016年的一篇论文使用卷积神经网络快速换面,通过卷积神经网络实现了换脸效果,如下图所示:
具体算法思路是:
如图1所示,人脸对齐(根据特征点将目标图像与模板图像中的人脸对齐);
2,通过CNN进行换脸,网络结构如下:
3,定义内容损失/风格损失/光照损失/平滑损失代价函数,加入训练过程,来解决肤色光照不均,不平滑,内容不协调的问题;
损失函数如下:
该方法已经达到了一定的效果:
如图1所示,人脸融合自然;
2,侧脸效果要优于传统方法的效果;
但是仍然具有以下弊端:
如图1所示,每个模版照片需要单独训练网络,造成模型数据庞大,训练耗时,模型更改麻烦等诸多问题;
2,每个模型需要一个模板对应的多张不同姿态与光照条件的图像;
单单这一点就很不利于产品化,在大多数情况下,我们是无法提供多张不同姿态与光照下的模板图像的;
3,速度慢,本人的换脸算法是可以达到实时处理的;
关于这个基于卷积神经网络换脸算法的详情,可参考:点击打开链接
个人认为:基于深度学习的方法在多角度侧脸的情况下,具有很强的优势,在肤色融合方面与传统算法持平,在速度方面,未来将不是问题!
[传统方法]
本人主要研究基于传统图像算法的换脸,本人猜测天天P图基本上也是基于传统算法做的;
我们以天天P图效果举例来讲:
白百合的照片与右边的模板图相比,在脸型和五官位置上都发生了变化,也就是变的好看了很多,总结变化如下:
1,肤色变成了模板图的肤色;
2,脸型变成了模板图的脸型;
3,五官大小形状等发生了一定的变化;
据此推测,天天P图做了如下操作:
1,将白百合的肤色做了转换,换成了模板图的肤色;
2,将白百合的脸型包括五官做了变形,变成了接近模板图的形状;
注意,这里是接近模板图的形状,而并非是跟模板图完全一样的形状,网上很多做换脸的都是直接将人脸对齐到了模板中的形状,这是不行的,脸型差异过大时,会造成畸变,效果很差;
本人算法步骤:
如图1所示,根据人脸特征点(本人使用的是101个人脸特征点),将模板和白百合的人脸同时变形到第三目标形状,变形算法使用MLS变形即可;
这一步骤可以分为如下两步:
①直接将白百合人脸点位对齐到模板点位;
②将对齐后的白百合人脸五官与脸型进行美化或称美型;
这一步可以参考论文“Data-Driven Face Cartoon Stylization”,当然这一步也可以使用深度学习来做,个人认为效果要比这篇论文效果更好,随后本人会另写博客专门介绍基于CNN的人脸美型;
MLS变形代码链接:点击打开链接
当然本人也有更好的变形:点击打开链接
本人美型算法效果图如下:
2,基于LAB颜色空间对白百合和模板人脸肤色进行换色+融合;
3,添加风格滤镜+美颜美妆;
对于美妆可以直接使用妆容迁移来做,效果很好,妆容迁移算链接:①点击打开链接,②点击打开链接
本人妆容迁移效果如下:
上面就是本人传统换脸算法的过程,本人尽量用最简单的算法去表现最好的效果,给出一个完整的算法过程效果图:
对于效果,大家可以使用白百合的测试图到本人的DEMO和天天P图中测试;
下面本人以5.4青年节最火的前世青年效果为例,给出本人算法与天天P图效果对比图,这里仅以一组图为例:
这里测试图在本人所给的DEMO中,大家可以自行测试;
最后,指出天天P图肤色融合的一些问题,对于某些照片,肤色融合之后会出现颜色偏绿问题,可能是某个颜色空间中颜色溢出导致,举例如下(左图为本人算法,右图为天天效果):
最后,本人给出本人疯狂变脸效果的DEMO,以免大家耳听为虚,DEMO运行平台为WINDOWS 8以上,DEMO中给有TestPicture为测试图,FS为天天P图的模板,仅供测试,切勿商业用途,以免侵权,下载链接:点击打开链接
在给一个换脸资源集合:点击打开链接
本人QQ1358009172,DEMO中无人脸识别,因此仅限本人所给测试图有效共勉!
---------------------
作者:Trent1985
来源:CSDN
原文:HTTPS://blog.csdn.net/trent1985/article/details/80295532
版权声明:本文为博主原创文章,转载请附上博文链接!
深度学习AI美颜系列---天天P图疯狂变脸算法相关推荐
- 如何用深度学习 AI 美颜实现天天 P 图疯狂变脸算法? | 技术头条
作者 | Trent 责编 | 郭 芮 自从天天P图出了疯狂变脸的特效之后,到现在为止已经两年时间了.这两年时间,天天P图多次凭借换脸特效登上APP Store排行榜首,从小学生证件照到前世青年照. ...
- 深度学习AI美颜系列----基于抠图的人像特效算法
美颜算法的重点在于美颜,也就是增加颜值,颜值的广定义,可以延伸到整个人体范围,也就是说,你的颜值不单单和你的脸有关系,还跟你穿什么衣服,什么鞋子相关,基于这个定义(这个定义是本人自己的说法,没有权威性 ...
- 深度学习AI美颜系列——人像静态/动态贴纸特效算法实现 | CSDN博文精选
作者 | Trent1985 来源 | CSDN博客 人像静态/动态贴纸特效几乎已经是所有图像视频处理类/直播类app的必需品了,这个功能看起来复杂,实际上很简单,本文将给大家做个详细的讲解. 我们先 ...
- 深度学习AI美颜系列----人像静态/动态贴纸特效算法实现
人像静态/动态贴纸特效几乎已经是所有图像视频处理类/直播类app的必需品了,这个功能看起来复杂,实际上很简单,本文将给大家做个详细的讲解. 我们先来看一下FaceU的两张效果图: 这两张效果图中, 我 ...
- 深度学习AI美颜系列---人像分割头发细节处理算法研究
人像分割技术目前已经逐渐成熟,在抖音.快手.美图等等APP中已经都有应用,而且是Camera实时处理,然而,追究细节,各家效果却大同小异,都存在一个问题:无法处理好边缘细节的分割,尤其是头发丝的处理, ...
- 深度学习AI美颜系列
为什么要开始写AI美颜这个系列的内容? 人像美颜美妆滤镜现在来看,几乎成为了人们生活拍照,摄影的刚需,目前市面上绝大多数的算法依旧停留在传统的图像算法阶段,仅有少数的AI算法也尚属于探索研究阶段,比如 ...
- 深度学习AI美颜系列---AI美颜磨皮算法一
深度学习AI美颜系列---AI美颜磨皮算法一 转自:https://blog.csdn.net/trent1985/article/details/80661230 首先说明一点,为什么本结内容是&q ...
- 深度学习AI美颜系列---人脸数据增强
深度学习AI美颜系列---人脸数据增强 在深度学习的训练中,我们经常会对较少的数据进行数据增强,一般而言,常用的数据增强包括如下几种: 1,旋转: 2,缩放: 3,镜像: 4,平移: 5,调色: 6, ...
- 深度学习AI美颜系列---肤色相似度计算(CIELAB色差计算)
深度学习AI美颜系列---肤色相似度计算(CIELAB色差计算) 在AI美颜中,经常会用到肤色相似度计算,如何实现这个算法? 步骤如下: 1,人脸皮肤分割: 2,对人脸皮肤分割结果进行LAB颜色空间转 ...
最新文章
- java jtable逐行遍历_Java获取JTable值(每行)
- hdu4400 BFS+STL
- C语言:结构体中一级指针和二级指针的创建与释放示例
- 1159: 零起点学算法66——反话连篇
- HACMP环境修改IP的方法
- Java FileWriter示例
- Redis Cluster 的安装和配置(1)
- 侯捷《深入浅出MFC》中“Hello, MFC”如何改写到VS2012中
- 三菱plc pwm指令_三菱PLC常用指令汇总,含用法与注释
- 课后作业三:软件分析与用户体验分析
- 管家婆辉煌Ⅱ TOP 突破系统每年只能做11次12次月结存限制
- 约会Rendezvous
- 无人机倾斜摄影—三维建模和DSM,DEM,DOM(正射影像)的生成「CC(Smart3D)),Pix4d,Photoscan,Inpho」
- 共射级放大电路—密勒电容影响下的压摆率
- 计算机操作实训总结,计算机操作系统安全实训心得总结.doc
- CVPR ECCV ICCV 计算机视觉顶会论文下载
- 小米品牌广告引擎与算法实践
- 编程方式操作WorkFlow
- 读《反脆弱性》:凹凸性资料搜集
- 最新微服务框架SpringCloud Alibaba介绍,搭建