20200528-换脸算法调研

说明：搬迁自我的知乎专栏：图像处理&&计算机视觉

文章链接：https://zhuanlan.zhihu.com/p/30315577

简介：专栏的第一篇文章，本来想着写一篇极坐标全景图相关的文章的，但由于近期比较忙没有太多的时间去整理。但总想着写些什么，想到前段时间天天批图军装照刷爆了朋友圈，作为一名图像处理相关行业的从业人员，除了对其现象的关注之外，更加应该去探索一下人像换脸背后的原理及实现。因此，决定搜集整理一下关于人像换脸算法的相关资料。

1、Face Swapping: Automatically Replacing Faces in Photographs

简介：单张图像的总换脸算法，使用的传统方法。该方法对于大角度侧脸输入，得到的结果图像效果并不理想。

来源：SIGGRAPH-2008

链接：http://www1.cs.columbia.edu/CAVE/projects/face_replace/

代码：No

算法流程图：

换脸算法流程图（来自于论文）

效果图：

换脸算法效果图（来自论文）

我的论文复现（效果图）：

白素贞小岳岳换脸（素材来源于网络）

尔康与姚明换脸（素材来源于网络）

小岳岳与姚明换脸（素材来源于网络）

注：算法复现中关键点检测使用的开源库Dlib中的关键点检测算法。

2、Switching Eds: Face swapping with Python、Dlib and OpenCV

来源：博客

链接（英文）：https://matthewearl.github.io/2015/07/28/switching-eds-with-python/

链接（中文1）：教你用200行Python代码“换脸”_慕课手记

链接（中文2）：变脸

代码：Yes

效果图：

效果图

3、Face2Face: Real-time Face Capture and Reenactment of RGB Videos

简介：主要是做到了实时的人脸表情模拟（也可以不划分为换脸算法）

来源：CVPR-2016

主页：http://www.graphics.stanford.edu/~niessner/thies2016face.html

代码：No

效果图：

实时人脸表情模拟（来自论文）

4、On Face Segmentation，Face Swapping and Face Perception

简介：基于深度学习的换脸算法，不仅可以换脸也可以进行换妆操作。对于面部有遮挡部分的输入图像，其换脸结果也比较理想，但算法的效率不敢恭维。

主页：http://www.openu.ac.il/home/hassner/projects/faceswap/

代码：https://github.com/YuvalNirkin/face_swap

流程图：

效果图：

论文效果图

5、补充材料：关于人脸换脸中的人脸变形算法

在上述几种方法中，1、2中介绍的方法并未对人脸进行局部变形，只是在面部大小及朝向角度方向上面进行了调节（这里不讨论3），在4中使用了3DMM算法对人像进行3D建模，在结合基于深度学习的面部分割算法，对人像进行换脸。

以上就是专栏的第一篇文章，如果您有什么意见或者建议的话，欢迎留言。如果这篇文章有帮助到你的话欢迎点赞哦！

PS：专栏终于开张了！

2017-11-06-更新：

感谢

@张骞晖

提供的ICCV-2017的论文《Fast Face-Swap Using Convolutional Neural Networks》，这里做如下的补充：

论文的下载地址：[1611.09577] Fast Face-swap Using Convolutional Neural Networks

本文也是基于深度学习的换脸算法，目前没有找到论文的代码。

论文的流程图：

论文流程图

论文的实现效果：

论文效果图

对此论文感兴趣的读者，可以自行下载文章阅读。

20200528-换脸算法调研相关推荐

【星球知识卡片】换脸算法和人脸驱动都有哪些核心技术，如何对其长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享换脸算法和人脸驱动相关的资源. 作者&编辑 | 言有三 1 基于3D模型的换脸和人脸驱动基于3D模型的换脸算法是一类非常经典的思路,它 ...
【CV秋季划】深度学习换脸算法视频更新
本次给大家带来的是有三AI-CV秋季划-人脸算法组的视频,内容为人脸编辑之换脸算法,如果你还不知道有三AI-CV秋季划-人脸算法组是什么,可以看下面的视频和图文. 点击边框调出视频工具条 [CV秋季划 ...
【星球知识卡片】深度学习换脸算法都有哪些？如何长期进行学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享人脸换脸算法相关的资源. 作者&编辑 | 言有三 1 基于3D模型的换脸基于3D模型的换脸算法是一类非常经典的思路,它首先对人脸进行三 ...
【每周CV论文推荐】换脸算法都有哪些经典的思路？
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 人脸伪造/换脸算法目前在一定程度上已经达到了 ...
图像抠图Image Matting算法调研
目录 1.Trimap和Strokes 2. 相关数据集 3.论文算法调研 3.1 Deep Image Matting 3.2 Semantic Image Matting 3.3 Backgrou ...
人脸对齐算法调研（Face Alignment）
人脸对齐算法调研(Face Alignment) 转载自 https://zhuanlan.zhihu.com/p/101250334 一.人脸对齐的定义与作用(引用): https://blog.c ...
用deepfake拍电影可以安排了：迪士尼发布首个百万像素高分辨率换脸算法
鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 换脸这件事,从未如此高清. 最流行的开源deepfake模型DeepFakeLab,在今年的更新中,最大分辨率也只达到了320×320. 而 ...
换脸算法之DeepFaceLab
论文:DeepFaceLab: A simple, flexible and extensible face swapping framework Github:https://github.com/ ...
倒排索引的一些算法调研
下面的文章专门针对搜索引擎里的倒排列表 sorted sets研究交集算法,思路类似快排,非常值得一看 www.cs.ucr.edu/~stelo/cpm/cpm04/25_Baeza-yates.p ...
【计算机视觉】opencv姿态解算6 理论算法调研 PNP问题 5种算法
关于PnP(pespective-n-point)的一些方法最小PnP问题 P3P问题中假设没有噪声,使用几何约束,可以解得相机的位姿.不具有唯一解. P4P问题中分为线性方法和基于P3P的方法. ...

20200528-换脸算法调研

20200528-换脸算法调研相关推荐

最新文章

热门文章