AI虚拟人算法整理汇总

一、虚拟人脸
- 1. StyleGan
- 2. StyleGan2
- 3. StyleGan2-ada
- 4. StyleGan3
二、人脸同步
- 1. First Order Model
- 2. Avatarify
- 3. PC-AVS: Talking Face Generation
三、AI换脸
- 1. FaceSwap
- 2. DeepFaceLab
- 3. DeepFaceLive
四、嘴型生成
- 1. LipGan
- 2. Wav2Lip
- 3. MakeItTalk：

从2019年开始接触虚拟主播到现在，各个方向的项目多多少少都做过一遍。近期打算整理虚拟人相关算法资料，会不定时更新，敬请关注。虚拟人算法相关分类与应用主要有这几种：虚拟人脸（人脸生成）、人脸同步以及 AI换脸。

Ayayi、阿喜、柳夜熙这种偏向建模类型的虚拟人会另外开贴介绍，敬请期待。

一、虚拟人脸

代表算法有 Nvidia Lab 研究发布的 StyleGan 系列开源代码。
StyleGan 是由英伟达实验室发布的虚拟人脸生成算法，可以无中生有，生成非常逼真的虚拟人(数字人)。AI通过学习大量的高清人脸图片之后，就能生成几十亿现实世界中不存在的人脸。

1. StyleGan

A Style-Based Generator Architecture for Generative Adversarial Networks (CVPR 2019)
Github: https://github.com/NVlabs/stylegan

These people are not real – they were produced by our generator that allows control over different aspects of the image.

2. StyleGan2

Analyzing and Improving the Image Quality of StyleGAN (CVPR 2020)
Github: https://github.com/NVlabs/stylegan2

3. StyleGan2-ada

Training Generative Adversarial Networks with Limited Data (CVPR 2020)

Github: https://github.com/NVlabs/stylegan2-ada-pytorch

4. StyleGan3

Alias-Free Generative Adversarial Networks (CVPR 2021)
Github: https://github.com/NVlabs/stylegan3

stylegan 出现的时候已经让人惊掉下巴了，第三代更加细腻逼真。具体改进可以看github主页。

二、人脸同步

1. First Order Model

First Order Motion Model for Image Animation (NeurIPS 2019)
Github: https://github.com/AliaksandrSiarohin/first-order-model

2. Avatarify

Photorealistic avatars for video-conferencing.
Github: https://github.com/alievk/avatarify

3. PC-AVS: Talking Face Generation

Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation (CVPR 2021)
Github: https://github.com/Hangz-nju-cuhk/Talking-Face_PC-AVS

三、AI换脸

1. FaceSwap

FaceSwap is a tool that utilizes deep learning to recognize and swap faces in pictures and videos.
Github: https://github.com/deepfakes/faceswap

Jennifer Lawrence/Steve Buscemi FaceSwap using the Villain model

2. DeepFaceLab

DeepFaceLab: Integrated, flexible and extensible face-swapping framework (CVPR 2021)
Github: https://github.com/iperov/DeepFaceLab

3. DeepFaceLive

Github: https://github.com/iperov/DeepFaceLive

四、嘴型生成

1. LipGan

Towards Automatic Face-to-Face Translation (CVPR 2020)
Github: https://github.com/Rudrabha/LipGAN

2. Wav2Lip

A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild (CVPR 2020)
Github: https://github.com/Rudrabha/Wav2Lip

3. MakeItTalk：

MakeItTalk: Speaker-Aware Talking-Head Animation
Github: https://github.com/yzhou359/MakeItTalk

虚拟人火了，你准备好了吗？相关推荐

如何有趣地「做人」？Cocos 即将推出虚拟角色编辑器
元宇宙热潮之下,被视为"实现元宇宙的必要元素之一"的虚拟人火了.近两年,国内虚拟人项目呈现井喷态势,IDC 预计,到 2026 年中国 AI 数字人市场规模将达到 102.4 亿元 ...
现在很火的答题赢钱游戏，让我来简单教你怎么做自动答题器
一.前言: 现在最火的直播游戏,那就是答题赢钱直播了,如百万英雄.芝士超人.花椒直播.冲顶大会等等,这些游戏的玩法都很简单,答对12题即可瓜分奖金了.玩法虽然简单,但是要能完全答对12题难度还是挺高的 ...
难以置信！小冰数字孪生虚拟人直播70天，没人发现不是真人
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达编辑:桃子好困 [导读]每日经济新闻直播70天,没人发现主播是数字孪生虚拟人?全球首 ...
700 页的机器学习笔记火了！完整版开放下载
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散作者梁劲(Jim Liang),来自SAP(全球第一大商业软件公司). 书籍特点条理清晰 ...
pytest测试框架_聊聊 Python 的单元测试框架（三）：最火的 pytest
本文首发于 HelloGitHub 公众号,并发表于 Prodesire 博客. 一.介绍本篇文章是<聊聊 Python 的单元测试框架>的第三篇,前两篇分别介绍了标准库 unittes ...
别吵吵内卷了，看看人家虚拟人：连续直播70天都没工资
小冰发自凹非寺量子位报道 | 公众号 QbitAI 虚拟人界有多卷? 近几年国内外火山喷发般的虚拟人可以说明这一点. 上个月,扎克伯格挑战光剑变身,右手藏剑,左手亮剑: 这是Meta一直在开展 ...
李开复张亚勤巅峰对话，还有虚拟人自动驾驶论坛，今年MEET智能未来大会，我蚌埠住了...
组委会发自凹非寺量子位报道 | 公众号 QbitAI 又到了一年一度凡尔赛时刻! 没错,量子位MEET智能未来大会再度来袭. 先划个重点!本次大会改为11月30日线上举办,所以预约个直播先~ ...
python的工资为什么这么低-现在为什么 Python 这么火？
在人工智能.大数据兴起的互联网时代,如果一种语言功能强大,语法简单易上手,应用范围广,各个年龄层次都能学,那么它"火"起来也是必然结果. Python语言有哪些突出的特点? 1. ...
python web为什么不火-Python这么火，为何有人说Python不好找工作？
原标题:Python这么火,为何有人说Python不好找工作? Python编程近两年来可谓是C位出道,吸引了无数编程圈里圈外人的围观,有的人想要借机突破自己的职业瓶颈,有人想要借机突破自己的薪酬瓶颈 ...

虚拟人火了，你准备好了吗？