最近上网闲逛，发现一个非常有趣的Unreal项目，可以利用iphone的前置摄像头（一般要求iphoneX及更新的版本）捕捉人脸数据并传输到Unreal中，以实现人脸动画的实时迁移与模拟。整个过程以数据流的方式实现，稳定性极好，速度极快，且表情捕捉的精度非常高，基本上可以替换过去复杂的多目人脸数据采集系统。在Unreal的官方频道，介绍了该项目在一个三维动画项目中的应用。设计师通过该系统能够捕捉包括人脸表情，手部动作以及人体姿态与运动等多种数据，并驱动一个三维拟真数字角色实现各种复杂的动作。该项目大大提高了三维动画制作的效率。我在这里给出视频链接：

[聚焦]《Xanadu》展示表演驱动的角色动画(官方字幕)_哔哩哔哩_bilibili

接下来我们来看一下如何跑起来unreal提供的demo程序。部分内容摘取自视频教程：

使用iphone结合LiveLinkFace进行面部捕捉_哔哩哔哩_bilibili

1. 环境配置

1.1 PC端

首先需要安装Unreal引擎，我在windows和mac os上都安装过，都能够实现配置。下载地址：

https://www.unrealengine.com/zh-CN/download

我使用的是4.27版本，相对更稳定一下。首先是下载一个Epic Games Launcher，然后在Epic Games Launcher的右上角下载引擎。

当下载完成后，第一次载入会需要一些时间进行初始化：

完成初始化后，就能够看到界面:

接下来我们需要在Epic Games Launcher界面下找到学习选项，查找并下载项目面部AR示例：

下载完成后，可以在库中找到该项目：

点击facialAR，这样我们完成了加载，进入到引擎中的项目视图：

1.2 手机端

下载软件Live Link Face，进入软件，并且配置网络连接（设置->Live Link->目标:输入你PC及其的IPV4地址，windows输入ipconfig查找，mac在系统偏好设置，网络中查看。注意协议的版本，由于我使用的是4.27版本的Unreal，这里选择4.25及以后版本）

注意，如果你使用的windows系统来做PC段的配置，那么请关闭防火墙，否则数据会传输不到Unreal中。应该可以通过建立白名单实现传输，但是我查看了防火墙设置并把Unreal列为白名单应用，但是没有软用，还是找不到。只有关闭防火墙数据流才能被接受。Mac OS没有这个问题。

到此，完成了全部的环境配置。

2. 程序运行

运行我们刚刚下载的面部AR程序，选择窗口，live link，如果你的网络配置正确，就能够看到在Apple AR面部追踪下面，有你的iphone选项。选择该选项，并完成链接。

然后，选择内容浏览器里边的KiteBoyHead...AnimBP这个项目，进入到动画蓝图界面

在这里，选择菜单栏的Animgraph，你会看到一个有显示流动画的界面

在Live Link Subject Name里边，选择你已经连接好的iphone，这样就完成了所有的配置，回到主界面，点击运行，整个项目就能够跑起来了。

3. 总结

这个项目整体来说还是很有学习和研究价值的。虚幻已经出了基于该项目与MetaHuman的联动开发视频，帮助创作者建立更加真实的，且高度可编辑的Avatar系统。通过iphone手机实现实时的表情迁移与动作控制，使得该项目的实用性大大提高。这套系统具有很大的潜力，能够大幅度的降低人体数据捕获的成本，并简化了传统的三维动画制作流程。这对于小规模的开发团队以及视频内容创作者来说，是非常值得深入研究并跟进的。我也会在将来进一步的研究该项目的相关技术细节。

基于虚幻引擎与AppleAR的人脸动画实时迁移项目相关推荐

虚幻引擎学习之路：动画模块之基础篇
原文链接:https://blog.uwa4d.com/archives/Study_Unreal4_Animation_1.html 在之前的微信文章推送中,我们陆续为大家详细介绍了Unreal 4 ...
【虚幻引擎UE】UE5 2D动画的导入和使用方法
一.2D动画的导入方法 1.将图集拖拽到UE5内容浏览器的一个文件夹中 2.创建sprite类 3.新建纸片图像序列视图 4.选中图片序列拖入新建好的纸片图像序列视图中 5.得到制作好的2d动画素材 ...
虚幻引擎5.1现已发布！
我们很高兴地宣布,虚幻引擎5.1现已推出.在这个版本中,我们以虚幻引擎5推出的开创性功能集为基础,将引擎的健壮性和效率提升到了新高度,使它能够被各行各业的创作者广泛使用. 作为这项工作的一部分,我们一 ...
虚幻引擎3（Unreal Engine 3）概要
虚幻引擎3(Unreal Engine 3)概要虚幻引擎3概要虚幻引擎3是一个面向下一代游戏机和DirectX 9个人电脑的完整的游戏开发平台,提供了游戏开发者需要的大量的核心技术.数据生成工具和 ...
虚幻引擎3 —— 内容制作工具以及技术支持
游戏脚本和电影制作作为我们的视觉脚本系统,UnrealKismet: 可使美工和关卡设计师实现几乎对关卡游戏方式无限控制,而无需触及任何代码. 将程序员创建的简单事件和操作连接起来,即可快速构建从简 ...
2018虚幻引擎技术开放日完整议程曝光
一年一度的行业盛会"2018 Unreal Open Day虚幻引擎技术开放日"将在下周三于上海正式开幕,持续两天为虚幻开发者带来满满技术干货. 本次大会将分为A.B.C三个会场同 ...
虚幻引擎5.1版本新增功能
虚幻引擎5.1版本新增功能虚幻引擎5.1现已发布! 2022年11月15日其他应用功能广播与实况活动建筑影视模拟汽车与运输游戏虚幻引擎5.1 虚拟制片我们很高兴地宣布,虚幻引擎5 ...
4 关卡编辑器_虚幻引擎4与生存游戏产生化学反应，超真实开放世界手游诞生
从<绝地求生>到<街霸5>.从<最终幻想7重制版>到<黑神话:悟空>,这些人气产品有着一个共同的特点:都使用虚幻引擎开发.11月27日举行的虚幻引擎技术 ...
虚幻引擎4:打造街机经典游戏学习教程 Unreal Engine 4: Create an Arcade Classic
比如"堡垒之夜?"掌握用于构建它的工具,因为我们使用虚幻引擎4重新创建了一个街机经典描述在这个游戏设计课程中,我将一步一步地指导你使用虚幻引擎4重新创建一个街机经典:首要免费下 ...

基于虚幻引擎与AppleAR的人脸动画实时迁移项目