FaceWarehouse: a 3D Facial Expression Database for Visual Computing

III FaceWarehouse

different views 因为kinect fusion需要

A. Data Capture
which is then ray traced to generate a smooth depth map for a chosen frame.
感觉像是从voxel的tsdf算出来的深度
B. 公式(1)
里面feature points是3D的匹配, 轮廓是2D的匹配
公式(2)
从depth map开始反向找最近的点
公式(4)
让长轴有更大的值
公式(6)是laplacian relaxation
Individual-specific expression blendshapes

先前19个表情分解为更细的46的FACS blendshape

C. blinear face model

将获得的数据通过参数的形式表达出来widw_{id}wid, wexpw_{exp}wexp

应用A: 给一张图片做用户层面上的变化, (这里用户层面上的变化比如嘴巴变大, 鼻子变高等, 注意这些改变是在人物id层面上的改变)

怎么做?
公式(12)算出MfeaM_{fea}Mfea矩阵, 该矩阵可以将用户层面的改变, 转换成id参数widw_{id}wid的改变, 当然这个改变只是一个增量Δwid=MfeaΔf\Delta w_{id} = M_{fea} \Delta fΔwid=MfeaΔf

公式(13)是矩阵的投影, 不用管

公式(14), 算id和exp的参数 widw_{id}wid和wexpw_{exp}wexp, 算出之后, 然后将增量加上去, 最后通过公式(10)可以生成新的3D模型, 然后将原image做texture, 渲染出新的image就是改变后的图片

应用B: 给定同一个人的两张不同的表情的图片 target 和 reference, 使target中的人物拥有reference图片中的表情

怎么做?
公式(15)算出id和两张图片表情的参数 widw_{id}wid, wexp−1w_{exp-1}wexp−1, wexp−2w_{exp-2}wexp−2

然后通过公式(16)建立两个模型 V1,V2V_1, V_2V1,V2, 然后通过这两个模型算出2d expression flow, 使target匹配同样的表情, 然后调整reference的size和position, 然后blend the reference into the target.

应用C: 将kinect 捕捉到的表情 transfer到静态的图片上(另外一个人)

通过公式(17)先算出图片中人物的 neutral 以及47个blendshapes

然后将捕捉的表情分解成为blendshapes的参数, 然后将这些参数运用到图片中的人物表情中

应用D: 给定一个video, 和一张静态图片, 将video的表情transfer到静态图片上

先用IV-A的方法(公式(14))算出图片的中widw_{id}wid, (wexpw_{exp}wexp也可以得到)
对于视频来说, 用IV-B(公式(15))算出视频中人物的widw_{id}wid

有了widw_{id}wid过后, 就可以通过IV-C(公式(17))算出47个blendshapes(无论图片中的人物和视频中的人物 ),

然后, 将每帧视频中人物的blendshapes权值运用到图片中的人物即可.

FaceWarehouse: a 3D Facial Expression Database for Visual Computing相关推荐

表情识别综述论文《Deep Facial Expression Recognition: A Survey》中文翻译
本篇博客为论文<Deep Facial Expression Recognition: A Survey>的中文翻译,如有翻译错误请见谅,同时希望您能为我提出改正建议,谢谢! 论文链接:h ...
【论文阅读】面部表情识别综述（2018年）（Deep Facial Expression Recognition: A Survey）
论文地址:https://ieeexplore.ieee.org/abstract/document/9039580 百度网盘地址:https://pan.baidu.com/s/1A8NKT_wz4 ...
Pyramid With Super Resolution for In-The-Wild Facial Expression Recognition
论文翻译摘要一.介绍 Ⅱ.金字塔超分辨率(PSR)网络 A.STN块 B.缩放块 C.LOW AND HIGH-LEVEL FEATURE EXTRACTOR D. FULLY CONNECTED ...
[论文阅读] ICCV2015 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition
Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition 论文链接:https://ieeexplore. ...
【FER文献阅读】Deep Facial Expression Recognition: A Survey (Shan Li and Weihong Deng)
论文链接:https://arxiv.org/abs/1804.08348 参考文章:https://cloud.tencent.com/developer/news/231750 这篇是北京邮电大学 ...
Deep Facial Expression Recognition: A Survey 笔记
Deep Facial Expression Recognition: A Survey 论文笔记首先是我读这篇论文的目的,我的研究方向是"基于面部表情的情感识别",是偏向于 ...
ICCV2013: 亲属关系预测 Facial Expression Dynamics for Kinship Verification 学习笔记
Dance with Flow: Two-in-One Stream Action Detection 学习时,别忘了总是要问自己一个为什么论文文章: Like Father, Like Son: ...
Cascade EF-GAN: Progressive Facial Expression Editing with Local Focuses 论文解读
题目:Cascade EF-GAN:局部聚焦渐进式面部表情编辑时间:2020.3 作者:Rongliang Wu, Gongjie Zhang, Shijian Lu, and Tao Chen C ...
[论文阅读] Facial Expression Recognition Using Residual Masking Network
Facial Expression Recognition Using Residual Masking Network 论文链接:https://ieeexplore.ieee.org/docume ...

FaceWarehouse: a 3D Facial Expression Database for Visual Computing

FaceWarehouse: a 3D Facial Expression Database for Visual Computing相关推荐

最新文章

热门文章