bfm人脸模型和3DDFA及其变种
bfm人脸模型
分别为坐标和颜色向量.
可以看出BFM还缺少表情向量, 所以要实现一个完整的3dmm还需要从其他项目中copy表情向量. 比如项目3dmm-fitting-pytorch.
这里使用的是Exp_Pca.bin文件里的表情系数, 这个表情系数是从 Facewarehouse 数据集中提取的,为29维,形状参数为199维.
另外, 针对bfm模型要注意下面几点:
- 标准的bfm模型包含顶点个数为53490个.
- 表情系数(来自Exp_Pca.bin)只针对53215个顶点有参数
- 不含脖子的模型顶点个数为35709个.
3ddfa中直接将1,2取交集,最终生成53215个有表情的人脸. 3dmm-fitting-pytorch项目中则通过BFM/BFM_front_idx.mat来获取人脸顶点, 共35709个.
人头坐标系:
不同论文的NME, 分别在AFLW2000-3D(68点)和AFLW(21点)数据集的结果:
1.Face Alignment Across Large Poses: A 3D Solution [4.94, 5.32]
2.Face Alignment in Full Pose Range:A 3D Total Solution [3.79, 4.55]
3.Towards Fast, Accurate and Stable 3D Dense Face Alignment [3.5, 4.3]
论文1的结构:
人脸三维顶点的构建:
f:缩放系数
Pr:正交投影矩阵
所以网络要学习的参数有:
注意,3ddfa的代码对起做了部分修改,3ddfa代码直接回归了62个参数:
[f, pitch, yaw, roll,t2d]这6个参数被一个4*3=12的矩阵替换了,也就是说网络直接回归出一个相似性变换矩阵,inference阶段将这个矩阵分解成我们需要的pitch, yaw, roll等元素.αid这个系数,bfm本来为199维度,这里只取了前20维,αexp\alpha_{id} 这个系数,bfm本来为199维度,这里只取了前20维, \alpha_{exp} αid这个系数,bfm本来为199维度,这里只取了前20维,αexp
这个系数Facewarehouse中获取,原始系数维度为99,这里只取前40维.所以网络总计回归元素数量为:12+40+10 = 62.
论文2在1的基础上做了一下改进:
1.使用四元数替代论文1中回归欧拉角度,避免了万向节死锁问题
2.将Pose Adaptive Feature(PAF)作为一个输入(与图片concate一起)
3.提出了OWPDC(将参数的优先级考虑到loss中)
4.更详细分析了损失函数和输入feature的关系.
论文3的改进
相对论文2,3做了以下3方面改进:
- 使用了更优的meta-joint优化策略,动态选择最合适的损失函数
- 在线生成短视频训练网络,减小landmark的抖动
- 添加2d landmark辅助分支,提高landmark回归精度.
这篇论文不再将PNCC和PAC这种feature作为网络输入,反璞归真,仅仅使用RGB图作为输入.
代码
3ddfa项目:
作者提到:
VDC 从 WPDC 损失中调整的比 WPDC 损失更好,而原始论文中没有这样的实验。
看起来再wpdc训练好了再用vdc来finetune才能得到最好的结果.
人脸模型:
参考:
A 3D Face Model for Pose and Illumination Invariant FaceRecognition
https://faces.dmi.unibas.ch/bfm/index.php?nav=1-1-0&id=details
https://github.com/Juyong/3DFace
https://github.com/ascust/3DMM-Fitting-Pytorch/
bfm人脸模型和3DDFA及其变种相关推荐
- 独家 | 什么是生成模型和GAN?一文体验计算机视觉的魔力(附链接)
作者:PULKIT SHARMA 翻译:吴金笛 校对:王婷 本文长度约为4700字,建议阅读15分钟 本文介绍了生成模型和生成对抗网络(GAN)的工作原理和训练步骤. 概况 生成模型和GAN是计算机视 ...
- 什么是生成模型和GAN?一文体验计算机视觉的魔力
作者:PULKIT SHARMA 翻译:吴金笛 校对:王婷 本文长度约为4700字,建议阅读15分钟 本文介绍了生成模型和生成对抗网络(GAN)的工作原理和训练步骤. 概况 生成模型和GAN是计算机视 ...
- 【测试】——软件测试的W模型和V模型
V模型和W模型 一. 软件测试的W模型和V模型 二.V模型 2.1 V模型的框架 2.2 V模型的优缺点 三.W模型 3.1 W模型的框架 3.2 W模型的优缺点 三.V和W模型中测试类型的概念 一. ...
- TCP/IP四层模型和OSI七层模型
TCP/IP四层模型和OSI七层模型对应表.我们把OSI七层网络模型和Linux TCP/IP四层概念模型对应,然后将各种网络协议归类. 表1-1 TCP/IP四层模型和OSI七层模型对应表 ...
- 情感分析的描述、基于词袋模型和word2vec模型的情感分析实现
情感分析的描述.基于词袋模型和word2vec模型的情感分析实现 以购物评论为例: # 读入原始数据集 import pandas as pddfpos = pd.read_excel('../dat ...
- 文档信息的向量化-NNLM模型和word2vec
文档信息的向量化-NNLM模型和word2vec
- R语言广义加性模型(GAMs:Generalized Additive Model)建模:数据加载、划分数据、并分别构建线性回归模型和广义线性加性模型GAMs、并比较线性模型和GAMs模型的性能
R语言广义加性模型(GAMs:Generalized Additive Model)建模:数据加载.划分数据.并分别构建线性回归模型和广义线性加性模型GAMs.并比较线性模型和GAMs模型的性能 目录
- 【Netty】Netty线程模型和EventLoop
Netty线程模型和EventLoop 由于线程模型确定了代码执行的方式,它可能带来一些副作用以及不确定因素, 可以说这是并发编程中最大的难点,因此,我们需要了解Netty所采用的线程模型,这样 在遇 ...
- 基于JVM原理、JMM模型和CPU缓存模型深入理解Java并发编程
许多以Java多线程开发为主题的技术书籍,都会把对Java虚拟机和Java内存模型的讲解,作为讲授Java并发编程开发的主要内容,有的还深入到计算机系统的内存.CPU.缓存等予以说明.实际上,在实际的 ...
- CMS:文章管理之模型和Store
文章管理涉及T_Category .T_Content .T_Tag 和T_TagInContent 这4个表,在客户端,由于标签的两个表的显示会合并到文章内容里,因而文章管理至少需要2个模型和2个S ...
最新文章
- python install scikit-image后,报错ImportError: DLL load failed: 找不到指定的模块
- 网络工程:2.1.ARP协议与PC间通信
- Windows PE变形练手3-把通用模板机器码直接覆盖目标PE
- 《深入理解Elasticsearch(原书第2版)》一2.2 查询改写
- ssm使用全注解实现增删改查案例——DeptServiceImpl
- 【转】SharePoint开发中可能用到的各种Context(上下文)
- bilibili go框架_最好的开发语言一定是那位吗?Go语言有话说
- python2与python3在windows下共存
- 学习完windows网络编程第一章后做的UDPTest程序
- 在eclipse-oxygen-sts中,关于快捷键[CTRL + SHIFT + O]失效的问题
- 51单片机点亮数码管,单片机学习的好的办法,单片机例子大全,单片机教程
- sqlmap常见命令
- java实现中文数字与阿拉伯数字互相转换
- iOS-Property follows Cocoa naming convention for returning ‘owned‘ objects
- Bixby的AI语音,能否推进人机交互进程?
- 自动出现的弹出窗口Js插件
- Quartz 定时任务相关介绍表
- Spring Security Oauth2 如何自定义授权获取token
- 山东大学软件学院项目实训第一周
- 2021年中式烹调师(高级)考试及中式烹调师(高级)考试试卷