1.线性蒙皮

1.1 线性蒙皮定义

线性蒙皮：是由一系列骨骼驱动的。每个顶点会根据顶点权重图和相应的骨骼关联。根据骨骼在当前位置相对于静止位置的变换矩阵以及此顶点相对于该骨骼的权重，我们可以计算出该顶点在该骨骼影响下的位置。

假设Wij是第j个骨骼对于第i个顶点的权重，Pi是第i个顶点在静止位置的坐标，|B|是骨骼的数量， Rjt和Tjt分别是第j个骨骼在第t个位置下的旋转矩阵和位移矩阵。综上Vit, 在第t个姿势下第i个顶点的位置可以表述为：

对应公式的理解

1.1.1 权重如何获得？

1.1.1.1 有界双调和权重（Bounded Biharmonic Weights，BBW）

最小化问题可以转化为求解对应的Euler-Lagrange方程，即双调和方程Δ2wj = 0，而其同时满足设定的限制条件

（1）Euler-Lagrange方程

【参考文章】欧拉拉格朗日方程的理解
【参考文章】理解2

（2）公式

【扩展了解】线性蒙皮分解：将网格点分解为骨骼点及其线性变化。

1.1.1.2 网络

当然也可以通过网络获得

1.2 骨骼点

关节点的(x,y,z)坐标是在什么坐标系下的：相机坐标系？

1.2.1 获得骨骼点的方式

【参考文档】骨骼点数据

基于身体佩戴传感器的手段

优点：姿态估计结果准确，不存在因为身体遮挡导致的估计失败问题，鲁棒性高。

缺点：价格昂贵，不方便日常使用。

基于深度摄像头和彩色摄像头的手段

优点：方便使用，价格较为低廉，准确率较高。

缺点：对遮挡部分同样无能为力，只能通过时序上的上下文信息对某帧的遮挡部分进行推测，经常造成遮挡部分估计失败。

基于RGB视频的姿态估计

优点：价格最为低廉，一般摄像头就可以部署，可以大规模使用。

缺点：缺少了深度信息，导致对光照等信息比较敏感，同样无法克服遮挡部分的影响，准确率不如基于深度和彩色摄像头联合使用的效果。

1.2.2 经典网络

（1）直接预测
openpose
（2）通过静态顶点获得静态关节点
smpl

1.3 蒙皮的Q&A

参照smpl

（1）为什么需要骨骼点直接回归到网格顶点不行吗？

直接存储骨骼点的话需要大量参数（骨骼点x,y,z坐标*旋转），用骨骼点在一定程度能减少？

第一条公式表示每部分关节点对顶点的影响（在这条公式中，顶点是定值，关节点是多元的）

W k，i ：代表关节点k对顶点v的影响程度
G’k（…）:移除静态模板下的世界坐标系的变化后的关节点变化
ti：代表顶点

（2）骨骼点一般如何获得？

在smpl中通过一个回归器回归出来

2.RBF差值(Radial Basis Function）与PSD（Pose Space Deformation）

psd部分

2.1 Q&A

Q1: the shortcomings of basic blend skinning?

PSD是为了解决 basic blend skinning（其实应该可以理解成线性混合蒙皮）的皮肤延展性欠缺

皮肤延展性欠缺出现的原因：

Q2:psd？

PSD是在骨架驱动动画中对网格进行变形的一种计算机动画技术。这种技术的常用方法是根据关节(在本例中是肘部)弯曲的角度来改变网格(例如手臂)的形状。

进一步：：wpsd

3.得到伪3d标注框的两种方式

（1）one-stage：是使用2d/3d关节点坐标进行弱监督
（2）two-stage：在预处理阶段先使用一阶段标注器获得初始的3D伪标注框，然后使用初始的3D伪标注框进行全监督并通过2d/3d关节点坐标进行弱监督

4.smpl

smpl好文

smplify-x解决标注问题

5.openpose

学一学openpose！！！
bottom-up https://zhuanlan.zhihu.com/p/387500023
【已看】openopse
openpose

6.smpl、smplh、smplx三个模型在选取上有什么区别？

区别

Learning Skeletal Articulations with Neural Blend Shapes（使用神经混合形状学习骨骼关节）SIGGRAPH 2021顶刊解析

7.其他乱七八糟的论文

新方式：从时序中恢复

新方法：对抗性学习框架+时序

手工标注关键点

某个json文件：

            "image_id": 57703,"bbox": [471.62,46.58,146.29,328.61],"category_id": 1,"id": 185438,"face_box": [0.0,0.0,0.0,0.0],"lefthand_box": [0.0,0.0,0.0,0.0],"righthand_box": [513.28,168.39,23.08000000000004,27.350000000000023],"lefthand_kpts": [....],"righthand_kpts": [520.0,170.0,0.052383359521627426,525.5,171.5,....],"face_kpts": [.....],"face_valid": false,"lefthand_valid": false,"righthand_valid": true,"foot_valid": true,"foot_kpts": [.....]},{"segmentation": [[176.2,437.5,.....]],"num_keypoints": 14,"area": 5396.2283,"iscrowd": 0,"keypoints": [......],

不清楚的点
（1）通过什么其他方式可以达成标注?
(2)smplify可以做吗？如何呈现效果？
（3）还有什么有效的方法？

dyna模型

？

11.14-11.21相关推荐

11.14/11.15 Apache和PHP结合 11.16/11.17 Apache默认虚拟主机
2019独角兽企业重金招聘Python工程师标准>>> 11.14-11.15 Apache和PHP结合 Apache(httpd)的配置文件:/usr/local/apache2. ...
陀螺研究院 | 产业区块链发展周报（11.14—11.20）
摘要产业动态: 由建行发起的价值30亿美元数字债券将推迟上市 15国正式签署RCEP,全球规模最大自贸协定达成浙江省首个产业区块链赋能中心落地宁波江北越南教育和培训部计划在2021年实施区块链技 ...
第26次Scrum会议(11/14)【欢迎来怼】
一.小组信息队名:欢迎来怼小组成员队长:田继平成员:李圆圆,葛美义,王伟东,姜珊,邵朔,阚博文小组照片二.开会信息时间:2017/11/14 11:35~11:57,总计22min. 地 ...
Test on 11/14/2016
@kaike 第一题太简单我不想说什么来说第二题. 1．小x的旅行 (travel.pas/c/cpp) [问题描述] 小x大学毕业后,进入了某个公司做了高层管理,他每年的任务就是检查这个公司在 ...
C++11\14\17\20 特性介绍
C++11 新特性 #01 auto 与 decltype auto: 对于变量,指定要从其初始化器⾃动推导出其类型.⽰例: auto a = 10; // 自动推导 a 为 int auto b = ...
C++11/14/17 新特性总结
C++11/14/17 新特性总结 initializer_list std::vector<int> vctInts({92, 12, 39, 46, 92, 84, -1, 0, -2 ...
VS2010-2015对C++11/14/17特性的支持
VS2010-2015对C++11/14/17特性的支持 C++11 功能列表 Visual C++ 实现了 C++11 核心语言规范中的绝大多数功能.许多 C++14 库功能和某些为 C++17 ...
【晒出你的第83行代码】阿里研究员福贝，用一个小演示程序来解释一下 C++11/14 里的 closure 是可以多么的“爽”...
为什么80%的码农都做不了架构师?>>> 摘要: 在五四青年节之际,社区发起了来晒晒属于你的"第83行"的活动,活动中邀请业界的大牛.大神们来晒代码或者Re ...
利用逆矩阵解线性方程组_机器人学导论---第四章操作臂逆运动学（一）4.1-4.11...
第四章操作臂逆运动学[(一)4.1-4.11] (一)概述 1.为求出要求的关节角以放置相对于工作台坐标系{S}的工具坐标系{T},可将这个问题分为两部分(1)进行坐标变换求出相对于基坐标{B}的腕 ...
2018.11.14成立我的博客
2018.11.14成立我的博客转载于:https://www.cnblogs.com/zengxx/p/9957509.html

11.14-11.21