博雯 发自 凹非寺
量子位 报道 | 公众号 QbitAI

二维图片转3D模型的技术不少，但能用你画的草图实时生成骨骼绑定的3D模型见过吗？

像这样，顺着已有的图片描了几笔，立马就得到了三维模型：

△两倍速

一共描了五次轮廓就得到了一只完整的3D猫模型，还绑定了骨骼：

看，可以像这样活动骨架关节，随时来一段鬼畜猫：

对比现有的很多自动生骨架建模方法，这一方法并不是在整个网格模型构建完成后，采用算法处理并提取骨架。

而是基于草图，实时进行形状建模和骨架创建。

并且，实验也证明这一新方法的学习成本更低，不同经验的专业人员都能快速上手。

这项研究来自浙江大学，相关论文发布在Computers & Graphics上，代码现已开源：

从草图中创建动态骨架

要实时地从草图中创建动态骨架，研究者主要分为三步来实现：

第一步是提取局部骨架。

首先是从原始草图中进行简单的多边形采集，不过手绘图像难免会因为手抖或画技问题出现线条的断裂、不平滑等问题：

（也就是计算机图像问题中常说的噪音）

所以，需要将原始线条均匀地离散小段直线来平滑这些噪音，再用DP（Douglas-Peucker）算法找到一个最接近形状的简化多边形。

对于得到的简化多边形，通过连续向内偏移的轮廓线将多边形划分为单调的区域，提取得到一种直线骨架：

将上面得到的直线骨架中包含的不必要的顶点和边缘删掉，并折叠小于特定阈值的短骨架边缘，将直线骨架进行简化。

全部变化流程如下：

第二步，连接子骨架。

研究团队以交互式的成对方式连接子骨架。

当用户创建一个新的子部件或移动一个现有的子部件时，立即检查当前子部件是否与其他子部件相交。

如果相交，就把当前子部分的骨架与被交的子部分的骨架连接起来：

这符合用户交互式地逐个创建三维模型的真实场景：新的子部件被连接到现有的子部件上，同时，新的子骨架被连接到相应的子骨架上。

第三步、全局骨架细化。

在上一步中，当两个或多个子骨架连接到父骨架的类似位置时，常常会生成多余的短骨。

因此，这一步中首先要进行曲线简化、关节合并、分支修剪和边缘折叠。

其次，为了控制模型不同部位的骨架的复杂性，研究者将3D模型旋转到XY平面，把子形状和分支从三维空间映射到二维空间：

然后通过在二维空间运行BoundedDP算法，将简化后的分支重新映射到其原来的三维位置。

△BoundedDP算法步骤

最终，一个最开始是手绘草图的图像，就变成一个绑定了骨骼的3D模型了：

算法速度更快，安装即玩

研究者首先对比了本文提出的骨骼模型生成算法与已有方法的执行时间，可以看到，其速度优于大多数方法：

研究者还请来了12位经验各异的用户来使用MonsterMash2、RigMesh3，以及本文提出的系统来创建3D模型。

可以看到，使用本文提出的系统创建得到的模型精度最高，但花费时间却较少：

在开源文件中，研究者提供了一个exe的可执行文件，安装即玩。

如果要进行测试，要先安装Qt、 OpenCV、 Boost、 Libigl (Tetgen、 Triangle、 CGAL、 Eigen) ，并根据库的安装路径修改相关文件。

目前的测试环境则是这两种：

话不多说，去找张狗勾图片试试能不能搞个鬼畜狗模型了。

论文：
https://arxiv.org/abs/2110.05805

下载链接：
https://github.com/jingma-git/RealSkel