点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

小白导读

论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。

摘要

这项工作解决了从单一的RGB图像手部网格恢复。与大多数现有的方法相比，先前使用的参数化手模型，我们表明，可以直接从输入图像学习手网格。我们提出了一种新型的神经网络，即Im2Mesh神经网络，通过端对端对抗训练来学习网格。通过将网格解释为一个图，我们的模型能够捕获网格顶点之间的拓扑关系。我们还在GAN体系结构中引入了一个3D表面描述符，以进一步捕获相关的3D特征。我们试验了两种方法，其中一种可以获得图像的地面真相数据可用性和相应的网格相结合的好处，而另一种则解决了在没有相应地面真相的情况下进行网格估计的更具有挑战性的问题。通过广泛的评估，我们证明所提出的方法优于最先进的。

论文创新点

重要的是，通过将网格解释为图，我们可以利用图神经网络(GNNs)的最新进展来支持生成器和鉴别器网络中的网格处理。gnn已经展示了处理非欧几里得结构化数据(如图和流形)的能力。与文献中现有的基于图的网格估计方法只考虑CNN生成的特征不同，我们引入了一种3D描述符，将表层信息编码到GNNs中，允许它们更好地利用图结构手数据中网格顶点之间的拓扑关系。这提高了网格恢复的精度，因为恢复算法不仅考虑了顶点的三维坐标，而且考虑了与顶点相关的三维特征。

本文的主要贡献如下:

• 我们提出了一种名为Im2Mesh的新的GAN架构，可以直接从单一RGB输入图像对手网进行端到端学习，而不需要任何热图处理、3D关键点注释或外部参数化手模型。

• 我们将GAN的生成器建模为图形架构，允许它建模网格顶点之间的拓扑关系，同时引入3D描述符将表面级别信息编码到gnn中，进一步捕获与网格顶点相关的3D特征。

• 该方法不仅解决了图像与地真网格之间存在一对一映射的耦合数据集的网格重建问题，而且解决了不包含相应地真标注的数据集的网格重建问题。

• 我们不使用深度图像;因此，我们增加了在没有相应深度图像的数据集上使用我们的模型的潜力。

网络框架

本文所提出的条件氮化镓架构的概述。位置值和镜头描述符值由生成网络生成并传递给鉴别器网络，鉴别器网络对它们是生成的还是地面真值进行分类。

本文所提出的循环氮化镓架构概述。G M为从输入图像I中估计图像的生成器，其中G I为从输入网格M中估计图像的生成器。

在我们的工作中使用的图形增强过程。需要注意的是，这幅图描述了将一个有N个节点，特征维数为d的图上采样到一个有R个节点的图的过程。描述的网络包含两个级联的图上采样，然后是坐标重构器，它计算上采样图的位置向量。k和q是生成的特征在级联1级和2级时的特征维数。由于我们工作的目标是在保持特征数量的同时对图进行上采样，所以我们设k = q = d。

实验结果

通过改变与表面光洁度有关的参数，得到了定性结果

结论

虽然利用单一图像对人手进行三维网格重建已经被研究过，但由于人手具有很高的自由度，这一问题仍然是一个挑战。在本文中，我们提出了一种利用单一图像来创建手部三维网格的方法，该方法可以有效地利用现有的数据库来更好地利用单一图像来重建三维网格。我们设计了一个损失函数来生成更真实的手网，并在两种生成对抗网络中证明了损失函数的有效性。第一种设置的目标是有效地使用耦合数据集，其中groundtruth网格是可用的，而第二种设置的目标是非耦合数据集。此外，我们在此工作中使用了三维表面描述符和图卷积网络，使生成的网格的表面细节得以保留。我们确认，我们的框架优于最先进的技术，以及在单一基于图像的3D网格重建中整合明确的3D特征的第一次努力。提出的网格恢复方法的一个有趣的性质是，不需要参数化的手模型作为先验。手的几何形状是学习和编码直接在发生器通过端到端的对抗训练过程。这一事实使所提出的算法很容易适应其他网格问题，如其他身体部位或3D对象。

论文链接：https://arxiv.org/pdf/2101.11239.pdf

每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。

- END -

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~