亮风台提出基于图形匹配的可变形表面跟踪新算法

ICCV 2019接收论文结果已经公布，来自全世界各地院校、研究机构、企业等，共有1077篇计算机视觉相关领域新成果入选。AR公司亮风台基于图形匹配的可变形表面跟踪算法被选为大会论文。新算法提出了一种基于图的方法，能够充分探索可变形表面的结构信息，以提高跟踪性能。

ICCV 由 IEEE 主办，每两年召开一次，与计算机视觉模式识别会议（CVPR）和欧洲计算机视觉会议（ECCV）并称计算机视觉方向的三大顶级会议。据了解，今年一共收到4328篇投稿，与上一届 2143 篇相比，数量超出一倍，“竞争”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 将在韩国首尔举行。

新成果主要论述可变形表面的单目图像跟踪的问题，具体而言，亮风台团队提出了一种新颖的基于图的方法，能够充分探索可变形表面的结构信息，以提高跟踪性能和效率。所提出的方法通过图结构之间的成对投影误差解决了特征对应和形状恢复问题，并采用软匹配松弛来提高计算效率。与现存先进算法进行广泛比较，实验结果表明，新方法可以对不同类型纹理的曲面实现稳健的跟踪结果，并且在跟踪精度和计算效率方面一般优于其他算法。

新提出的基于图的可变形表面目标的跟踪算法，主要贡献在三个方面：

1. 通过软匹配松弛和精心设计的候选匹配滤波策略，将图模型和图匹配引入到可变形表面跟踪中;

2. 设计统一的优化框架，探索局部外观，空间关系和变形模型的全部信息，以获得准确的形状重建;

3. 构造了一个带有注释的新的真实世界数据集，用于在不同类型的纹理的情景中评估可变形表面跟踪算法。

以下为论文的详解：

1. 综述

本文解决了跟踪具有已知初始3D形状（即模板）的通用可变形表面目标以及在单眼透视投影下在视频序列中恢复其3D形状的问题。模板可以被提前手动提供，或者使用从运动中恢复形状的方法从视频序列的数帧中计算模板。

与通常分别处理特征对应关系，去除异常值和形状重建的传统方法不同，我们将这些过程集成到一个统一的基于图的框架中，并提出迭代地解决求解对应关系和求解变形的优化问题。考虑到计算效率，我们将传统图匹配问题中的强匹配约束放宽到松匹配约束。这种松匹配约束使我们能够保持更多匹配细节，从而产生更精确的形状，并且通过在软匹配约束下开发的新颖匹配算法也极大地提高了计算效率。伴随着精心设计的候选匹配过滤策略，我们的基于图形的方法能够在几秒内处理数千个点，这比传统的基于图形的算法快得多。

为了进行全面评估，我们将我们的方法与几个最近提出的方法在两个数据集上进行比较：一个是提供的跟踪存在遮挡的表面（TSO）基准，包括存在目标被遮挡现象的两个视频序列，另一个是新收集的数据集，包括使用不同表面在显著形变的条件下记录的11个视频序列，其中这些目标具有丰富，不明显或重复的纹理。实验结果表明，我们的方法可以为所有视频序列提供最佳或近乎最佳的跟踪结果。在计算效率方面，我们的方法在两个数据集上的表现也通常优于参与比较的算法。

2. 本文的方法

4. 实验

4.1. 新收集的数据集

最近，几个数据集被提供来用于评估可变形表面目标的跟踪。但是，它们中的大多数缺少带注释的真实结果(groundtruth)网格顶点。而且，这些数据集是使用非常有限的表面类型的目标收集的，不足以评估可变形表面目标跟踪算法的有效性。

为了全面评估所提出的算法与基准算法的比较，我们创建了一个新的数据集用于可变形表面跟踪，称为可变形表面跟踪(DeSurT)。使用Kinect相机收集此数据集，以评估各种变形和不同光照条件下的跟踪性能。它包含11个视频流和3,361个帧，显示几种不同类型表面的各种变形，包括七种不同内容的打印图像(分别是校园，砖，布，鹅卵石，景色，石头和日落)，两个报纸和两个靠垫。

如图所示，这些表面大致分为三类：(1)纹理良好的表面，包括校园，鹅卵石，景色，报纸1，报纸2和坐垫1;(2)重复纹理表面，包括砖，布和垫子2;(3)弱纹理表面，包括石头和日落。

为了评估重建精度，我们使用Kinect点云来构建真实网格，并计算从重建网格到真实网格中顶点到顶点的平均距离。因此，除了每个帧的深度信息之外，所有视频都在每帧中有手动标注的真实网格顶点(打印图片和报纸中使用130个顶点标注，坐垫用121个顶点标注)。

为了测试所提出的算法对遮挡的鲁棒性，我们还报告了算法在公共数据集(跟踪具有遮挡的表面(TSO)上的跟踪结果，这个数据集包括两个分别有着纹理良好和纹理不良的可变形表面目标的视频流，总共394个帧，并且数据集中存在人为和现实的遮挡。

4.2 结果比较与分析

在本节中，我们报告了所提算法与几种最先进的基线算法的比较结果，包括DIR，LM和LLS：

LM采用SIFT匹配进行特征对应，然后进行迭代异常值拒绝步骤，然后通过求解线性系统重建形状，该线性系统是使用扩展的拉普拉斯形式从退化的线性系统转换而来。

LLS仅关注形状重建步骤，并将关键点对应关系作为输入。在我们的实验中，我们(在异常值拒绝之后)使用从LM派生的关键点对应作为LLS的输入。

DIR是一种基于像素的方法，采用密集模板对齐进行形状重建。它在很大程度上取决于形状的初始估计，我们将其初始化为上一帧的解。

对于我们的算法，我们固定α=0.7，并分别公布了N=1000和N=2000两组实验结果。

表1. 平均跟踪误差(mm)

表2. 平均计算时间(s)

如表1所示，我们的算法对于具有丰富，弱或重复纹理的不同类型的表面是鲁棒的，并且即使在从每个表面提取相对较少的关键点(N=1000)以构建对应关系时也显着地优于所有基线算法。对于遮挡表面(TSO数据集)，DIR在精心设计的遮挡检测策略的帮助下实现了最佳跟踪结果。有趣的是，在没有任何指定的遮挡表面过程的情况下，我们的算法在TSO数据集上达到了与DIR相当的结果，并且一般优于LM和LLS。当我们将N上升到2000时，我们的算法的跟踪精度在两个数据集上都得到了显着的改善。

考虑到计算时间(表2)，DIR在两个数据集上都是最耗时的。我们的算法在N=1000时在两个数据集上击败其他算法。当我们将关键点的数量增加到2000时，我们的算法在TSO数据集上仍然是最有效的，但在我们提出的DeSurT数据集上比LM慢。

图3至图6表明了由被比较算法提供的各种类型表面跟踪的几个代表性样本。对于结构良好的表面(图3)，所有算法都能够提供合理的跟踪结果，但我们的算法可以更好地处理细节。如图4和图5所示，所有比较的基线算法都受到弱纹理和重复纹理化表面的影响，但我们的算法能够在帧间提供准确的跟踪结果。此外，我们的算法以及DIR对于遮挡是稳健的(图6)，而LM和LLS在存在一定程度的遮挡时可能无法跟踪到对象。

此外，亮风台也在通过“开放”、“开源”，和所有AR人一起推进技术的进步，曾发布了一系列AR相关的开源算法：包括图匹配算法（PAMI 2018a），2D AR跟踪算法（PAMI 2018b），投影补偿算法（CVPR 2019），单目标跟踪算法（ICCV 2017、CVPR2019）等等。

并参与创建发布了三个重要的视觉跟踪评测集，TC-128，POT-210，LaSOT。其中TC-128是国际上第一个彩色跟踪评测集，POT-128是目前国际上最大的AR跟踪数据评测集，LaSOT是目前国际上最大的单目标跟踪评测集。这三个数据集的发布对于AR以及相关领域的研究起到了重要的推进作用，已经被广泛使用。

论文详情：

原文链接：https://www3.cs.stonybrook.edu/~hling/publication/deformable%20surface-19.pdf
数据集：https://www3.cs.stonybrook.edu/~hling/data/DeSurT.rar （~2G）

亮风台提出基于图形匹配的可变形表面跟踪新算法 | ICCV 2019相关推荐

ICCV 2019 | 可变形曲面跟踪，亮风台新出基于图匹配的方法
点击我爱计算机视觉标星,更快获取CVML新技术今天跟大家分享一篇ICCV 2019 跟踪的论文:Deformable Surface Tracking by Graph Matching,国内AR( ...
提高图形匹配精度，亮风台提出「完全可训练」的图匹配方法｜CVPR 2020 Oral
来源|亮风台投稿 6月14日-19日,CVPR 2020在线上举行,据了解,本届大会共收到6656篇投稿,接收论文1470篇,录用率约22%,低于CVPR 2019论文录用率(25%),为十年以来最低 ...
亮风台提出用完全可训练的图匹配方法，优于最新SOTA | CVPR 2020
出品 | AI科技大本营(ID:rgznai100) 6月14日-19日,CVPR 2020在线上举行,据了解,本届大会共收到6656篇投稿,接收论文1470篇,录用率约22%,低于ICCV 2019 ...
CVPR 2020 oral：亮风台提出完全可训练的图匹配方法
本文为亮风台公司投稿. 6月14日-19日,CVPR 2020在线上举行,据了解,本届大会共收到6656篇投稿,接收论文1470篇,录用率约22%,低于ICCV 2019论文录用率(25%),为十年以 ...
CVPR 2019 Oral 亮风台提出端到端投影光学补偿算法，代码已开源
点击我爱计算机视觉置顶,更快获取CVML新技术导读:图像增强是一个历久弥新的研究方向,大多数计算机视觉学习者最开始接触的图像平滑.去噪.锐化是增强,现在研究比较多的去雾.去雨雪.暗光图像恢复也是增强 ...
CVPR 2019 | 亮风台发布全球最大单目标跟踪数据集LaSOT
点击我爱计算机视觉标星,更快获取CVML新技术 CVPR 2019 正在美国加州举行,发布交流来自全球的工业界与学术界最新研究成果. 会上,亮风台公开大规模单目标跟踪高质量数据集LaSOT,包含超过3 ...
352万帧标注图片，1400个视频，亮风台推最大单目标跟踪数据集
CVPR 2019期间,专注于AR技术,整合软硬件的人工智能公司亮风台公开大规模单目标跟踪高质量数据集LaSOT,包含超过352万帧手工标注的图片和1400个视频,这也是目前为止最大的拥有密集标注的单 ...
亮风台新提端到端AR投影光学补偿算法 | CVPR 2019 Oral
[编者按]作为计算机视觉领域里的顶级会议,CVPR 2019 录取论文代表了计算机视觉领域在2019年最新的科技水平以及未来发展潮流.今年有超过 5165 篇大会论文投稿,最终录取 1299 篇.这些 ...
2019工业VR/AR应用场景白皮书发布，信通院、海尔、亮风台等联合撰写
近日,虚拟现实产业推荐会发布了<工业虚拟(增强)现实应用场景白皮书(2019)>,内容涵盖VR/AR+工业的发展背景.产业分析和应用场景等多个方面. 白皮书由中国信息通信研究院.青岛海尔工 ...

亮风台提出基于图形匹配的可变形表面跟踪新算法 | ICCV 2019

亮风台提出基于图形匹配的可变形表面跟踪新算法 | ICCV 2019相关推荐

最新文章

热门文章