点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

标题：Privacy Preserving Structure-from-Motion

作者：Marcel Geppert, Viktor Larsson, Pablo Speciale, Johannes L. Schönberger, Marc Pollefeys

来源：ECCV 2020

编译：鞠季宏

审核：Lionheart

摘要

视觉定位和制图解决方案在过去的几年中越来越多地被增强现实和机器人系统采用。云上定位和制图系统的新趋势引起了人们对隐私的极大关注。这些服务要求用户上传视觉数据传输到其服务器。然而即使是衍生图像，也包含着潜在的机密信息。最近的研究通过隐藏查询图像和数据库地图的几何信息，解决了图像定位任务的隐私问题。（编者按：这里的研究指Speciale et. al.的Privacy Preserving Image-Based Localization。）该方法的核心思想是将2D / 3D特征点转换为随机的2D / 3D线，且仍然确保足够的几何约束来进行相机姿态估计。在本文中，我们进一步基于此想法提出了基于随机线特征的 Structure-from-Motion 解决方案。在这项工作中，我们向实现保护隐私的云上制图解决方案迈出了坚实的一步。在具有挑战性的真实数据集上进行的各种实验证明了我们的方法的实用性，获得了与标准Structure-from-Motion系统相媲美的结果。

主要贡献

☐ 基于线特征的端到端隐私保护 Structure-from-Motion （SfM）方案

☐ 针对渐增 SfM 系统的每一个步骤：初始化（initializatoin）、三角剖分（triangulation）、相机几何校准（camera reping）和光束法平差（bundle adjustment）提出了基于线特征的隐私保护方案

☐ 提出的方案高效且鲁棒，可以与传统基于点特征的方法相媲美

方法概述

本文中提到的隐私是指用户上传云端的图像可能包含隐私信息，即便原始图像被删除或严格加密，3D点云和SIFT特征仍然保留有足够的信息恢复原始图像，从而泄露用户隐私。下图的示例中，左图为用户原始图像，右图为使用InvSfM由3D点云和SIFT特征重构的图像，用户的身份信息在右图中清晰可辨。

解决这个问题的方法是将2D的关键点替换为随机穿过该点的一条线。下图中由左至右依次为关键点、关键点和穿过关键点的随机线、移除关键点后剩余的线。本文提出的 Structure-from-Motion 方案使用这些随机的线（下图右）和相应的SIFT特征，而不是传统的关键点（下图左）和SIFT特征，从而达到保护用户隐私的目的。

下面我们依次介绍该方案的四个组成部分：初始化（initialization）、三角剖分（triangulation）、相机几何校准（camera reping）和光束法平差（bundle adjustment）

初始化（initialization）

传统基于点的 SfM 系統只需两个视图即可估计相对位姿，提供相机位姿的初始化，而基于线的 SfM 系统需要至少四个视图进行相对位姿估计。尽管四视图相对位姿估计理论上可行，实际上暂时还没有简易的解法。本文假设视图中的重力方向已知，提出了一种提供近似解的替代方案：

首先，随机选取关键点转换为沿重力方向的线：

然后将其余关键点转变为随机方向的线：

视图的重力方向可以由手机、相机等拍照设备的重力感应模块提供。同时，由于重力方向已知，假设三维空间重力方向不变，我们只需估计相机位姿的平移相（tx, ty, tz) 和沿重力方向的旋转角度 θ （即偏航角）。

这四个变量的估计可以分解为两个步骤：

1. 使用沿重力方向的线估计 tx，tz 和 θ，该问题转变为二维空间里的位姿估计问题。

2. 使用随机方向的线，在保持步骤1所得 tx，tz 和 θ 不变的基础上， 估计剩余的变量 ty， 即相机的高度。

三角剖分（triangulation）

有了位姿初始化，SfM 系统还需要三角剖分的方法，即提供二维到三维的对应关系。视图中的二维线l1、l2、l3投影到三维空间中形成三个平面相交于三维空间中的一个点，构成类比于双视图二维点到三维点的对应关系：

相机几何校准（camera reping）

相比于传统的二维点到三维点的对应关系，二维线到三维点的对应关系需要最少6个点线对应估计相机位姿。直观上讲，每一个二维线（如下图中l1）和三维点（如下图X1）的对应关系提供 1 个约束，所以估计相机位姿的6个参数需要至少6个点线对应。

本文使用Kubelova et. al.的 E3Q3 解算器高效估计相机位姿。

光束法平差（bundle adjustment）

光束法平差可以有效地消除 SfM 系统中三角剖分和相机几何校准时的累积误差。本文在这一步最小化三维点在视图上的映射到其相应的二维线的距离r ：

主要结果

Table 2 展示该方法的再投影误差可以与传统方法相比。Fig. 7 显示制图结果也可以与传统方法相媲美：

以及最重要的隐私保护结果：Fig. 8 显示该方法比传统方法在被 InvSfM 方法重构时可以更好地保护用户图像中的隐私信息。

总结

☐ 本文提出了基于线特征的 Structure-from-Motion （SfM）方案

☐ 相比于传统的点特征，随机方向的线特征可以更好地保护用户隐私，且并不损失定位和制图的精度

Abstract

Over the last years, visual localization and mapping solutions have been adopted by an increasing number of mixed reality and robotics systems. The recent trend towards cloud-based localization and mapping systems has raised significant privacy concerns. These are mainly grounded by the fact that these services require users to upload visual data to their servers, which can reveal potentially confidential information, even if only derived image features are uploaded. Recent research addresses some of these concerns for the task of image-based localization by concealing the geometry of the query images and database maps. The core idea of the approach is to lift 2D/3D feature points to random lines, while still providing sufficient constraints for camera pose estimation. In this paper, we further build upon this idea and propose solutions to the different core algorithms of an incremental Structure-from-Motion pipeline based on random line features. With this work, we make another fundamental step towards enabling privacy preserving cloud-based mapping solutions. Various experiments on challenging real-world datasets demonstrate the practicality of our approach achieving comparable results to standard Structure-from-Motion systems.

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~