(本文参考Maeda, T. et al. (2019) ‘Recent advances in imaging around corners’, arXiv preprint arXiv:1910.05613.总结而来。主要改动是添加了相关文献。更加详细的信息参考原文)

本文主要总结非视距成像研究主要使用的硬件设备，包括下面五类, 分类方法参考文献[1]

1. 条纹相机 + 脉冲激光器

2. 单光子雪崩二极管 + 脉冲激光器

3. 幅度连续调制ToF相机+调制光源

4. 传统相机(CCD/CMOS)

5. 干涉仪

1. 条纹相机 + 脉冲激光器

条纹相机是同时具备超高时间分辨与高空间分辨的唯一高端科学测量与诊断仪器——它把时间到来的先后顺序转换成空间进行判断，根据空间位置窥探瞬态过程。

因此，其优点包括：

高时间分辨率(ps~fs级，甚至能够达到100 fs)[1]
高空间分辨率: 可达0.03 mm

但缺点也很多：

价格昂贵(50万RMB+)
光子探测效率低；
高噪声水平；
需要扫描或其他的光学器件

高价格成本和高时间成本导致使用条纹相机的NLOS研究不是很多，主要集中在2015年之前，经典的包括：

Kirmani, A. et al. (2011) ‘Looking around the corner using ultrafast transient imaging’, International journal of computer vision, 95(1), pp. 13–28.

Velten, A. et al. (2012) ‘Recovering three-dimensional shape around a corner using ultrafast time-of-flight imaging’, Nature communications, 3, p. 745.

2. 单光子雪崩二极管 + 脉冲激光器

SPAD是一种具有单光子探测能力的光电探测雪崩二极管。[3]

优点：

有成为2D阵列的潜力，从而省去扫描时间，大大提高数据获取速度；
光子探测效率高

特点：

时间分辨率较高:20-100ps;
空间分辨率较高:6-30mm;
价格较高(19万RMB左右)

包括SPAD sensor和时间相关单光子计数器两个部分，目前制造商主要是PicoQuant.

可见，SPAD + Pulsed Laser的方法发展前景好，各方面都较好，因此使用SPAD进行3D NLOS imaging的研究非常多，经典的包括：

Buttafava, M. et al. (2015) ‘Non-line-of-sight imaging using a time-gated single photon avalanche diode’, Optics express, 23(16), pp. 20997–21011.

Tsai, C.-Y. et al. (2017) ‘The geometry of first-returning photons for non-line-of-sight imaging’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7216–7224.

O’Toole, M. et al.(2018) ‘Confocal non-line-of-sight imaging based on the light-cone transform’, Nature, 555(7696), p. 338.

Ahn, B. et al. (2019) ‘Convolutional approximations to the general non-line-of-sight imaging operator’, in The IEEE international conference on computer vision (ICCV).

Lindell, D. B., Wetzstein, G. and O’Toole, M. (2019) ‘Wave-based non-line-of-sight imaging using fast f-k migration’, ACM Trans. Graph. (SIGGRAPH), 38(4), p. 116.

Tsai, C.-Y. et al.(2019) ‘Beyond Volumetric Albedo–A Surface Optimization Framework for Non-Line-Of-Sight Imaging’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1545–1555.

Musarra, G. et al. (2019) ‘Non-line-of-sight 3D imaging with a single-pixel camera’, Phys. Rev. Applied, 12(1), p. 6.

Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.

Iseringhausen et al.(2020) ‘Non-line-of-sight reconstruction using efficient transient rendering’, ACM Trans. Graph., 39(1).

等

3. 幅度连续调制ToF相机+调制光源

优点：

成本更低：3万RMB左右

缺点：

需要曝光时间长，因此对环境光敏感；

特点：

空间分辨率: 1 mm左右

这种相机已经在Microsoft Kinect 和 Photonic Mixer Device (PMD)等上进行了商用。

使用这种设备的研究也不多，但也有几篇比较有影响力，如：

Heide, F. et al. (2014) ‘Diffuse Mirrors: 3D Reconstruction from Diffuse Indirect Illumination Using Inexpensive Time-of-Flight Sensors’, in 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

Kadambi, A. et al. (2016) ‘Occluded imaging with time-of-flight sensors’, ACM Transactions on Graphics (ToG), 35(2), pp. 1–12.

4. 传统相机(CCD/CMOS)

传统相机就是指使用CCD和CMOS阵列的成像设备。

CCD 是指电荷耦合器件，是一种用电荷量表示信号大小，用耦合方式传输信号的探测元件，具有自扫描、感受波谱范围宽、畸变小、体积小、重量轻、系统噪声低、功耗小、寿命长、可靠性高等一系列优点，并可做成集成度非常高的组合件。电荷耦合器件(CCD)是20世纪70年代初发展起来的一种新型半导体器件。CCD广泛应用在数码摄影、天文学，尤其是光学遥测技术、光学与频谱望远镜和高速摄影技术，如Lucky imaging。CCD在摄像机、数码相机和扫描仪中应用广泛，只不过摄像机中使用的是点阵CCD，即包括x、y两个方向用于摄取平面图像，而扫描仪中使用的是线性CCD，它只有x一个方向，y方向扫描由扫描仪的机械装置来完成[4]。

CMOS制造工艺也被应用于制作数码影像器材的感光元件（常见的有CCD和CMOS），尤其C是片幅规格较大的单反数码相机。再透过芯片上的模数转换器（ADC）将获得的影像讯号转变为数字信号输出。

CCD与CMOS图像传感器光电转换的原理相同，他们最主要的差别在于信号的读出过程不同；由于CCD仅有一个（或少数几个）输出节点统一读出，其信号输出的一致性非常好；而CMOS芯片中，每个像素都有各自的信号放大器，各自进行电荷-电压的转换，其信号输出的一致性较差。但是CCD为了读出整幅图像信号，要求输出放大器的信号带宽较宽，而在CMOS 芯片中，每个像元中的放大器的带宽要求较低，大大降低了芯片的功耗，这就是CMOS芯片功耗比CCD要低的主要原因。尽管降低了功耗，但是数以百万的放大器的不一致性却带来了更高的固定噪声，这又是CMOS相对CCD的固有劣势。[5]

传统相机能够测出辐照度，因此能够进行强度和光斑的测量。传统相机一般是不含有ToF信息的，但通过和diffuser结合能够提供被动的ToF信息[6]。

传统相机无疑是所有设备中最便宜的一种。它常常用于passive NLOS imaging，相关论文主要包括：

Tancik, M., Satat, G. and Raskar, R. (2018) ‘Flash photography for data-driven hidden scene recovery’, CoRR, abs/1810.11710.

Aittala, M. et al. (2019) ‘Computational Mirrors: Blind Inverse Light Transport by Deep Matrix Factorization’, in Advances in Neural Information Processing Systems, pp. 14311–14321.

Boger-Lombard, J. and Katz, O. (2019) ‘Passive optical time-of-flight for non line-of-sight localization’, Nature Communications, 10(1), p. 3343.

Saunders, C., et al. (2019) ‘Computational periscopy with an ordinary digital camera’, Nature, 565(7740), pp. 472–475

5. 干涉仪

多个光波之间的干涉能够提供深度信息。

分辨率：um量级；

例如2019CVPR best paper里就通过具有时间和空间上不相干的LED的光学相干断层扫描系统重建出μm量级的硬币[7]。

缺点：

仪器敏感、精密，需要控制误差；
商业上很难买到。

相关的论文并不多，主要包括：

Willomitzer, F. et al. (2018) ‘Non-line-of-sight imaging using superheterodyne interferometry’, in Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP). Optical Society of America (Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP)), p. CM2E.1. doi: 10.1364/COSI.2018.CM2E.1.

Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.(在Femtosecond-scaleexperiments中使用)

[1]. Maeda, T. et al. (2019) ‘Recent advances in imaging around corners’, arXiv preprint arXiv:1910.05613.

[2]. 条纹照相机_百度百科 (no date). Available at: https://baike.baidu.com/item/%E6%9D%A1%E7%BA%B9%E7%85%A7%E7%9B%B8%E6%9C%BA/17649081 (Accessed: 4 July 2020).

[3].SPAD（单光子雪崩二极管）_百度百科 (no date). Available at: https://baike.baidu.com/item/SPAD/22722258#viewPageContent (Accessed: 4 July 2020).

[4]CCD（电荷耦合元件）_百度百科 (no date). Available at: https://baike.baidu.com/item/CCD/362160 (Accessed: 5 July 2020).

[5]CMOS_百度百科 (no date). Available at: https://baike.baidu.com/item/CMOS#2 (Accessed: 5 July 2020).

[6]Boger-Lombard, J. and Katz, O. (2019) ‘Passive optical time-of-flight for non line-of-sight localization’, Nature Communications, 10(1), p. 3343.

[7]Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.

非视距成像：硬件设备总结相关推荐

论文阅读激光脉冲主动非视距成像+深度学习 || Learned Feature Embeddings for Non-Line-of-Sight Imaging and Recognition
论文原文: Wenzheng Chen, FangyinWei, Kiriakos N. Kutulakos, Szymon Rusinkiewicz, and Felix Heide. 2020. ...
论文阅读新的非视距场景(imaging behind occluders)|| ECCV 2020: Imaging Behind Occluders Using Two-Bounce Light
论文阅读 Henley, C., Maeda, T., Swedish, T., & Raskar, R. (2020, August). Imaging Behind Occluders U ...
[架构之路-38]：目标系统 - 系统软件 - Linux OS硬件设备驱动必须熟悉的六大工作机制之（并发与互斥、阻塞与非阻塞、异步通知）
目录前言: 第4章内核程序并发与互斥机制 4.1 内核程序优先级机制 4.2 内核线程状态:并发与竞争 4.3 内核锁的类型 4.4 乱序问题第5章阻塞与非阻塞机制 5.1 什么是阻塞问题 5 ...
非视线成像 - 把墙角变为相机
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达我已经为你介绍了基于飞秒摄影.基于WIFI.以及基于角膜成像的非视线成像技术.这些技术都有一个淳朴的初 ...
【VR】虚拟现实相关硬件设备
虚拟现实(即VR)技术往往要结合各种外在硬件设备(简称外设)来实现. 其相关的硬件设备种类繁多,百度百科上已给出了较完整的陈述. (网址:http://baike.baidu.com/link?url ...
gpg加密命令 linux_用 PGP 保护代码完整性（五）：将子密钥移到一个硬件设备中 | Linux 中国...
在这个系列教程中,将为你提供使用 PGP 和保护你的私钥的最佳体验.-- Konstantin Ryabitsev致谢译自 | linux.com 作者 | Konstantin Ryabitsev译 ...
非视线成像：角膜成像系统
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨HawkWang 来源丨计算摄影学今天我将介绍一种很震撼的技术:角膜成像系统. 让我们先看看美 ...
python无法初始化设备_【无法初始化这个硬件设备驱动程序】无法初始化这个硬件的设备驱动_无法初始化d3d...
2017-08-25 16:30:37 在安装驱动的过程中也会出现很多问题,有的win7用户在安装驱动失败后,在设备管理器中有个硬件前有感叹号,打开属性一看,显示"Windows无法初始化这 ...
linux设备usb节点和硬件接口,所谓设备驱动即驱使硬件设备行动，带你深入理解linux的设备驱动......
原标题:所谓设备驱动即驱使硬件设备行动,带你深入理解linux的设备驱动... 设备驱动最通俗的解释就是"驱使硬件设备行动".操作系统是通过各种驱动程序来驾驭硬件设备的,它为用户屏 ...

非视距成像：硬件设备总结

1. 条纹相机 + 脉冲激光器

2. 单光子雪崩二极管 + 脉冲激光器

3. 幅度连续调制ToF相机+调制光源

4. 传统相机(CCD/CMOS)

5. 干涉仪

非视距成像：硬件设备总结相关推荐

最新文章

热门文章