Super Resolve Dynamic Scene from Continuous Spike Streams

连续尖峰流的超分辨率动态场景

Abstract：
Recently, a novel retina-inspired camera, namely spike camera, has shown great potential for recording high-speed dynamic scenes. Unlike conventional digital cameras that compact the visual information within an exposure interval into a single snapshot, the spike camera continuously outputs binary spike streams to record the dynamic scenes, yielding a very high temporal resolution. Most of the existing reconstruction methods for spike camera focus on reconstructing images with the same resolution as spike camera. However , as a trade-off of high temporal resolution, the spatial resolution of spike camera is limited, resulting in inferior details of the reconstruction. To address this issue, we develop a spike camera super-resolution framework, aiming to super resolve high-resolution intensity images from the low-resolution binary spike streams. Due to the relative motion between the camera and the objects to capture, the spikes fired by the same sensor pixel no longer describes the same points in the external scene. In this paper, we exploit the relative motion and derive the relationship between light intensity and each spike, so as to recover the external scene with both high temporal and high spatial resolution. Experimental results demonstrate that the proposed method can reconstruct pleasant high-resolution images from lowresolution spike streams.

摘要：
近年来，一种新颖的、以视网膜为灵感的摄像机，即spike摄像机，在记录高速动态场景方面显示出巨大的潜力。与将曝光间隔内的视觉信息压缩为单个快照的传统数码相机不同，spike相机连续输出二进制spike流以记录动态场景，产生非常高的时间分辨率。现有的spike相机重建方法大多侧重于重建与spike相机分辨率相同的图像。然而，作为高时间分辨率的折衷，spike相机的空间分辨率有限，导致重建的细节较差。为了解决这个问题，我们开发了一个spike相机超分辨率框架，旨在从低分辨率二值spike流中超分辨率高分辨率强度图像。由于相机和要捕捉的对象之间的相对运动，同一传感器像素发射的尖峰不再描述外部场景中的相同点。在本文中，我们利用相对运动，推导了光强度和每个尖峰之间的关系，以便以高时间和高空间分辨率恢复外部场景。实验结果表明，该方法可以从低分辨率尖峰流中重建出令人愉悦的高分辨率图像。

一、INTRODUCTION（介绍）

为了解决这个问题，开发了一种新型神经形态摄像机，即spike摄像机，用于记录动态场景。与通过快照捕捉视觉场景的传统相机不同，spike相机放弃了曝光窗口的概念。取而代之的是，它持续监测入射光，并发射连续的尖峰流，以非常高的时间分辨率记录动态场景。此外，与发送事件以记录相对光强度变化的仿生事件摄影机不同，spike摄影机发射尖峰以记录极少量光子的到达，这为恢复绝对强度提供了更明确的信息。

在本文中，我们开发了一种新的图像重建框架，用于从连续尖峰流中超分辨率高质量的强度图像。由于相机和要捕捉的对象之间的相对运动，同一传感器像素发射的尖峰不再描述外部场景中的相同点，每个尖峰可以映射到场景中的不同位置。通过利用相对运动，我们可以以比尖峰流直接提供的分辨率高得多的分辨率恢复场景。为此，我们仔细分析了spike摄像头的工作机理。基于尖峰相机成像原理，我们建立了图像强度与每个尖峰之间的关系，从而从尖峰流中获得超分辨强度。本文的主要贡献总结如下：
1、我们提出了一种用于spike相机的超分辨率框架。据我们所知，我们是第一个将低分辨率（LR）尖峰流超分辨率为高分辨率（HR）强度图像的公司。
2、我们不是简单地将图像超分辨率算法应用于尖峰相机的LR重建，而是推导了光强度与每个尖峰之间的关系，以便从尖峰流估计像素级的超分辨率强度。
3、实验结果表明，该方法可以从LR二值尖峰流中重建令人愉悦的HR强度图像，并恢复现有方法无法重建的细节。

二、RELATED WORK（相关工作）

三、Preliminary

Spike摄像头由一系列像素组成，每个像素独立记录光强度。每个像素由三个主要组件组成：光感受器、积分器和比较器。光感受器捕捉来自外部场景的入射光，并将光强度转换为积分器可以识别的电压。积分器连续累积来自感光器的电荷，而比较器持续检查累积的信号。一旦达到调度阈值θ，触发尖峰，重置积分器，重新开始一个新的“集成并触发”循环。

四、Approach

由于相机和对象之间的相对运动，由相同传感器像素发射的尖峰不再描述外部场景中对象上的相同点。相反，它会记录不同位置的光照强度。也就是说，每个尖峰可以映射到场景中的不同位置。通过适当利用相机传感器和场景之间的相对运动，可以以远高于相机像素直接提供的分辨率恢复场景。为此，我们开发了一种运动引导尖峰相机超分辨率（MGSR）框架，以便从LR尖峰流超分辨率HR强度图像。

emmm
我觉得这篇论文的意思就是使用spike摄像头以及后面的一些操作来完成图像的超分辨率重建，好像必须得有spike摄像头从输入的时候就调节了一些东西，来达到自己想要的目的……