论文阅读 | Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera
前言：这是一篇事件相机面向去糊方向的文章。发表在了CVPR2019 oral，之后也改进出了一篇PAMI。内容主要是对事件相机的成像原理和图片的模糊原理进行建模，整理出公式并给出了优化函数，通过不断调整阈值C似的图像变得锐利清晰。
论文：【here】
代码：code
Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera
目的
根据事件相机拍到的一张模糊图片（或是低帧率视频）和一系列事件点，还原出高帧率的锐利且清晰的视频。
不同于一些传统方法的去糊工作，即一张模糊图片还原出一张清晰图片。
主要思想
先构建一个潜在帧的概念。
潜在帧即假设可以用事件相机记录下来的高帧率帧，然而事件相机记录的是事件点，理论上我们可以通过事件点还原出每个潜在帧。
假设强度帧intensity frame不是模糊的，我们可以构建f时刻的锐利帧和事件点之间的关系，即我们可以直接用事件积分来表示不同时刻图像之间的残差。
即对应T时刻的图像I_t
It=If+E(t)=If+∫tfe(s)ds.I_t=I_f+ E(t)=I_f+ \int_t^f\ e(s)ds\,. It=If+E(t)=If+∫tf e(s)ds.
然而这只是一个理想的情况，因为它只对于边缘锋利的清晰帧可行。
对于模糊帧，我们先要找到模糊帧与锐利帧之间的关系，再根据上式某时刻锐利帧和事件之间的关系，我们即可以恢复出每个时刻的锐利帧。
模糊帧和锐利帧之间的关系如下：
在第f时刻的模糊帧，其实是这一段T时刻的锐利帧的积分取平均（这里假设锐利帧和模糊帧的帧率差距很大）
结合模糊帧和锐利帧之间的关系和锐利帧和事件点的关系，可以构造出一个双积分模型：
外面的积分是模糊帧的积分，里面的积分是事件点叠加的积分。就这样，可以利用已有的一张模糊帧和一系列事件点，生成一系列锐利帧。
优化函数
以上的公式中有一个变量未知，即事件相机出发事件的阈值C。我们可以通过不断调整阈值C，来获得一个最满意的去糊结果。因此，本文还构建了一个优化函数，通过不断调整C，使得公式中的优化损失最小。
优化思想是：用事件积分得到的模型会更不容易受到噪声影响。因此得到两幅图，事件积分的图片和生成的锐利帧，对两幅图取sobel算子得到边缘，边缘应该足够接近。这里的接近程度用互相关表示。
其次，我们也希望生成的锐利帧的噪声小，保持边缘，因此需要惩罚空间波动。
于是最终的优化函数就变成了：
这里作者放了一些中间结果图来阐释优化的作用：
总结
这篇文章作者主要从成像原理的角度对事件相机的两类成像进行了建模，并用Matlab进行了实验，这对很多之后的深度学习方法很有启发，之后的一些卷积神经网络架构即建立在本文的原理上。
论文阅读 | Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera相关推荐
- [论文阅读]阿里DIN深度兴趣网络之总体解读
[论文阅读]阿里DIN深度兴趣网络之总体解读 文章目录 [论文阅读]阿里DIN深度兴趣网络之总体解读 0x00 摘要 0x01 论文概要 1.1 概括 1.2 文章信息 1.3 核心观点 1.4 名词 ...
- CVPR2019｜Depth-Aware Video Frame Interpolation【论文阅读笔记】
CVPR2019|Depth-Aware Video Frame Interpolation[论文阅读笔记] 作者 相关链接 1.前言 2.介绍 3.算法 4.实验 作者 Wenbo Bao, Wei ...
- 论文阅读笔记（1）Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation——超越自然运动： 探索视频帧
论文:Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation 会议:2022CVPR February ...
- 深度学习论文阅读目标检测篇（四）中英文对照版：YOLOv1《 You Only Look Once: Unified, Real-Time Object Detection》
深度学习论文阅读目标检测篇(四)中英文对照版:YOLOv1< You Only Look Once: Unified, Real-Time Object Detection> Abstra ...
- 深度学习论文阅读目标检测篇（三）：Faster R-CNN《 Towards Real-Time Object Detection with Region Proposal Networks》
深度学习论文阅读目标检测篇(三):Faster R-CNN< Towards Real-Time Object Detection with Region Proposal Networks&g ...
- 论文阅读笔记--Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods 人体姿态估计综述
趁着寒假有时间,把之前的论文补完,另外做了一点点笔记,也算是对论文的翻译,尝试探索一条适合自己的论文阅读方法. 这篇笔记基本按照原文的格式来,但是有些地方翻译成中文读起来不太顺,因此添加了一些自己的理 ...
- 深度学习论文阅读目标检测篇（七）中英对照版：YOLOv4《Optimal Speed and Accuracy of Object Detection》
深度学习论文阅读目标检测篇(七)中英对照版:YOLOv4<Optimal Speed and Accuracy of Object Detection> Abstract 摘要 1. In ...
- [论文阅读] (12)英文论文引言introduction如何撰写及精句摘抄——以入侵检测系统(IDS)为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
- 【论文阅读】Gait Quality Aware Network: Toward the Interpretability of Silhouette-Based Gait Recognition
Gait Quality Aware Network: Toward the Interpretability of Silhouette-Based Gait Recognition 摘要 Intr ...
最新文章
- python pip whl 安装
- 命令行神器 Click 简明笔记
- [APIO2014] 序列分割（斜率优化dp）
- 执行文件mysql使用source 命令乱码问题
- jquery中prop()和attr()的使用
- Servlet 的三种创建方式
- 学好python需要哪些基础_学Python要避免哪些坑，如何巩固好基础
- torch.Tensor.scatter_(dim, index, src, reduce=None)
- 深度学习基础（七）—— Gibbs 采样
- 如何在github上搭建一个免费的 无限流量的静态网页博客Github pages
- 06-移位寄存器74HC595芯片编程
- iOS PNG和JPG的区别
- BC26opencpu
- springboot毕设项目汽车租赁管理系统qd7xr（java+VUE+Mybatis+Maven+Mysql）
- C语言开发windows桌面程序,演练：创建传统的 Windows 桌面应用程序 (c + +)
- 电子书格式转换 Epubor Ultimate 7 附注册机
- 自学java到可以找工作要多久_自学编程需要多久才能找到工作？
- WinDbg单机调试
- 本地计算机无法启动dhcp服务,重装系统后dhcp服务器无法启动怎么办
- 按步搭建简单IoT微服务(2)