nature文章再也不会出现模糊图片An integrated imaging sensor for aberration-corrected 3D photography
说来惭愧，竟然没有去拜读nature science期刊的论文，知道lecun发过深度学习的论文，以前误认为上面大多为基础基础理论的论文。结果看到清华大学的用于像差校正 3D 摄影的集成成像传感器， 才知道技术做好了，也可出顶尖论文。
Dr.Zheng 给我说过，他们老板就常常让他think big，他也说“我们老板就是与众不同”，对能从树木中想到提炼用于汽车成型的材料，确实牛。不过，他老板 不能区分我和他的模样。并让我多关注MIT的。Think Big.
上午还关注了他的活动，如蔻享--共享科学、传播科学
1 论文背景
这篇作者应该是清华 吴嘉敏的，主要贡献在于提出了一种元成像传感器，可以实现更好的清晰度，并在交通、探月、深度学习、工业领域应用进行说明。正文不长，但是补偿材料更长。
原文地址：An integrated imaging sensor for aberration-corrected 3D photography | Nature
微观尺寸！！
机器翻译，不准！Abstract
2 元成像传感器的原理
"提出了一个元成像传感器的框架，将编码微透镜阵列集成在高速压电级中，然后将其结合到传统成像传感器上，感光区域位于后焦平面。微透镜阵列（图1a）。每个微透镜将来自不同角度的光聚焦到不同的传感器像素上进行角度采样（图1b，对应于 15 × 15 角度像素）。每个微透镜的孔径尺寸仅为像面衍射极限的十倍左右，它为非相干光场引入了衍射效应，并通过频率混叠保留了角度分离过程中的高频信息（扩展数据图1a， b）。通过增加微透镜孔径的尺寸，衍射效应将逐渐降低，导致空间分辨率降低（扩展数据图1c）。与之前的扫描光场技术33不同，我们进一步在每个微透镜上涂上具有圆形图案的铬膜，以阻挡通过每个微透镜方形足迹周围角落的光（参见 方法和图1a）。这种圆形孔径减少了无伪影重建的光学传递函数中的零点，这对于没有在荧光成像中应用稀疏先验的通用成像场景是必不可少的（扩展数据图1d-g）。然后我们使用微透镜阵列的高速周期性漂移来增加受微透镜物理尺寸限制的空间采样密度，这可以消除 ISA 的频率混叠（扩展数据图2a-f）。在根据相空间中的微透镜位置组装具有相同角度的像素后（图1b），我们应用基于反卷积的 ISA 算法获得全分辨率焦点堆栈或具有扩展深度的全焦点图像成像镜头的场和衍射极限分辨率（参见 方法和扩展数据图3a-f）。可以基于多视图立体同时检索高密度深度图（参见 方法）。元成像传感器可以直接替代传统的成像传感器，无需额外的硬件修改（图1c）。"
我的理解是在现有成像传感器基础上，做了多角度的成像，比现有的2D，增加额了一个角度方向的纬度。
如下图图1a右侧，多个棱镜，在1b右侧，会出现多个角度的图像，通过DAO算法，实现高清成像。如图1f最右的图。
Fig. 1: Principle of the integrated meta-imaging sensor. | Nature
https://www.nature.com/articles/s41586-022-05306-8/figures/1a，元成像传感器（元传感器）集成了四个主要元素：每个微透镜上带有圆形强度掩模的周期性圆形图案，用于捕获每个局部区域的角度光分布的微透镜阵列，用于振动微透镜的压电台周期性阵列并增加空间采样密度以进行状态分解，以及传统的互补金属氧化物半导体（CMOS）传感器放置在微透镜阵列的后焦平面上，用于高通量光子检测。b, 元成像传感器的成像原理。来自不同角度的光（用不同的颜色标记）在每个微透镜之后聚焦到不同的像素上。高分辨率 4D 空间角度测量是通过基于微透镜位置组合具有相同角度的像素获得的，可用于生成复杂场调制图像，直至具有 ISA 的成像透镜的衍射极限。c，在所有实验中使用的带有元成像传感器的原型相机。d, 光学像差会干扰从同一点发出的光，导致二维图像模糊或不同角度分量的横向偏移。尽管所有角度分量在 2D 传感器中相干混合，但它们在元成像传感器中被分离，并且可以在后处理期间重新对齐以恢复像差校正的高分辨率图像；这种技术称为数字自适应光学 (DAO)。
验证
我们通过使用成本低于 1 美元的单个 3D 打印塑料透镜成像分辨率图表（国际标准化组织标准 ISO 12233）进行了实验比较（图. 2a ). 通过全局像差估计来校正系统像差（参见 方法）。
Fig.2使用单个 3D 打印塑料镜头实现 48 兆像素的高性能成像。
传统的 2D 传感器，即使配备了昂贵的相机镜头，也会受到景深和环境畸变（例如水滴和不规则眼镜）的影响，而元成像传感器在扩大景深的情况下更加稳健
图 3：通过具有扩展景深的强环境像差进行稳健成像。
3 运动校正----可用于刑侦
图 4：动态场景的基于光流的运动校正
a，元成像传感器捕获的数据的中央视图，没有运动校正。属于他人的车牌被遮盖以保护隐私。b ，在a中标记为静态结构的放大区域。c，标记为动态结构的放大区域，说明扫描过程中由运动引起的伪影。d，刚性运动校正后的结果，由于不均匀运动而残留伪影。e，基于每个视图的光流估计的运动校正算法的管道（补充视频 2）。扫描周期的滑动窗口用于在中心时间点以相同的时间采样率将多个低分辨率图像重新对齐为高分辨率图像。估计从其他低分辨率帧到中心低分辨率帧的光流图，以计算中心时间点高分辨率网格中所有低分辨率采样点的准确坐标（用不同颜色的点标记）。然后，可以通过密集采样的分散插值和每个微透镜的精确等效扫描位置获得高分辨率图像。光流图插图中的彩色圆圈表示光流图的归一化视差矢量的比例尺，f，有和没有运动校正的动态结构的 ISA 结果。g，有和没有运动校正的静态结构的 ISA 结果。
望远镜的湍流校正
在中国国家天文台兴隆天文台（NAOC）的清华-NAOC 80-cm望远镜上将我们的元成像传感器与包含相同CMOS芯片的传统二维传感器进行了比较（扩展数据图1）。8a )。我们选择月球作为目标。
3D 成像和工业检测
讨论
在波动光学 DAO 的迭代过程中使用相位生成的 PSF，从而实现更好的图像合成和更准确的像差估计。涉及微透镜阵列的集成扫描过程，在相邻微透镜之间提供虚拟空间重叠，从而将 ISA 的高频信息分解到成像透镜的衍射极限。这种扫描过程解决了空间分辨率和角度分辨率之间的内在权衡，而传统光场中的高空间分辨率，无论是聚焦方案还是非聚焦方案，都以降低角度分辨率和景深为代价。
深度神经网络可用于加速实时应用的重建过程的每一步。如扩展数据图10d-g所示，我们使用预训练的循环反投影网络49在扫描期间对动态对象进行运动校正。尽管我们可以观察到基于学习的结果的分辨率略有降低，但在台式计算机上处理时间可以减少 29 倍。此外，尽管当前的元成像传感器是为灰度图像设计的，但可以通过利用角度冗余进行光谱编码来开发多色元成像传感器，而不会降低空间分辨率。
nature文章再也不会出现模糊图片An integrated imaging sensor for aberration-corrected 3D photography相关推荐
- 在手机上如何修复模糊图片放大变清晰？收藏这3个超好用的AI神器！
经常有小伙伴问我,有没有在手机上就能使用的图片放大变清晰工具呢?手机上可以用的修复图片工具,无非是网站.小程序和app,今天就给宝子们分享3个亲测好用的修复图片变清晰工具,全部都是可以免费使用的,话不 ...
- 不好好做图的NSC系列(八):ggplot2重现Nature文章多组柱状图+散点，这是一场硬仗
最近,看到一篇nature文章,整篇文章的图的风格类似于如下图1,因为第一次见这种图,感觉展示效果不错,所以尝试做一下! 图片 Fluhr, L., Mor, U., Kolodziejczyk, A ...
- Google 超分辨率技术 RAISR：模糊图片瞬间变清晰，运算速度快十倍
Google 超分辨率技术 RAISR:模糊图片瞬间变清晰,运算速度快十倍 Everyday the web is used to share and store millions of pictur ...
- python并行计算numpy_【Nature文章摘录】NumPy: 从单机到分布式并行计算
原标题:[Nature文章摘录]NumPy: 从单机到分布式并行计算 点击上图,查看详情 本公众号的推送以互联网大数据技术为主,是<互联网大数据处理技术与应用><Python爬虫大数 ...
- 照片画质修复，模糊图片修复成高清画质
拍摄的照片,很久之前保存的照片查看的时候发现都很模糊怎么办?除了通过手动的调节和ps,其实我们可以使用一些工具来修复照片的清晰度.那怎么让模糊的照片变清晰呢?模糊图片怎么修复成高清画质呢?其实很简单, ...
- 学习使用php实现生成模糊图片的方法类整理
学习使用php实现生成模糊图片的方法类整理 <?phpclass image_blur {/*** 图片高斯模糊(适用于png/jpg/gif格式)* @param $srcImg 原图片* @ ...
- 截图或者模糊图片高清处理方式
网上查看了很多处理模糊图片或者截图的高清处理方式 笔者总结尝试有如下两种方式 1 采用PS处理 2 waifu2x处理 我们先来看原图 原图我采用的是Windows自带的截图按键Prt ScrSysR ...
- svg模糊图片局部清晰透视图
demo下载地址: http://download.csdn.net/download/one_girl/10163426 html代码: <body><div class=&quo ...
- ai新视觉：一键解决模糊图片高清精准修复
ai新视觉:一键解决模糊图片高清精准修复 美工在处理照片时,通常会遇到图片模糊不清,提高清晰度依靠PS或其他平面工具处理步骤十分麻烦,人工处理精度难以把控,因此成为客户投诉最多,备受诟病的问题. 通常 ...
最新文章
- 利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制...
- tftp环境搭建笔记
- 我的硬盘居然被win10安装工具_安装win10无法识别硬盘，你需要这样做！网友：涨知识了...
- [Postgres] Group and Aggregate Data in Postgres
- COCOS2D-X之圆形进度条的一个简单Demo
- 改善程序与设计的55个具体做法 day5
- linux 可执行文件反编译,如何反汇编，修改，然后重新组装一个Linux可执行文件？...
- 股市预测python代码＜循环神经网络＞
- 范式的判定——数据库考试复习
- weiui使用jquery infinite无限滚动加载，数据重复自执行
- 子网划分以及网络号的计算
- 阿里巴巴(菜鸟) - 算法工程师(机器学习)提前批笔试面试总结
- 怎么把视频转成mp3音频，下面有四个方法
- python设置文件权限_python通用权限框架
- html表格中字与字间距如何调整,excel表格字间距怎么调
- 如何将试卷导入到mysql中,一种基于C#中将Word试题导入数据库实现方法.doc
- 【redis】SpringBoot整合+geo地理位置应用
- 关于C++中的一些特殊函数inline，virtual等等
- SpringBoot中配置拦截器时，跨域失效
- Linux 安装Git Server