基于压缩感知的单像素相机

成像是一个传统的信号处理领域，俗话说“百闻不如一见”，图像在整个数字信号处理领域中占有举足轻重的地位。压缩感知理论刚被提出来时并没有被广泛认可，但是随着单像素相机成像框架的提出，压缩感知理论立刻吸引了广大研究学者的关注。它的成像框图如图1所示。

图1 单像素相机原理图

该方案中最核心的器件是数字微镜器( digital micro-mirror device，DMD)，它是一种光调制器，在基于压缩感知的成像体系中，DMD扮演着非常重要的角色。DMD是美国得州仪器公司( Texas Instruments，T)生产的一种通过成千上万个微镜反射入射光而实现光调制的器件，这些微镜阵列都可以通过配置单元设定翻转角度。每个微镜通过一个铰链实现两种固定的翻转状态,角度为水平方向的士12翻转(早期的型号是士10°翻转)。其翻转角度状态由片上内存SRAM中相应的比特值来决定其翻转状态，例如，比特值为“1”则表示沿水平方向的+12°翻转，反之，如果比特值为“0”则表示沿水平方向的-12°翻转。如图7.2所示，由于微镜的翻转角度不同，可以把入射光沿两个不同的角度反射，当微镜翻转角度为+12°时，实现对入射光的对称角度反射；而当微镜翻转角度为-12°时，则微镜把入射光反射到芯片内置的光吸收材料上，即没有反射光输出，这就实现了通过成千上万个微镜是否反射入射光而实现对入射光的调制。

图2 微镜不同的翻转角度实现对入射光的调制

从TI公司发布的资料来看，其最高空间分辨率可以达到1024×768(XGA)，即该类型DMD包含1024×768个微镜,难以想象的是这些微镜集成在32.2mm×22.3mm大小的芯片中。DMD具有较高的分辨率、对比度、灰度等级和响应速度等优点，不仅已成功应用于高清电视(HDTV)和数字影院，近几年其应用领域得到较大扩展，在光纤通信网络的路由器、衰减器、滤波器、数字相机、高频天线阵列、新一代外层空间望远镜、物体三维轮廓测量仪、全息照相、光学神经网络、显微系统中的数字可变光阑、激光光束整形、压缩成像、数字光刻以及成像光谱等领域都得到了成功的应用。
下面介绍单像素相机的设计原理。首先，通过光路系统将成像目标投影到DMD上，DMD由数字电压信号控制微镜片的机械运动以实现对入射光线的调制，相当于由0和1构成的随机测量矩阵，其中“1”表示对应的小微镜把入射光反射出去，“0”表示入射光被吸收。在每次DMD的随机测量中，一部分微镜将把与其对应位置上的入射光发射出去，这些反射光由透镜聚焦到单个像素传感器上(实际应用中可以是光敏二极管)，光敏二极管两端的电压随着反射光强度的变化而变化，其两端的电压通过一个模数转换器(A/ D converter)进行量化从而得到个测量值y，其中每次DMD的随机测量模式相应地对应测量矩阵中的行，即φ，此时如果把输入图像看成一个矢量x,则该次测量的结果表示为y=φx。每次的测量结果实际上是DMD的掩模与成像场景的模二相乘而后汇总进行量化的结果，将此投影操作重复M次,即通过M次随机配置DMD上每个微镜的翻转角度，获得了M个测量结果,即y=φx。在M远小于原始图像的像素时，即可通过基于总变量差( total variation)的l1范数最小化的方法重构原始图像，它的实物演示如图3所示。

图3 单像素相机实物演示图

除了成像灵活性，单像素相机的另一个优点是光敏二极管的量子效率(用来定义光敏器件受光表面接收到的光子转换为电子空穴对的百分比例)可以达到90%，远高于常规CCD或CMOS阵列的50%。此外，每次单像素相机随机的测量都能聚集远远多于平均像素上所能接收到的光子，因而可以极大地降低图像失真、暗噪声(在光谱测量中是指影响光谱原始数据的杂光)和读出噪声。
在数字相机广为流行的当代，人们不断追求更高像素的相机，以达到图像的高分辨率和高保真。单像素相机的设计为此开辟了一条全新的思路,这个设计很大程度上减少了对光探测器设计复杂性和高昂代价的要求,无需高密度、高分辨率的CCD或CMOS模块,单个像素也可以实现成像功能。需要指出的是,这里的单像素传感器,可以是光敏极管;在低光照度时,可以是雪崩二极管;也可以是集成多个针对不同波长范围的光敏二极管,从而构建多光谱相机。
该相机直接获取的是M次随机线性测量值而不是原始输入图像的像素值,这也是和传统多路复分相机的区别之一，多路复分相机的机理是采用传统的光栅扫描，其中的测量函数是一系列delta函数构成的。这个基于压缩感知的单像素相机的一个重要优点是，它只需要较少的测量值就可以重构出原始图像(例如，压缩感知模式需要M次测量，而光栅扫描模式需要N次，M<<N)，即单像素相机把图像的获取和图像的压缩集成到一起，即采样的过程中同时也实现了图像的压缩该单像素相机。
该单像素相机的实验结果如图4所示，其中图(a)是一个成像目标模板，上面是一个黑白打印“R”，基于图7.4中的演示模型，N=256×256，当随机测量次数为M=N/10时，重建的图像如图(b)所示。可以看出图中的成像效果还不是很理想，远比常规的数字相机拍摄效果要差，但这里演示的只是一个原理，在很多细节，如光路的封闭性设计和噪声处理等方面远没有达到最优。同时，这个演示系统还有一个缺点需要指出，它成一次像大概要花费几分钟的时间，因为为了获得足够的采样个数，每一次DMD的翻转都需要一定的时间。读者可能觉得等待几分钟成一次像实在很难让人接受，但要知道人类获取的第一幅照片，如图5所示，是由法国发明家 Joseph Niepce于法国耗时8h拍摄的，该照片目前陈列于得克萨斯大学奥斯汀分校。可见虽然目前基于压缩感知的单像素相机耗时较长，但作为新生技术，其未来的发展还是一片光明的。

图4 基于单像素相机的重构图像

图5 人类拍摄的第一幅照片

其实,这套单像素相机应用在可见光谱段成像，较常规的几百万或上千万像素的CCD或CMOS相机的优势并不十分明显，因为常规数码相机已经获得了普遍认可，CCD或CMOS的集成度已经很高而且很廉价，这主要得益于可见光的光谱范围和材料硅的光电响应区间刚好一致。而在近红外或短波红外波段成像领域，单像素相机的价值就突显出来了，这是因为红外波段的探测器非常昂贵，单像素相机将极大地降低产品成本。如果将该系统应用在近红外或短波红外波段的探测器上，通过DMD的多次随机翻转实现对入射近红外或短波红外波段的调制获得多个测量值，再经优化算法就可以重构出原始入射的近红外或短波红外图像。在这种方式下，不仅可以得到信噪比较高的近红外或短波红外面阵图像，而且图像的均匀性可以得到更好的提升，所以构成的面阵图像质量也能得到提高，同时这也大大降低了探测器的成本。目前美国的In View公司3已经获得了单像素相机的发明专利授权，并且发布了针对显微镜应用的短波红外相机 In View210M和针对安防、监控的短波红外相机In View230。图6中显示的是In View公司生产的短波红外相机和常规的短波红外相机成像结果比较，其中图(a)是常规短波红外相机获取的原图，图(b)是In View公司短波红外相机的成像结果。由图可见，单凭肉眼根本分辨不出差别。In View公司出品的这类基于压缩感知的短波红外相机是该领域中第个走向商业化应用的产品，具有里程碑式的象征意义。

图6 常规短波红外相机Inview公司短波红外相机的成像比较

基于压缩感知的单像素相机相关推荐

压缩感知应用——单像素相机
题目:压缩感知应用--单像素相机 ============================================================ 参考文献: 1)Rachel Zhang的专 ...
科学松鼠会压缩感知科普文章两篇：“压缩感知与单像素相机(陶哲轩)”“填补空白：用数学方法将低分辨率图像变成高分辨率图像(Jordan Ellenberg)
题目:科学松鼠会压缩感知科普文章两篇:"压缩感知与单像素相机(陶哲轩)""填补空白:用数学方法将低分辨率图像变成高分辨率图像(Jordan Ellenberg)" ...
单像素相机（single pixel camera，SPC）
单像素相机(single pixel camera,SPC) 在我学习的领域(利用单像素探测器实现无成像的目标识别/分类-),经常接触到的是像单像素相机这种的成像系统(光源将物体的像投射到DMD上进行 ...
DLP7000/DLP9500高速大容量DMD套件鬼成像 CS 压缩感知单像素相机
目前开发了一套基于TI推出的DLP7000/DLP9500光学调制芯片为主的开发套件.当然后端的DMD驱动功能还是基于TI的D4100最小系统为模板进行的扩展. 相比于市场上的各种扩展,基本是以DDR ...
计算机工程与应用单像素成像,2011计算机工程与应用基于压缩感知理论的单像素成像系统研究_白凌云.pdf...
2011计算机工程与应用基于压缩感知理论的单像素成像系统研究_白凌云.pdf 116 2011 ,47 (33) Computer Engineering and Applications 计算机工程 ...
压缩感知及应用源代码_【DMD应用】基于压缩感知超分辨鬼成像
[概述] 分辨率是成像系统的一个重要参数, 获得高分辨率图像一直是鬼成像系统的一个目标. 本文提出了以成像系统点扩散函数作为先验知识, 基于稀疏测量的超分辨压缩感知鬼成像重建模型. 搭建了一套计算鬼 ...
【一起读论文系列1】基于压缩感知的语音编解码方向研究
[一起读论文系列1]基于压缩感知的语音编解码方向研究 2109,李俊鑫,基于压缩感知的快速语音编解码方法研究 1207,李尚靖,基于压缩感知的语音数字编码技术研究引申资料搜索关键词:compres ...
压缩感知doa matlab,基于压缩感知的DOA估计程序
基于压缩感知的DOA估计程序程序可运行,有图有真相,MATLAB得事先装好cvx优化包. clc; clear; close; lambda=1; d=lambda/2; %阵元间距离,取为入射波长 ...
智能发射面| 信道估计与代码复现：基于压缩感知
前言本文是对 Compressed Channel Estimation and Joint Beamforming for Intelligent Reflecting Surface-Assi ...

基于压缩感知的单像素相机

基于压缩感知的单像素相机

基于压缩感知的单像素相机相关推荐

最新文章

热门文章