来源丨 新机器视觉

以前的手机，只在背后有一个安安静静的摄像头，而现在的手机，“二饼” “三筒”甚至“浴霸”层出不穷。越来越强大的手机拍照功能，离不开图像传感器的支持。

图像传感器是把摄像头接收到的光信号转化成电子信号的感光元件，可以记录光场强度的分布，对于拍照设备来说，它就如同人眼的视网膜。手机或者相机的传感器一般是一个包含了很多个小单元的阵列，每个小单元对应着照片中的一个像素。我们平时说的，相机2000万像素就是指图像传感器上有2000万个小单元（感光点）。

图像传感器

单像素成像原理

然而，近十多年来，科学家们却在探索一种新型的“单像素相机”[2]，即图像传感器只包含一个像素，这种另类的光学成像方式就是“单像素成像”[1]。

那么单像素相机又是怎么工作的呢？单像素成像中，通过一个投影器件不断向目标物体照射不同的结构光图案，单像素探测器依次记录下每次照射时物体场景总体光强度，最后计算重建出具有空间分辨率的物体图像。数学上来说，单像素探测器记录的光强度是投影图案和物体图像之间的内积。单像素成像与以往常常提到的鬼成像和关联成像的概念比较接近。

典型的单像素成像系统

单像素成像智能处理算法

由于单像素相机与普通相机有着不同的成像机制和框架，在最近的研究中，笔者设计了四种为其“量身打造”的图像智能处理算法。

（1）运动物体单像素成像中模糊去除和质量提升

单像素成像中需要依次投影大量不同图案，记录下很长一串单像素值序列，才能重建出一张物体图像，这显然需要一定的成像时间。所以，拍摄快速运动的物体时，帧率往往比较低，记录前几个单像素值时还“朝发白帝”,记录后几个单像素值时就已经“暮到江陵”了。这导致最后记录下的单像素值数据里包含了不同位置物体的混合信息，重建的图像会包含比较多模糊和噪声，类似于普通相机拍摄一辆飞驰而过的汽车得到的“拖尾”照片一样。

为解决这一问题，可以考虑一个基本的物理定律——运动的相对性，物体在运动，投影图案是静止的，等效于物体是静止的，而投影图案在反方向运动。物体从左到右运动，相当于投影图案从右到左运动；物体顺时针转动，相当于投影图案逆时针转动。通过搜索估算物体的平移或者转动速度，对投影图案做相应的反向变换，然后计算时使用变换后的投影图案替代原本的投影图案，重建出的物体图像就会清晰很多，质量得到明显提升[3]。

实验中，拍摄一个快速转动圆盘上的数字，我们设计的算法可以去除重建图像中的模糊和噪声 [3]。

（2）基于单像素成像的全光学物体快速分类

图像常常需要进行自动分类识别，比如照片里的是一只猫，还是一只狗？一般无论普通相机还是单像素相机，都要先拍摄到物体（比如数字或交通标志）清晰的图片，才能使用机器学习方法进行图像分类任务。

不过，笔者提出的基于单像素成像的全光学物体快速分类方案中[4]，不需要重建物体图像，物体只被很少数量的投影图案所照射，探测器只记录下“寥寥无几”的单像素值，该算法直接基于这些单像素值，在“不知道物体到底长得什么样”情况下，能够进行快速物体分类。比如我们要把物体分为10类，只需要从大量训练图片中优化设计出10个投影图案，一共投影10次，而进行完整的图像重建可能需要投影几百几千次。

从10个类别的数字图像和交通标志图像中分别优化设计出的10个用于快速物体分类的投影图案（第四行）。

分类结果可以通过单像素值序列中最大光强度值直接显示出来，无需后续的数字处理，整个系统相当于一个可以进行线性分类任务的“光学计算机”。相比于2018年Science论文中多层级联相位板结构的全光学衍射神经网络(DNN)系统[5]，我们的系统可以完成类似的全光学物体分类任务，同时具有非相干光照射下工作，低实验复杂性，高可编程性等优点，更容易实现。

（3）单像素成像中图像盲重建

单像素成像中一般既需要已知所有投影图案，又需要已知所有单像素值，才能进行物体图像的重建。这样看起来二者缺一就无法重建图像，其实未必。

假设投影图案虽然是未知的，但它们保持固定不变。如果已知一定数量不同的物体图像和它们对应单像素值序列作为训练样本，可以通过机器学习方式实现盲重建。笔者在研究[6]中并没有使用“时尚潮流之选”的深度学习方法，而使用了更简单的基于线性回归模型的方式恢复未知的投影图案，但获得的结果在一定条件下优于深度学习的结果。

事实上，很多相干和非相干的光学成像系统都是线性的，一些传统方法也可能对系统进行精确模拟，那么近年在各领域都普遍使用的深度学习方法是否一定优于传统方法？一些仿真和实验结果显示，对于单像素成像系统和其他一些线性光学系统，深度学习其实未必总能表现出优势，尤其在需要大量训练样本和泛化性这两个方面表现出一定不足[6]。

（4）单像素成像中的可视加密

作为90后经典童年回忆的《冒险小虎队》中，通过解密卡才能看到杂乱无章的条纹中隐藏的信息，这其实很类似于一种“可视加密”技术。

可视加密(Visual Cryptography)把要隐藏的图像分解成几个随机图案，把它们打印在透明胶片上，每个图案称为一个可视密钥(Visual Key)，无法从中看到隐藏的图像。可是当可视密钥重叠在一起时，隐藏图像就可以在视觉上显现出来。单像素成像中的探测器收集物体图像总体光强度的方式，相当于进行了像素值的虚拟叠加操作，与可视加密一定程度上“异曲同工”。

笔者提出通过物体图像和通过投影图案两种方式将可视加密在单像素成像中实现[7]。单像素的可视加密可以适用于打印在不透明介质上的可视密钥图案，并且容易在肉眼观察不到的非可见光波段以及视平线之外隐藏角落实现可视加密，物理层面上提升可视加密的安全性。

例如，(a)和(b)两个二维码可以作为一组可视密钥，用手机扫它们，可以读出同样的信息，不过读出的并不是要隐藏的信息，而是做伪装的“幌子”。通过单像素可视加密系统虚拟叠加到一起之后，依旧是一个可以用手机扫的二维码(c)，不过真正隐藏的信息”OK”浮现了出来。

此外单像素成像中，只对一组投影图案的随机置换也能实现图像加密[8]。

单像素成像的应用

单像素成像可以把传感器从一个单元阵列简化为单个像素，与此同时，则需要额外的投影器件，比如，数字微镜阵列DMD，并且要投影照射和记录很多次，而不是一次性成像。

然而，这不妨碍在很多情况下，单像素相机仍然比普通相机更具有优势，比如在可见光以外的一些波段，单元阵列传感器难以制造，或者成本非常高，而只包含一个像素的简单传感器就容易实现得多，单像素成像为这些波段的低成本相机提供了一个好的选择。

再比如普通相机拍摄照片时，物体需要放到镜头或者传感器的视平线范围内，而单像素探测器可以拍摄隐藏在拐角处的物体。当同时对多个光谱和多个偏振态的光场进行记录时，难以在同一个单元阵列传感器上对这么多的“频道”同时进行复用，单像素探测器则比较容易在“频道”间灵活来回切换。

目前，该技术已被研究者尝试应用于多个领域，如遥感成像、显微镜、光谱仪、无人驾驶激光雷达、加油站气体泄露监测、便携式扫描仪等，单像素成像的潜在应用场景一直在不断被发掘和扩展。

作者简介

焦述铭，深圳大学纳米光子学研究中心副研究员，香港城市大学博士毕业。主要从事单像素成像，全息成像及显示，图像处理等方面研究。以第一作者发表期刊论文20余篇，曾入选Hong Kong PhD Fellowship Scheme和广东省“珠江人才计划”博士后资助项目。

来源：爱光学

参考文献：

[1]M. P. Edgar, G. M. Gibson, and M. J. Padgett, “Principles and prospects for single-pixel imaging,” Nature Photonics 13(1), 13–20 (2019).

[2] M. F. Duarte, M. A. Davenport, D. Takhar, J. N. Laska,T. Sun, K. F. Kelly, and R. G. Baraniuk, “Single-pixel imaging via compressive sampling,” IEEE Signal Processing Magazine 25(2), 83–91 (2008).

[3] S. Jiao, M. Sun, Y. Gao, T. Lei, Z. Xie, and X. Yuan,“Motion estimation and quality enhancement for a single image in dynamic single-pixel imaging,” Optics Express, 27(9), 12841-12854. (2019)

[4] S. Jiao, J. Feng, Y. Gao, T. Lei, Z. Xie, and X. Yuan,"Optical machine learning with incoherent light and a single-pixel detector," Optics Letters 44(21), 5186-5189 (2019)

[5] X. Lin, Y. Rivenson, N. Yardimci, M. Veli, Y. Luo, M.Jarrahi, and A. Ozcan, “All-optical machine learning using diffractive deep neural networks,” Science, 361(6406), 1004-1008 (2018).

[6]S. Jiao, Y. Gao, J. Feng, T. Lei, and X. Yuan, "Does deep learning always out perform simple linear regression in optical imaging?," Optics Express 28(3), 3717-3731 (2020)

[7]S. Jiao, J. Feng, Y. Gao, T. Lei, and X. Yuan, "Visual cryptography in single-pixel imaging", Optics Express 28(5), 7301-7313(2020)

[8]Z. Zhang, S. Jiao, M. Yao, X. Li, and J. Zhong, “Secured single-pixel broadcast imaging,” Optics Express, 26(11), 14578-14591 (2018).

本文仅做学术分享，如有侵权，请联系删文。

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

16.基于Open3D的点云处理入门与实战教程

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿，加微信：dddvision

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近6000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~