Computational Imaging 计算成像（一）

Computational Imaging 计算成像

序言

The motivation for writing this primer book on Computational Imaging was to have an initial reference for the field. By laying down a foundation, the instructors aim to provide students with a textbook that aligns with the title of courses they teach on “computational imaging”. For established practitioners, we hope to provide a reference text that aligns with emerging journals and societies in engineering organizations as diverse as the IEEE, ACM, OSA, and SPIE. For instance, the IEEE Transactions of Computational Imaging was formally indexed in October, 2018.

编写这本关于计算成像的入门书的动机是为该领域提供一个初步参考。导师们旨在提供一本与他们教授的“计算机图像”课程标题一致的教科书给学生，来打好基础。对于成熟的从业人员，我们希望联合新兴学术期刊和社会工程组织提供一个参考文本例如IEEE、ACM、OSA、SPIE等。例如，《IEEE Transactions of Computational Imaging》于2018年10月被正式收录。

The timing of this book also coincides with an increase in the hiring of faculty who identify computational imaging as their core competency. Just a decade ago, only a few EE/CS departments had researchers who explicitly identified as computational imaging faculty (e.g. as in the case of book author R.R.). It may not have made sense to have a unified textbook for so few professors and classes. Today, nearly every top-tier university has at least one faculty member who identifies computational imaging as their core expertise. Many of these faculty are junior faculty (e.g. the case of book authors A.B and A.K.) who have been tasked by their departments to create new courses on “Computational Imaging”.
We hope this textbook and associated set of homework assignments provides is not just handy for students and practitioners, but also to professors who are now teaching courses on computational imaging.

这本书的出版时期与雇佣更多以计算机图像学为核心能力的教师时期相吻合。就在十年前，只有少数EE/CS（电子电气工程/计算机科学）部门的研究人员被认定为计算机图像学的教师（例如本书作者R.R.）。为这么少的教授和班级编写一本统一的教材可能没有意义。如今，几乎每所一流大学都有至少一名教师将计算成像作为其核心专长。这些教师中有许多是初级教师（如书中作者A.B.和A.K.的情况），他们被所在部门委以重任，开设 "计算机图像学 "的新课程。我们希望这本教科书和相关的家庭作业不仅对学生和从业人员方便，而且对现在教授计算成像课程的教授也方便。

The push for increased hiring of computational imaging faculty is not a coincidence - the push parallels advances in computer vision, machine learning, and signal processing tools. These tools, now more powerful than ever, can enable imaging systems to see the invisible: cameras that operate at a trillion frames per second, microscopes that can see small viruses long thought to be optically irresolvable and, recently, telescopes that can even image black holes. Closer to home, self-driving cars and smartphone cameras are powered in part by computational imaging techniques, impacting our everyday life.

增加计算成像教师招聘的推动并非巧合，这种推动与计算机视觉、机器学习和信号处理工具的进步是同步的。这些工具现在比以往任何时候都更加强大，可以使成像系统看到看不见的东西：以每秒一万亿帧的速度运行的照相机，能够看到长期以来被认为是光学上无法解决的小病毒的显微镜，以及最近甚至能够对黑洞进行成像的望远镜。离家更近的是，自动驾驶汽车和智能手机摄像头部分由计算成像技术驱动。计算成像技术，影响着我们的日常生活。

Scope for the Book
This book lays the foundations of computational imaging, a convergence of vision, graphics, signal processing, and optics. We may interest practitioners in any of these four fields; however, this is not a fundamental text for any of the four fields, nor is it intended to be as there are many excellent books that exist. Recommendations for computer vision include Forsyth and Ponce (2012); Szeliski (2011); Hartley and Zisserman (2004); for graphics it could be Gortler (2012); Marschner and Shirley (2018); Hughes et al. (2013); for signal processing, (foundations, Mallat(2009); Vetterli et al.(2014)), sparse signal processing Elad (2010)); numerical methods Björck (1996); Strang (2016); convex optimization Boyd and Vandenberghe (2004). For optics and photonics, we recommend Hecht (2012); Goodman (2005), and Saleh and Teich (1991), respectively which all offer a vastly different treatise of optics. In contrast to these foundational books, our book discusses modern ideas that have captivated the field over the past decade: imaging of black holes, at trillion FPS, light transport, seeing around corners, etc. These breakthroughs—seemingly feats of physics were led by computer scientists in key roles.

本书的范围
本书奠定了计算成像的基础，是视觉、图形、信号处理和光学的融合。信号处理和光学。我们可能对这四个领域中的任何一个领域的从业者感兴趣；然而，这并不是四个领域中任何一个领域的基础性文本，也不打算成为这样的文本。这些领域有许多优秀的书籍存在。对计算机视觉的建议包括 Forsyth and Ponce (2012); Szeliski (2011)；Hartley和Zisserman (2004)；对于图形，它可以是Gortler (2012)；Marschner和Shirley (2018)；Hughes 等人. (2013)；讯号处理（基础，Mallat(2009)；Vetterli 等人(2014)）；稀疏信号处理 Elad（2010）；数值方法 Björck (1996)；Strang (2016)；凸优化 Vandenberghe (2004)；对于光学和光子学，我们推荐Hecht (2012);Goodman (2005)，和Saleh and Teich (1991)，它们分别提供了完全不同的光学论述。与这些基础性书籍相比，我们的书讨论的是过去十年来在该领域引起广泛关注的现代思想：黑洞成像，以万亿FPS，光传输，看到周围的角落等。这些看似物理学壮举的突破是由计算机科学家主导的

Acknowledgments
Writing a book on an exciting and emerging topic is a massive undertaking and this would not have been possible without the help and support of our friends, collaborators, colleagues and the members of interdisciplinary communities. The authors gratefully thank these individuals for their feedback and comments on the earlier versions of the draft. In particular, we would like to thank Gordon Wetzstein for actionable comments on improving aspects of the book, particularly sections pertaining to light fields. Vishwanath Saragadam provided feedback on sections pertaining to multispectral and hyperspectral imaging. Kenichiro Tanaka and Teppei Kurita provided input on the polarization section.
Bahram Jalali and Aydogan Ozcan have had numerous discussions with the authors at the seamline of AI and physics. Nick Antipa took the time to provide input on lensless imaging design. Discussions with Suren Jaysuriya date back several years and are interspersed in many aspects of the book.

On the typographical front, the authors also thank Kyle Icban (an Editorial Cartoonist at the DailyBruin) who contributed to some of the figures in the book and Amol Mahurkar for his help with LATEXtypesetting.

AB acknowledges Dorian Florescu for his help with review and preparation of materials, in particular, for the imaging toolkit, spatially coded imaging as well as light field imaging. Logistic support from Dorian Florescu and Humera Humeed was invaluable in maintaining tight timelines.

AK acknowledges the participants of the inaugural Computational Imaging class (ECE239) at UCLA. Questions, insights, and corrections raised by our students in lecture and office

鸣谢
就一个激动人心的新兴主题写一本书是一项巨大的事业，如果没有我们的朋友、合作者、同事和跨学科社区成员的帮助和支持，这本书是不可能完成的。作者非常感谢这些人对草案早期版本的反馈和评论。特别地，我们要感谢Gordon Wetzstein对本书改进方面的可操作的评论，特别是有关光场的部分。Vishwanath Saragadam就有关多光谱和高光谱成像的部分提供了反馈。Kenichiro Tanaka和Teppei Kurita提供偏振部分的输入。Bahram Jalali和Aydogan Ozcan在人工智能和物理学的接缝处与作者进行了多次讨论。 Nick Antipa 抽出时间提供了关于无透镜成像的设计意见。与Suren Jaysuriya的讨论可以追溯到几年前，并穿插在书的许多方面。

在排版方面，作者还感谢 Kyle Icban （《布鲁因日报》的编辑部漫画家）,他为书中的一些图形做出了贡献。并感谢 Amol Mahurkar 感谢他在LATEX排版方面的帮助。

AB感谢Dorian Florescu在审查和准备材料方面的帮助，特别是，对于成像工具包，空间编码成像以及光场成像。Dorian Florescu和Humera Humeed提供的后勤支持在保持紧凑的时间安排是有宝贵作用的。

AK感谢加州大学洛杉矶分校首届计算成像班（ECE239）的学员。我们的学生在课堂和办公室提出的问题、见解和纠正。

preface
hours have enriched the contents of this book. Many students who were exposed to the class ended up contributing to the book. Siddharth Somasundaram made key contributions on book sections related to polarization, multispectral imaging and programmable illumination. Alethea Sung-Miller, Chandra Suresh, Chinmay Talegaonkar, Madison Belk, Rajeshwari Jadhav, and Shreeram Athreya contributed to various aspects of light transport. Through many discussions, Siddharth and Chinmay contributed to the design and organization of the materials in the book.

RR thanks the members of the Camera Culture Group who, over the course of a decade, have not only contributed to the growing wealth of results in the area of computational imaging but also enabled this book by development of early coursework at MIT. Beyond MIT, RR acknowledges the collaboration with Jack Tumblin that resulted in the computational photography book (2007) which served as an early primer to the subject.

Many of the illustrations in this book are results developed by leading scientific groups around the world. We gratefully acknowledge our colleagues who, in the spirit of Open Science, have generously allowed us to use their original illustrations from their research Amine Bermak, Aydogan Ozcan, Bahram Jalali, Diego Gutierrez, Dilip Krishnan, Ethan
Schonbrun, Felix Heide, Fredo Durand, Georg Petschnigg, George Barbastathis, Gordon Wetzstein, Ioannis Gkioulekas, Jun Tanida, Kyros Kutulakos, Lei Tian, Marc Levoy, Masatoshi Okutomi, Matt O’Toole, Matthew Tancik, Michal Irani, Paul Debevec, Paul Haeberli, Philip Dutre, Qionghai Dai, Raanan Fattal, Rajeev Ramanath, Rajiv Laroia, Richard Baraniuk, Ross Girshick, Shree Nayar, Stanley Pau, Vasilis Ntziachristos, Vivek Goyal and Yoav Schechner.

前言
时间使这本书的内容丰富起来。许多接触过这门课的学生最后都为这本书做了贡献。Siddharth Somasundaram在书中有关偏振、多光谱成像和可编程照明的部分做出了关键贡献。Alethea Sung-Miller、Chandra Suresh、Chinmay Talegaonkar、Madison Belk、Rajeshwari Jadhav和Shreeram Athreya对光传输的各方面都有贡献。通过多次讨论，Siddharth和Chinmay对本书的设计和组织做出了贡献。

RR感谢相机文化小组的成员，在过去的十年中，他们不仅为计算成像领域日益丰富的成果做出了贡献，而且还通过开发早期课程实现了这本书在麻省理工学院的授权。RR承认与杰克·特姆布林(Jack Tumblin)的合作产生了计算摄影书(2007年)，该书是该主题的早期入门读物。

这本书中的许多插图都是由世界各地领先的科学小组开发的成果。我们感谢我们的同事，他们本着开放的科学精神，慷慨地允许我们使用他们研究中的原始插图。Amine Bermak, Aydogan Ozcan, Bahram Jalali, Diego Gutierrez, Dilip Krishnan, Ethan Schonbrun, Felix Heide, Fredo Durand, Georg Petschnigg, George Barbastathis, Gordon Wetzstein, Ioannis Gkioulekas, Jun Tanida, Kyros Kutulakos, Lei Tian, Marc Levoy, Masatoshi Okutomi, Matt O’Toole, Matthew Tancik, Michal Irani, Paul Debevec, Paul Haeberli, Philip Dutre, Qionghai Dai, Raanan Fattal, Rajeev Ramanath, Rajiv Laroia, Richard Baraniuk, Ross Girshick, Shree Nayar, Stanley Pau, Vasilis Ntziachristos, Vivek Goyal and Yoav Schechner.

====================================================================

====================================================
1. 计算成像概论
1.1 什么是计算成像

想象一下，如果有可能拍摄黑洞，或者制造出可以角落成像的相机。如果我们能发明一种相机，可以冻结运动中的光，或者创造一种新的光传感形式，使自动驾驶汽车能够在雾中“看到”，会怎么样?
这些功能听起来像是异想天开的超能力——它们将适用于我们所习惯的日常相机。然而，计算成像领域试图将相机转变成更多的东西：可以实现超能力的东西。解决方案?共同设计光学和计算，以克服长期存在的成像限制。

计算成像:光学捕获和计算算法的联合设计，以创建新的系统。

与传统成像相比，计算成像的特点是大量使用数学算法。例如，如果x射线照片是常规成像系统，那么混合多张x射线照片来计算3D断层扫描模型(“CAT扫描”)就是计算成像系统。另一个例子包括锐化运动模糊图像。传统上，这完全是通过反卷积软件来完成的。计算成像替代方案是“编码曝光成像”，如图1.1所示。

硬件和算法的原则性共同设计导致克服了一些主要的
传统成像的一些限制，其中包括：

动态范围

所有数字传感器,包括成像传感器在内，它们的动态范围是有限的。物理实体，如强度或光子通量超过预定义的阈值可能导致传感器饱和，这会导致信息的永久丢失。

====================================================================

====================================================================

图1.1:运动去模糊。传统方法与计算成像方法的比较。较长的曝光时间导致运动模糊，因为物体在曝光过程中移动。在这种情况下，可以使用基于硬件的解决方案，但暴露时间较短。缺点是产生的图像是有噪声的。或者，人们可以使用一种包含“反卷积”的计算方法，这种方法是不精确的。计算成像的替代方案是基于编码曝光成像。通过编码相机的快门模式，生成的图像可以使用一种性能优越的算法进行恢复。

空间分辨率

传统相机的分辨率严格由传感器大小决定。一个经典的例子是消费级三维成像传感器的传感器分辨率，如微软Kinect。虽然消费类相机的空间分辨率可以达到几千万像素，但三维成像传感器却不是这样。

景深，视野深度

由于它们的内置功能，传统成像系统在景深、视野和成像参数之间需要进行大量的权衡。

===================================================================

====================================================================

1.2 计算成像的历史根源

计算成像设备产生的不仅仅是像素值数组，还包括额外的场景信息，可能包括场景的深度或光谱信息等数据。从数学的角度来看，计算成像系统捕获的信号或信息种类要大得多，可以使用先进的算法加以利用。例如，除了简单地将红、绿、蓝(RGB)组件与每个像素相关联之外，这些系统还能够测量场景的3D结构，塑造边界，并执行诸如前景和背景对象、直接和间接照明以及传输和反射层等分解.

除此之外，我们可能希望通过突出人眼无法观察到的小特征来对成像过程做出更微妙的贡献。为了使照片具有光度计上的准确性，即考虑到人类的感知，可以使用小的图像元素，这些元素可以通过定制的照明或视点调整来实现。

对计算成像的贡献来自不同的领域，包括信号处理、光学、计算机视觉、计算机图形学和应用数学。计算成像不仅是这些不同社区的共同兴趣，而且是解决当前科学应用的必要条件。

将成像与计算相结合的想法可以追溯到计算革命的开始.在20世纪60年代，天文学家对测量各种天文物体如太阳、中子星和黑洞发出的x射线辐射很感兴趣。传统上，天文物体是通过望远镜观察的，望远镜使用玻璃透镜弯曲光学辐射。不幸的是，x射线天体成像带来了一个独特的挑战:
x射线穿透玻璃不会弯曲。

为了克服这个问题，科学家们认识到使用“直线”成像技术来拍摄x射线点源的重要性。“直线”成像技术不需要控制光线弯曲来形成图像。一个早期的例子是“针孔相机”。针孔相机起源于古希腊和中国文明，使用带有小孔的遮光罩来形成图像。一个例子是一个房间，所有的窗户都关闭了，除了一个小洞，如图1.2所示。这个日常的例子是如此引人注目，以至于“相机”一词起源于拉丁语“房间”。对于x射线成像问题，针孔相机技术确实可以用来形成图像。可以用衰减介质制作出能阻挡x射线辐射的面具，并在铅面具上穿孔。针孔相机不需要弯曲光线来形成图像。针孔似乎是x射线成像问题的绝佳解决方案!

=======================================================================

======================================================================

不幸的是，针孔相机不能解决x射线成像的问题。针孔很小，只能让很少的光通过，导致信噪比非常低。尝试放大针孔，让更多的光通过，但是由于图像模糊的增加而受阻。用针孔相机观察到信噪比（SNR）和分辨率之间达到一个基本平衡。对于x射线天文学家来说，这种权衡是不够的，所以他们离开了针孔，寻求打破这种权衡。1961年， Mertz 和Young 发表了一篇论文 Mertz和Young(1961)对小心编码掩模模式的使用进行了研究。抽象地说，这些掩码就像一排精心挑选的针孔。这种方法的细节将在第4章中讨论。

x射线成像中的编码孔径只是计算成像革命的开始。今天，我们可以使用一种古人无法掌握的工具，亚述人(第一个透镜的发明者)，古希腊人和中国人(针孔相机的发明者)，以及文艺复兴时期的欧洲人(望远镜的发明者)。这个工具就是计算机。

1.3 计算成像的现代应用

这本关于“计算成像”的首期教科书的出现时间与计算成像系统在工业和科学实践中的广泛使用相一致。在接下来的内容中，我们将描述计算成像的一些应用领域，以及在本书的后续部分中可以找到它们的地方。

智能手机摄影

本书中的许多计算成像技术可以直接原型化或随后移植到智能手机成像系统。例如，第六章的习题集主要介绍如何将智能手机转换为光场相机。行业从业者可能会使用术语计算摄影来指代计算成像方法用于摄影的特定问题的情况。为了与本文保持一致，我们将坚持计算成像的术语。计算成像的主要工业应用是在消费者智能手机上。像苹果和谷歌这样的大型科技公司都有专门的计算摄影团队。当代读者无疑已经意识到，智能手机已经成为我们口袋里无所不在的便携式相机。根据InfoTrends via Bitkom，从2015年开始，全球拍摄的照片数量已超过1万亿张，每年增长10%。其中惊人的85%是用手机捕获的。计算成像技术特别适合智能手机应用，这技术在硬件上通常是受限的。手机的薄机身无法提供专门的镜片。批量生产的成本限制了奇特的设计。为了产生美观的照片，从业者必须在算法方面进行创新。本书第4章讨论了如何以不同的方式使用成像传感器、光学孔径和照明的组合来提高成像能力。这方面的一个例子是所有现代智能手机中都存在的高动态范围成像功能，并使用计算成像方法。

====================================================================

=======================================================================

图1.2:一个房间大小的针孔相机的例子。

自主驾驶

计算成像系统可用于将自动驾驶汽车的视觉灵敏度提升到超人的水平。自动驾驶汽车，也被称为自动驾驶汽车，是一种能够主动感知周围环境，并在人类输入极少或完全没有的情况下安全驾驶的车辆。这并不是要求这些汽车上的摄像头传感器必须模仿人眼:它们可以超越人眼。

视觉传感器对自动驾驶的重要性怎么强调都不为过。早期有一个关于配备3D激光雷达系统的自动驾驶汽车的笑话，通常是这样的:“激光雷达的成本比汽车还高”。本书第5章讨论了激光雷达所基于的时间分辨成像。尽管激光雷达的成本已经大幅下降，但早期过高的价格说明了激光雷达在安全导航的重要性-如果数据不是下游性能的关键，工程师就不会使用如此昂贵的激光雷达。

除了第5章的基本阐述之外，对自动驾驶感兴趣的读者可以在第10章找到感兴趣的内容，其中从轻型运输的角度进一步讨论了这个主题。本章讨论了多途径干扰的情况(例如在雾中开车)，也能看到周围的角落。最近的论文集成了计算成像系统，它与车辆平台一起可以实现角落成像。

=======================================================================

======================================================================

图1.3:本书的路线图和组织结构。

医学成像

在本章前面，我们分别以x射线和CAT扫描仪为例介绍了成像和计算成像的概念。然而，这只是触及了计算成像医学应用的表面。

在第4章中，我们讨论了编码暴露成像，这是一种用于流式细胞术中流动细胞成像的方法。在第5章中，我们将讨论如何将消费级深度成像传感器(如Microsoft Kinect)重新用于生物成像任务，如荧光寿命成像。最后，在第10章中，我们讨论了如何将光传输的全局和直接分离作为一种技术，可以在不使用x射线的情况下潜在地看到身体内部的更深处。

1.4 本书路线图

目的是将新手变成从业者或提高专家的技能水平。本书分为三部分，如图1.3所示。

第一部分:本书的第一部分介绍了计算成像中需要学习的基本的初步知识。由于该领域是光学和计算的共同设计，我们简要地回顾了一个光学工具包(第2章)和计算工具包(第3章)。对于这个领域的新手，建议在阅读本书的后续部分之前先熟悉第1部分。

====================================================================

第二部分。讨论进入了研究的前沿，其中光学和计算的联合设计在不同的光的形式的背景下进行了研究。这本书的第二部分是全视函数，它描述了光线的自由度。该函数描述了图像不仅需要是空间(第4章)的函数，还需要是角度(第5章)、时间(第6章)、偏振(第7章)和波长(第8章)的函数。

第三部分。本书的结论部分以对轻型运输技术的描述结束。通过分析阴影和智能编码照明，可以设计出获得微米级3D形状或优化无噪声成像的成像系统(第9章)。我们通过描述计算光传输的先进技术(第10章)来结束这本书，包括光学计算和非视线成像。

====================================================================