光场成像的历史与发展

作为计算光学成像领域的一个重要分支，随着近年来光场相机的发展，光场成像得到了越来越多的关注。本文以光场成像为话题，通俗地讲述了光场成像的历史与发展。

光场成像专栏：

光场成像的历史与发展

光场的可视化与重聚焦原理

阵列相机光场去遮挡网络 DeOccNet（WACV2020）

一、什么是光场

电场和磁场作为中学时期就学过的物理概念，其模型早已深入我们的心中。而“场”作为一个常见的概念（例如电场、磁场、引力场、温度场等），可以理解为物理量在空间中的分布状态。因此，光场就可以理解为光在空间中的分布状态。相比于电场与磁场，光场听上去相对陌生，像是近些年来才提出的概念，实际上，光场跟电场和磁场差不多是同一个时代的产物。说到这里，就不得不提起一位著名的物理学家——迈克尔·法拉第（Michael Faraday）。

法拉第的主要成就包括（1）发现电场与磁场的联系，提出电磁感应学说；（2）提出磁力线的假说；（3）发现了电解定律；（4）发现“苯”等物质。而在他的一篇文章《Thoughts on Ray Vibrations》中，他首次提出了“光应当被诠释为场（Light should be interpreted as a field）”的论断。“光场”这一概念就此诞生。

非常遗憾的是，法拉第是一位实验物理学家，他的数学功底相比于牛顿、爱因斯坦等理论物理学家来说还是弱了一截，这也就导致了虽然他能够发现电场与磁场的联系，但这些论断往往缺乏严谨的数学表达与理论推导。数学这一短板也在很大程度上拉低了法拉第的历史地位，否则如果他能够凭借一己之力从设计实验发现物理现象到推导归纳物理规律，建立起经典电磁学的大厦，那肯定就会和牛顿、爱因斯坦并称为物理学界三巨头了。当然了，历史没有如果，不过法拉第的研究还是后继有人的，詹姆斯·克拉克·麦克斯韦（James Clerk Maxwell）就很好地继承和发展了法老师的研究成果。

与法拉第不同，麦克斯韦的数学功底还是相当过硬的，其主要成就包括（1）建立了麦克斯韦方程组；（2）创立了经典电动力学；（3）预言了电磁波的存在；（4）提出了光的电磁说。其中，麦克斯韦方程组深刻地揭示了电场与磁场的转化规律，完美地将二者融为一体，被评为历史上最优美的十大方程之一。作为当时的后起之秀，麦克斯韦于法拉第提出光场假设的28年后，初步建立了光场的数学模型，带动了20世纪上半叶光场理论的发展。

二、光场建模

格尔顺（A. Gershun）于1939年对光场进行了建模 [1]。后来被Adelson等人总结和发展为用一个7维函数简洁地表达光线在空间中的分布，即全光函数 [9]。简单来说，光场描述空间中任意一点向任意方向的光线的强度。因此，7维全光函数包含的维度信息有空间位置（x, y, z）、光线方向（Θ, Φ）、波长（λ）和时间（t），全光函数可以通过下面三幅图来进行一个直观的理解：

（1）空间中任意一点的观察方向可以理解为被观察者捕获的光线的方向，可以由球坐标系中的两个角度值（Θ, Φ）来表示

（2）当光线加入波长信息λ后，获取的图像便拥有了颜色，观察时刻可以由时间t来表征，则光线记录过程具有了动态性

（3）通过遍历空间中的每一个观察位置（Vx,Vy,Vz）可以记录和表示这个空间中光线的分布状态，即为光场。

虽然全光函数总共有7维，但是在实际应用中，光的波长和时间两个维度的信息通常通过RGB通道和不同的帧来表示。因此若想记录光场，只要关注光线的方向信息和位置信息就可以了。这样，光场的维度就从全光函数的7维降到了后来的5维。

格尔顺在1939年指出，可以使用微积分和解析几何的理论来处理光场。遗憾的是，由于当时记录捕捉光场的设备的缺乏以及计算能力的不足，格尔顺提出的光场理论很难进一步被研究，从而使得光场的研究经历了较长时间的停滞。直到计算机和数码相机的出现，光场的研究才有了转机。20世纪90年代，斯坦福大学的Levoy教授（原谅我这个名字不太会音译，莱沃依？勒沃埃？）等人开始进行光场研究，他认为5维光场中还有一定的冗余，由于光线在传播的过程中能量保持不变，因此光场可以在自由空间中简化为4维。Levoy等人进而提出了著名的光场的双平面模型[2]，为下一步光场理论的广泛应用奠定了重要的基础。

光场的双平面模型通过记录一条光线穿过两个平行平面的坐标（4维信息）就可以表示此光线的位置与方向。注意到这样虽然进一步降低了维度、简化了处理，可是却具有一定的局限——在实际中，两个平面都不是无限大的（即使是无限大也只能描述一半空间），光场可以描述的范围被两个平面的有效面积限制住了。事实上，人们研究光场更多的也是对空间中某个局部区域的光线分布感兴趣，并不会去追求研究整个空间中的光线分布，因此4维的双平面模型具有很大的实用价值。这里呢，我们详细讲述一下光场双平面模型的具体含义。

这里有两个平面，uv平面为镜头中心所在平面，相机阵列中不同位置的相机就对应这uv平面上不同的采样点，由于每一个相机拍摄到的图片存在视差，可以从不同的角度来对物体进行观测，因此我们称uv平面上采样的密集程度为角度分辨率；xy平面成像平面，用来描述光线在传感器上的采样。这里需要注意的一点就是，在实际的系统中，传感器的空间位置是在镜头所在平面之后的，但是由于传感器上一般成倒像，不利于分析，光场的双平面模型将传感器平面对称的翻到镜头平面之前，从而平面上的点可以直观理解为相机最终所成的像，更容易分析理解。传感器平面反映了单个相机捕捉到的某一个视角的采样，其密度用空间分辨率来表示，也就是我们常说的图像分辨率。

三、光场相机

基于光场的双平面模型，斯坦福大学Levoy团队先后研制出了用于记录光场的单相机扫描台与阵列式光场相机[3]。

扫描式的光场相机主要是通过扫描台来不断变换单个相机的位置而获取场景中的物体向不同方向发出的光线，由于可以通过扫描台来精确控制相机移动的位移，从而可以精确地控制和调整等效的“相机阵列”中相机之间的距离，成本相对比较低廉，用于原理验证十分方便。但是这样的结构具有一个致命的缺点，就是光场的获取过程持续时间过长，以至于在变换相机位置进行拍摄的过程中必须要要求场景保持不变，从而仅能针对静态场景进行拍摄，极大地限制了实用性。相比之下，阵列相机可以通过安装在不同位置的相机同时曝光来瞬间获取场景的光场采样，其并行采样机制相对于扫描式光场相机的串行采样来讲是一个较大的改进。然而限制其走向应用的另外一大障碍是它的体积——这款阵列相机实在太大了，在实验室摆弄一下做个实验还可以，外出游玩拍摄还是派不上用场。

时间来到了21世纪的2005年。当时还在斯坦福大学（没错，又是斯坦福大学）跟随Levoy教授攻读博士学位的吴义仁（英文名字Ren Ng，不知道为啥音译为吴义仁）也意识到了这个问题，他在他的博士论文[4]中设计了一款新式的光场相机，采用了“微透镜阵列”的结构。这种结构可以将进入相机的光线分为不同的方向，从而也可以获得具有一定范围视角差异的当前场景的多幅图像。这篇博士论文获得了美国ACM学会的优秀博士论文。博士毕业后，吴义仁开创了Lytro公司，先后推出了Lytro I、Lytro II 两款商业级手持式微透镜型光场相机[5]。

Lytro相机对光场相机的普及做了很大的贡献，其“先拍照后聚焦”的理念也让人眼前一亮。然而Lytro相机自面世以来却一直不温不火，并没有在摄像领域带来人们期待的类似于“胶卷相机—>数码相机”那样的大变革。就算是现在出去旅游，人们拍照更多是使用手机或者是单反相机，很少见到用光场相机拍风景的。这主要是由于该款光场相机仍有其不足之处——除功能实用性较低、使用复杂度较高等因素之外，拍摄图像的分辨率较同价位的单反相机更低是其面临的最主要的问题。为了获取来自不同视角的光线，阵列式光场相机在不同的位置安装彼此相互独立的子相机，而微透镜型光场相机将光场获取集成在一个相机之中，传感器总的像素数不变，则势必要牺牲图像的分辨率来提升角度分辨率（获取不同角度光线的能力）。举例说明，原来4096*4096的分辨率需要变成4*4个1024*1024的子图像，即使光场相机拥有一系列高端的功能，消费者往往更加看重最基本的性能。因此Lytro将自己定位在中高端相机并没有最大化地扬长避短，又因为算法层面上也还没有做的很完美，才导致了现在的局面。如何有效地利用光场相机所捕获的当前场景的子图像，提高分辨率、开拓新功能，仍然是当今学术圈光场成像领域研究的热点问题。

不过光场相机的探索仍未结束，光场相机同专业的单反相机相比还有一定的劣势，但是随着智能手机的发展与普及，微型摄像头的工艺与质量也在不断改进，各大手机生产厂商都在尝试将光场的获取能力作为智能手机新产品的一项功能，比如各大品牌使用的手机双摄甚至三摄，就是简化的光场相机。

2013年，Pelican Imaging 公司研制了用于手机的计算成像系统 PiCam[6]。该系统由 4×4 个摄像头阵列组成，每个摄像头只采集一种颜色，通过颜色合成形成彩色图像，提升了图像的细节展现能力。但该系统的摄像头共用一个 CMOS 探测器，限制了最终的合成孔径大小和系统总像素数量。

近些年美国的 Light 公司研制了 L16 计算成像相机[7]，该相机大小与手机类似，能够合成一张5000 万像素的图像。当然本文介绍的光场相机只是具有代表性的一些，仍然有很多类型的成像体制（比如编码孔径式光场相机）与光场相机（比如RayTrix光场相机）在这里没有作介绍，感兴趣的读者可以参考G.Wu等人于2017年发表的光场成像综述论文[8]。

四、展望

从“法老”提出光场的概念到现在也已经有一百多年了，但是光场成像领域还有很多关键的问题没有得到很好的解决，这也导致了光场相机或者基于光场的一些技术（比如虚拟现实VR）的发展遇到了瓶颈。不过随着一代代学者的不懈努力，在不远的未来，光场成像技术一定会以各种方式造福于人类的生活。

更多《计算机视觉与图形学》知识，可关注下方公众号：

参考文献：

[1] Gershun A. The light field[J]. Journal of Mathematics and Physics, 1939, 18(1-4): 51-151.
[2] Levoy M, Hanrahan P. Light field rendering[C]//Proceedings of the 23rd annual conference on Computer graphics and interactive techniques. ACM, 1996: 31-42.
[3] B. Wilburn, N. Joshi, V. Vaish, E. Talvala, E. Antunez, A. Barth, A. Adams, M. Horowitz, and M. Levoy, “High performance imaging using large camera arrays,” ACM Transactions on Graphics, vol. 24, no. 3, pp. 765-776, 2005.
[4] Ng R, Levoy M, Brédif M, et al. Light field photography with a hand-held plenoptic camera[J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11.
[5] Lytro Inc. Accessed: Aug. 10, 2017. [online]. Available: https://www.lytro.com/
[6] K. Venkataraman, D. Lelescu, J. Duparre, A. McMahon, G. Molina, P. Chatterjee, R. Mullis, and S. Nayar, “Picam: An ultra-thin high performance monolithic camera array,” ACM Transactions on Graphics, vol. 32, no. 6, pp. 166, 2013.
[7] “Light gallery,” 2018. [online]. Available: https://light.co/gallery.
[8] Wu G, Masia B, Jarabo A, et al. Light field image processing: An overview[J]. IEEE Journal of Selected Topics in Signal Processing, 2017, 11(7): 926-954.
[9] Adelson, Edward H, and J. R. Bergen. “The plenoptic function and the elements of early vision. ” Computational Models of Visual Processing (1991):3-20.

光场成像的历史与发展相关推荐

DotNET企业架构应用实践-企业管理软件架构的历史与发展（中）- 分布式系统
在前几天的DotNET企业架构应用实践-企业管理软件架构(计算)的历史与发展(上)一文中,介绍了在企业管理软件架构发布中的主机-终端结构.以及客户机-服务器结构.浏览器-服务器结构,本文今天向大家介绍 ...
从未停止！OpenGL的版本历史和发展
由于本文的内容过长,在Chrome浏览器下可能不能完全显示,建议使用IE或者FireFox阅读本文. 来源请注明,本文永久地址为http://www.cnblogs.com/vertexshader/ ...
【转载】自然语言处理（NLP）的历史、发展、成果和难题，以及在教育领域的应用情况
2017年4月21日-22日,由映魅咨询主办的TAB(Tech and Business)教育科技论坛在上海举行.十几位教育投资研究机构.国内外各类教育科技公司的嘉宾,围绕教育及教育科技投资.国际化的 ...
《Cinema 4D + After Effects动态图形设计案例解析》——1.2　动态图形的历史和发展...
本节书摘来自异步社区<Cinema 4D + After Effects动态图形设计案例解析>一书中的第1章,第1.2节,作者 Klet,更多章节内容可以访问云栖社区"异步社区& ...
什么是以太网？以太网的历史，发展和分类。
以太网(Ethernet)指的是由Xerox公司创建并由Xerox.Intel和DEC公司联合开发的基带局域网规范,是当今现有局域网采用的最通用的通信协议标准.以太网络使用CSMA/CD(载波监听多路 ...
【数据库】P1 数据库历史与发展
数据库知识储备库第一部分基于王珊教授老师的<数据库系统概论>以及王珊老师的课程学习拓展记录而成.感谢老师优秀易懂的书籍与用心规划的课程! 书籍:<数据库系统概论>第五版京东购买 ...
OpenGL的版本历史和发展
从未停止!OpenGL的版本历史和发展由于本文的内容过长,在Chrome浏览器下可能不能完全显示,建议使用IE或者FireFox阅读本文. 来源请注明,本文永久地址为从未停止!OpenGL的版本历史 ...
合成孔径成像的应用及发展
一.引言合成孔径成像自20世纪50年代提出,应用于雷达成像,历经70年的研发,已经日趋成熟,成功地用于环境资源监测.灾害监测.海事管理及军事等领域.受物理环境制约,合成孔径在声呐成像中的研发与应用起 ...
云计算知识普及：云计算的历史、发展与未来
原文:http://www.cbinews.com/solution/news/3916.html "云计算"越来越成为人们所关注的一个名词,因为它代表了信息时代的未来. 那么,什 ...

光场成像的历史与发展

光场成像的历史与发展相关推荐

最新文章

热门文章