DIY 3D全景摄像机

本文原载于我的主页：planckscale.info，转载于此。

版权声明：原创作品，欢迎转载，但转载请以超链接形式注明文章来源(planckscale.info)、作者信息和本声明，否则将追究法律责任。

目前市面上的VR全景多是二维，没有深度感，若真想拥有身临其境般的体验，深度信息必不可少。诺基亚的OZO，Google的Jump，Facebook开源的Surround 360，都是为3D全景而设计。OZO设备8个鱼眼售价高达三十多万，Surround 360搭载的是Point Grey的相机，硬件成本二十多万，Jump也要搭载十几个GoPro,硬件成本少说也要几万，普通玩家真心想玩也要思量的。如果不追求那么高大上，其实自己就可以DIY出一台3D全景相机。

DIY过程见优酷视频。

组件：

千兆交换机+网络摄像头模组+180°鱼眼镜头+线材

结构：

要实现深度感，结构是关键。

相机可以理解为光线采集设备，采集到的光线与成像平面的交点即像点。

通常的二维全景要求采集到的所有光线汇于中心点，即视点，以视点为中心的球面或圆柱面为成像面，所有光线交于成像面形成全景图，如下图(a)。二维全景相机要求所有相机共中心摆位，即所有相机的光轴相交于视点。

3D全景即左右眼各对应一个全景图。

两只眼睛分别对应两个不同的视点位置，当转头360度时，两只眼睛转过的轨迹即一个以瞳距为直径的圆，称之为Viewing Circle，3D全景要求采集到的所有光线相切于此圆。左右眼采集到的光线分别与成像面相交形成左眼全景图和右眼全景图，如下图(b)(c)。

两只眼睛所在的视点位置投影出的图像称为一个立体对，如图(b)左眼光线1和图(c)右眼光线1即可看成一个立体对，同理左眼中的光线2,3,4,5等与右眼中的2,3,4,5等分别构成不同的立体对。

该图引自文献：Stereo Panorama with a Single Camera.

至于相机摆位一般有两种方案，如下图：

该图引自文献：Jump: Virtual Reality Video.

切向摆位如上图(a):每个相机的光轴相切于Viewing Circle，此种方案一半的相机用于左眼全景（图(a)中绿色相机），而另一半的相机用于右眼全景（图(a)中红色相机）。

径向摆位如上图(b): 每个相机的光轴沿Viewing Circle半径方向，此种方案不区分左右眼相机，每个相机都对两眼的全景图有贡献，因此对每个相机水平视场角有更高要求：R越小，要求每个相机的水平视场角越大。

一般R设计比较大时采用径向摆位，R较小时采用切向摆位。

切向摆位最简单的结构设计即正多边形，每条边上放置两个camera，其sensor中心的距离设为瞳距。如果镜头的视场角足够大，可以设计一个正三角形，用六个camera来实现3D全景。本文介绍的是正四边形八个camera的方案，用Solidworks设计一个简单的支架，预留出上camera的安装孔位。

结构设计及3D打印：

组装：

效果：

原始视频截图

上下3D格式

VR眼镜观看3D效果

目前能实现3D全景的技术无外乎几种：

拼接方案。左右眼的视野分别做拼接融合以达到3D全景的效果，这种方案最简单，可以实时化，其缺点是拼缝难消除。
光流方案。Google Jump以及Facebook开源的算法即此方案，能很好的消除拼缝，但实时化比较困难，适合做后期处理。
光场重建。用有限个相机重建光场，给出真正的3D效果，使用户拥有更多活动自由度，这是终极的VR视频采集方案，但即便在理论上也有很多困难之处。

本文中所用的实时3D全景拼接软件是奇点视觉实时全景拼接方案，演示中为2700万像素实时拼接融合效果。我们目前可以轻易的实现超高分辨率实时拼接和直播，但仍有以下几个问题：

硬件使用了安防用网络摄像头模组，不具备同步曝光功能，因此全景图明暗不均较严重；
近景拼缝明显。3D全景要求设备直径至少等于人眼瞳距，但过大的直径容易导致更严重的拼缝。这是基于拼接方案做3D全景的一个本质困难。

但至少到目前，拼接方案仍然是唯一能做到低开销高分辨率直播的。我们正在研发新一代的实时光流/光场重建算法，希望能解决高质量近景VR直播的问题。

奇点视觉是一个致力于计算机视觉技术的研发和产品化的团队，专注于算法，为了发挥我们的优势，没有去做产品，而是给有能力做产品的公司提供技术解决方案。过去两年，我们专注于安防全景，毫不夸张的说，安防全景技术我们做到了世界顶级水平，已经由客户厂商实现产品化并销往海内外。目前我们致力于把全景技术迁移到VR应用中，并作技术升级，希望能够为更高质量的VR内容贡献一份力量，敬请关注奇点视觉。