今日份黑科技，

是五彩斑斓的、层次鲜明的、有氛围美的。 

假期出游、落日晚霞、秋意捕捉、霓虹人像，朋友圈“摄影大赛内卷”从来都没停歇。在人人都能成为影像创作者的时代，如今，手机的拍照功能也在持续进化：从单摄到双摄、多摄，作为手机成像的决定性因素之一，手机摄像头数量不断增多背后的影像技术又在经历着怎样的革新？

本期“聊聊旷厂黑科技”，将与你一起聚焦手机多摄，了解手机上为什么开孔越来越多，以及AI在多摄时代又将带来怎样的视觉惊喜。

01 多摄平滑变焦，拍啥都清晰好看

即便是单反相机，想要拍到不同的题材，也要手动更换摄像头。然而手机大部分都是定焦摄像头，显然，通过单一摄像头很难打破局限。而手机的多摄像头则可以通过模拟变焦，实现用不同焦段拍摄不同素材，比如焦距更短画面更大、焦距更长能看到更多细节，有空间压缩感。做到不管是拍月亮还是拍人像，都能既清晰又有美感。

可能有人会问，当手机主摄像头达到亿级像素时，是否就可以直接裁剪图像来获得变焦的画面？这里普及一个冷知识，不是像素越高，画质就越好。摄影需要整个系统的搭配和组合，最好的效果是每个焦段内匹配正确的镜头和传感器。

连续变化焦距，是一个算法深度参与的计算过程。单个摄像头模组的成片效果，会受到光学分辨率、信噪比、防抖结构等因素影响。而多摄，涉及到多个模组、算法的联动，图像生成的通路从“光电”变成“光电算一体”，这种情况下，多个模组之间的一致性、装配校准是否准确、算法选用是否足够鲁棒和精确……都非常重要，因此，多摄让算法和算力成为影响画质的重要因素。

在摄像头视野变化的环节，想要消除不同摄像头成像之间接缝处的扭曲或模糊，对实现过渡的算法要求就必须十分苛刻。旷视的多摄平滑缩放算法，采用神经网络设计模型，通过领先的多摄对齐和融合算法，可有效解决不同摄像头切换时的可视范围、亮度和色彩差异，为用户在拍摄远近不同视野的画面时，提供平滑、无感知的摄像头切换体验。

同时，旷视多摄平滑变焦算法兼容多种标定方案，支持超广角+广角、广角+长焦、超广角+广角+长焦+潜望等多种模组组合，为用户提供0.5 倍到 120 倍超长变焦的平滑变焦体验。

02 多摄虚化效果好，人像大片少不了

手机多摄的第二大优势是“虚化”。很多人觉得单反相机专业的原因，重要原因之一就是能够拍出背景虚化的照片。

单反之所以有背景虚化的功能，是因为其镜头的物理尺寸足够大，具有足够大的焦距和光圈。单反相机的光圈可以有像碗口这么大，而手机寸土寸金，想要碗口大的虚化大光圈，口径至少在4厘米左右，根本无法实现。

但两个摄像头在一起，拉开1~2厘米的距离，用算法计算的方式补全两个镜头之间的部分，就能把它合成一个数学上很像2厘米大直径的摄像头，于是我们手机上也就有了虚化的效果。

这里首先要科普一个叫“视差”的几何原理，它广泛存在于多摄像头的矩阵里，摄像头在不同的位置，拍摄到的画面是不一样的。多摄场景下，主摄、副摄等不同摄像头由于所在空间位置不一样，会导致拍摄主体本身长度和位置关系发生变化。

然而仅通过视差原理还不足以拍出“极致感”的照片。因为视差越大，对距离的测量越准确，多摄的融合就会越困难。

这时候，能够测量深度的算法就派上了大用场。如果你需要拍摄烟花下的人像，要拍出光斑交错、人与烟花虚实相间的美感，手机任何单个摄像头都无法实现。而基于双摄的深度计算，能够实现媲美相机的大光圈效果。

不仅如此，在AI算法的加持下，通过手机计算，最终的出片甚至可以让人们误以为来自于单反。如下图，AI算法在其中做了哪些实现“极致感”的事情呢？基于深度学习的算法，手机摄像头能够将类似消防栓铁锁链孔、盆栽细枝孔等里的细节都能还原出来，如果只看图我们很难分辨是手机计算摄影的结果还是单反相机拍摄出来的结果。

同时，相较于行业中其他的双摄虚化算法，旷视希望用AI算法，为行业树立起一个新的标杆，旷视的的AI双摄虚化算法，可快速准确地计算出深度信息，深度过渡平滑、渐变效果真实，形成主体更突出、过渡更自然的图像虚化效果。面对弱纹理、无纹理、重复纹理等对算法要求较高的拍摄场景，效果惊艳。

左图为旷视算法，右图为其他算法

03 双主摄融合，图像更细腻、更清晰

一部巴掌大的手机，摄像头很难做到越来越大、越来越多，更加可靠且可行的办法是实现多摄像头的合理搭配、有机融合。这时候，多主摄融合走上台前。多主摄融合算法通过处理两个摄像头输出的图像并将结果优化结合，从而明显提升最终输出图像的清晰度。

比如，彩色+黑白的双摄镜头融合方案，彩色镜头负责收集图像色彩，黑白摄像头充分把握图像亮度与细节，通过分别集成两个镜头各自优势，可以将一个对颜色感知能力强的摄像头和对结构感知能力强的摄像头进行融合，进而拍出既有鲜明颜色，又细节突出的完美图片。换句话说，多主摄融合不仅能扩展焦段、扩展景深，还能极大提升图像解析力。

如上图所示，多摄组合让手机拍照有了更多可能性，而在各类组合中，旷视的多摄融合算法，可有效解决清晰度不均匀、主体边缘线条弯曲、部分位置重影、线条断裂错位、重复纹理错位等传统多摄融合算法中的常见问题，并已在现实中得到论证。

值得一提的是，此前旷视还率先提出“AI重新定义光感知”理念，将传统光感知系统聚焦在硬件升级、再以算法辅助、优化后期处理这种相对流程化和独立化的运作、升级方式，转变为光感知系统协同配合，软硬协同升级，实现光感知系统全流程的能力提升。

尽管当前手机尚未实现每个算法模块都用上了深度学习，但随着AI算法的领域变得越来越大，手机算力本身也在不停的增加，将来手机里面所有的算法或许都可以使用AI。未来，如果能在排列组合中引入更多摄像头类型，实现更多创新应用，从“光+感+知”独立优化，到“光 x 感 x 知”协同进化，势必能为用户带来更多新奇的摄影体验。

04 从“所见即所得”到“所想即所得”

算法是多个摄像头之间联动的纽带。随着深度学习的发展，AI算法在摄影摄像过程中越来越能大施拳脚，在对齐、超分、降噪、融合、分割、补全方面，让拍摄效果更加极致。

比如，超画质拍照，就能实现 “暗区不死黑、高光不过曝、地面有细节、天空无噪声和人像有质感”等效果，同时支持快拍和连拍功能。降噪功能上，AI会对自然光谱进行学习并总结特性，对相机传感器所捕捉的信号进行分辨，哪些是噪声，哪些是成像需要的信号。最后把需要的部分还原，把噪声的部分去掉。

基于旷视磨炼多年的AI算法，能够最大程度地保留细节同时提升信噪比。画质提升的同时，细节也能够清晰的表现出来。

多摄、深度学习算法为手机摄影带来了几乎一个代际的迭代，那么，未来图像会是什么样呢？也许是AI驱动的图像获取。以AI为中心，摄像头先理解用户意图，进而根据当下的意图去调度相应的传感器，实现图像捕捉。未来，或许不会再有摄影“手残党”，只有想不到，没有不出片，真正实现“所想及所得”。

写在最后

手机需要多摄像头的背后，有三大技术原理：变焦、虚化和融合——单个摄像头无法实现变焦，拍人像、拍月亮、拍山水效果难以兼得；单个摄像头无法巧妙计算景深，拍不出大光圈、前景式氛围感大片；单个摄像头的像素感知能力有限，有些画面，它就是拍不清楚。然而，手机摄像头不是越多越好，也不是越大越好，最重要的是要素之间的匹配。

延展阅读

• 聊聊旷厂黑科技 | 更真切感受影像世界的美好，旷视实时双超AI算法还原你的“夏日回忆”

• 聊聊旷厂黑科技 | 屏下指纹识别，方寸间的谷脊之战

• 聊聊旷厂黑科技 | 为了让手机拍出好照片，我们开发了100多种算法

实习生招聘

旷视研究院视频深度估计、语义分割方向长期招聘实习生，欢迎感兴趣的同学发送简历至liujiangyu@megvii.com