本文从芯片以及算法层面科普华为在摄影方面的创新。

内容极为硬核

麒麟9000作为全球首款5nm 5G SoC，在影像领域的技术创新堪称跨越式升级，麒麟9000作为全球首款5nm 5G SoC，在影像领域的技术创新堪称跨越式升级，助力华为Mate 40系列手机一举霸榜DXO排行榜NO.1。

此次影像系统升级主要包含两个方面

1.首先麒麟9000内置了华为最先进的ISP 6.0，实现了50%的吞吐率提升，48%的噪声消除提升，图像处理能力更强。

2.麒麟9000业界首次实现了ISP+NPU融合架构，将超强的细节还原、降噪能力带入视频领域，暗光环境下拍摄的视频更加清晰、细节展现淋漓尽致，再次突破了手机影像能力的边界。

ISP+NPU融合架构是如何赋能手机影像系统的？

我们来剖析一下背后的技术原理：

1

搭档RYYB CFA，助力实现更强夜摄效果与色彩还原

数字影像时代，图像传感器成为代替胶卷的感光材料，让手机等轻薄设备也能拥有不凡画质。图像传感器(image sensor)常常与色彩一同被提及，但是事实上图像传感器是位“色盲”，拍出来的照片是黑白的，需要色彩滤波器(CFA，Color Filter Array)的帮助才能获得色彩信息。拜耳阵列RGB色彩滤波器

上图是典型的RGB CFA，1976年由柯达的拜耳发明。下面灰色的色块是一个个感光PD部分，光子在这里转换成电信号；上面R/G/B(红/绿/蓝)三种颜色的色块是色彩滤波器，白光透过RGB颜色滤波器后，分别滤出红/绿/蓝光，在灰色PD部分被吸收。

认识了Sencor和RGB CFA之后，再来了解手机拍照中的三个重要模块：

三个重要的模块决定了照片的颜色还原和细节还原

首先，不同于胶卷相机通过物理方式成像，数码相机在直出图片时需要经过多重算法支持，深度处理Sencor和滤波器获得的信息。这一流程中，最重要的三个模块就是Demosaic差值算法、自动白平衡、色彩校正。

1.Demosaic差值算法：在RGB Bayer Pattern(拜耳阵列)下，每一个Pixel(像素)上只能采集一个颜色通道的信息，其他2种颜色信息是缺失的，需要通过插值算法，利用相邻其他颜色的像素信息计算出缺失的2个颜色信息，这样每一个像素都有了全部的颜色信息。这个“去马赛克”的过程叫做Demosaic差值算法，也是整个ISP通路中最重要的模块之一。

2.自动白平衡(AWB，auto white balance)：由于色温影响，白色在不同色温下呈现不同的颜色，在低色温下会偏黄，高色温下会偏蓝。白平衡的作用是让白色物体在任何色温下RGB的比例关系都为1:1:1，呈现出白色。比较常用的AWB算法有灰度世界，完美反射法等。

3.色彩校正(CCM，color corr matrix)：相机的感光曲线和人类不同，AWB校准白色之后，其他颜色的准确度还需要用一个CCM矩阵来校准。

ISP+NPU融合架构完美支持新型CFA RYYB，实现更精准的色彩还原

想要稳占手机影像行业顶级阶梯，必须坚持创新、深耕研发。

2019年，为了在手机端像素大小有限的情况下尽量提升画面效果，华为P30系列首采用了具备RYYB CFA的新型超感光图像传感器，这种传感器中Y(yellow)的光谱响应更宽、光谱覆盖更广、能够感应到更多光子，总进光量可以提升30%-40%左右，在暗光场景中对Luminance信噪比提升显著，夜拍效果更胜一筹。

然而，这种性能更强的传感器并不好驾驭。对于大部分采用RGB滤波器的数码相机来说，传统ISP中Demosaic差值算法、自动白平衡、色彩校正已经可以完成比较精准色彩还原。但面对RYYB CFA，传统ISP pipeline中的各个模块无法应对Y像素所蕴含的丰富颜色信息量，也无法对RYYB传感器精准插值还原物体细节。

简单来说，可以将RYYB CFA理解为在R通道上比传统RGB CFA多一个颜色通道，其中Y通道能够同时吸收绿光和红光，同一通道中进入两种颜色，G需要通过Y-R来得到，差值计算的难度也更加复杂，因此传统ISP无法胜任，必须针对RYYB CFA来定制新的技术。       为了更好地发挥超感光传感器的性能，华为采用了AI神经网络Demosaic算法、全新的AI色彩AWB和颜色算法CCM管理模块，并整合进Kirin ISP Pipeline图像处理的通路当中。各模块的神经模型网络经过大量的RYYB sensor RAW数据训练后，能有效找到物体细节和色彩分量之间的复杂映射关系，在传统ISP处理架构上突破性地用计算摄影的方法，实现对新型CFA RYYB的完美支持。这一次，在麒麟芯片强劲的AI性能支持下，ISP和NPU创新升级融合架构实现了对新型CFA RYYB的视频实时处理，使得4K视频暗光细节表现和色彩还原效果得到了大幅升级。

2

数据与信息直通，实现实时视频的像素级处理

麒麟9000首创ISP+NPU融合架构，通过精密设计的融合架构将ISP处理流水线和NPU矩阵计算有效结合，实现了实时视频的像素级处理。ISP+NPU融合架构的最大优势在于数据和信息的直通。通过硬件直连的方式将NPU计算直接融入ISP的Pipeline中，利用SmartCache 2.0的大容量、大带宽能力，形成数据流的乒乓处理，即输入数据流和输出数据流都是连续不断的，没有任何停顿，完成数据的无缝缓冲与处理。

通过这一硬件的帧内和帧间信息直通机制，麒麟9000能够高效完成ISP和NPU在多场景下的控制信息重配置，即使在一帧内也能实现多个算法无缝切换，如此一来，升级的华为Davinci 2.0架构NPU具备的强大算力也得以充分发挥。

通俗的讲，我们所看到的视频是通过静态帧连续变化组成的，手机在处理一段24帧/秒的视频时，意味着需要每秒处理24张静态画面，因此处理视频远比处理静态照片更复杂， 像素级实时视频处理更是需要ISP与NPU协同完成，并且对协同效率提出了更高要求。

传统的视频流智能处理流程中，ISP与NPU交换数据的单位是帧，在ISP+NPU融合架构下，二者之间的帧内和帧间信息直通，ISP与NPU采用slice(切片)级数据交互，同一帧的内容能够被拆分成更小的单位，数据能够快速地在ISP与NPU间互传，硬件之间极速响应无需等待，同等效果所需的时间更短，在同等时间内能够完成更复杂的任务。

举个例子，两人合作装饰一个蛋糕，A摆放草莓、B摆放蓝莓，A摆放草莓需要1分钟、B摆放蓝莓需要1分钟，装饰过程共需要2分钟。如果将蛋糕切为4块，A在1/4蛋糕上摆放好草莓后直接传递给B，B开始摆放蓝莓，以此类推，整个制作环节只需要1分15秒，效率更高。  (注：切蛋糕仅为比喻，视频处理中每次切块需要做overlap，实际每块会比1/4稍大)。

实际应用中，麒麟9000能够在4K视频场景下每个33ms甚至更低的间隔内完成海量计算任务，夜景等复杂环境下兼顾丰富细节的精准色彩还原，正是因为ISP+NPU融合架构的处理效率更高，充分发挥了ISP、NPU的强劲性能。

3

高效联合计算优化，性能与能效收益更优

ISP+NPU融合架构的另一个优势在于采用了更高效的联合计算优化，获得了更高的性能和能效收益，针对AI Demosaic、AI AWB等算法在架构上支持了更高效的整网融合，可以使计算更快更高效。

强劲的性能升级之下，麒麟9000依然保持了良好能效。一方面，麒麟9000针对大输入的数据场景做了智能切块处理，能够大幅降低网络中间层计算内存的需求，能够很好的控制功耗。同时，麒麟9000还可以在通过FP16高精度计算保证计算精度的情况下，通过量化工具智能寻找数据进行低比特混合量化，进一步降低功耗最高达20%。

此外，Slice级的数据交互有效地控制了算法时延，降低了NN计算的输入大小，有利于发挥SmartCache的低功耗能力，使得视频场景下具有更好的功耗收益。综合来看，麒麟9000在赋能手机在影像系统能力升级的情况下，功耗依然可控，使广大用户能够尽情挥洒影像创意，而无需担心手机续航问题。

一直以来，华为手机在影像技术方面都具有非常强大的表现，这离不开麒麟芯片的鼎力支持。

2015年，华为首次完成自研ISP设计，应用于麒麟950，确定了华为手机在拍照领域的领导地位。

2019年，华为P30系列创新支持超感光RYYB传感器，带来令人惊讶的画质和暗光拍摄能力，至今这一技术在业界依然一骑绝尘。

如今，华为凭借多年来在ISP、NPU领域的研发经验，对图像端到端技术有着更加深入的研究，从芯片架构的视角总览全局，在紧密的ISP流水线设计中巧妙嵌入NPU能力，首创ISP+NPU的融合架构，造就了手机影像能力的新高峰