ISP—图像调试实习生（第七天）

ISP流程—Sensor对接及镜头的标定工作

1、Sensor的接入

2、镜头的标定工作

2.1 黑电平标定

2.2 NR的标定

2.3 Sensor的静态坏点标定

2.4 镜头的Shading标定

2.5 AWB静态白平衡的标定

2.6 CCM标定

2.7 镜头紫边的标定

网络摄像机（IPC）简单介绍

Hi3559AV100/Hi3519AV100/Hi3516CV500 主要面向两大应用场景：IPC安防应用场景和消费类应用场景，其中IPC安防应用场景主要是线性模式和WDR模式；消费类应用场景这里跟我的产品不同相关，这里不做介绍了，IPC安防应用场景由于具有监控行业特殊要求，对图像质量的关注点与消费类应用场景会不同。

其中针对于IPC应用场景主要包括线性模式和WDR两种典型应用，线性模式的图像质量关注维度包括图像亮度的合理性，色彩还原准确性，图像整体清晰度锐利以及图像整体通透性；WDR模式的图像质量关注维度主要是图像整体的动态范围合理，即亮区不过曝，暗区细节看的见，色彩还原尽量准确，图像的整体清晰度锐利以及图像的整体通透性等维度。

图像通透性（知乎）：所谓通透性，定义过于随意，不是一个可以严格界定作品风格的专业名词，空间上有延伸、光线上方向性明确，色彩上有层次感，皆可以说通透性。

空间上的明确，一方面是指透视没有问题，另一方面就是指空间的延伸性。
光的通透通常而言是指光线的方向是不是强。
色彩的通透，这里一半是指色相的明确，但注意的是色相的明确并不是说尽可能的用纯色，需要考虑的到同样的固有色在不同光强、不同环境光下的合理变化，才能创造一个明确的固有色相。

IPC线性模式图像调优

线性模式图像调优流程如下：

1、Sensor的接入

Sensor 对接：主要包括在

Hi3559AV100/Hi3519AV100/Hi3516CV500/Hi3516EV200/Hi3516EV300/Hi3518EV300芯片对接所需要调优的Sensor，如对接 IMX290。Sensor 对接的完成标准主要如下：对接模式的基本通路正常且各个模式之间能够正常切换，AE 基本功能正常包括降低帧率无闪烁、自动

长曝光正常以及 Sensor 驱动各个模块的默认参数合理。

2、镜头的标定工作

标定工作主要设计黑电平校正，NR的噪声标定、静态坏点标定，镜头的Shading标定，AWB白平衡系数的标定、饱和度CCM的标定以及镜头紫边标定等。

Sensor与镜头的标定工作需要严格按照下图所示：

2.1 黑电平标定

黑电平标定：黑电平标定是整个ISP标定流程的第一步，因此正确标定出黑电平对后续的标定会产生积极的影响。需要注意的是不同的sensor在低照度下（高增益），黑电平会产生偏移，从而带来低照度下整体画面的颜色色偏，因此如果sensor的黑电平随着增益的增加，漂移比较大，建议黑电平的标定需要跟据ISO进行联动。

黑电平校正：

黑电平校正需要使用海思的ISP校正工具导入已经抓好的各种增益下的黑电平RAW图像，第一次导入时需要填写图像的相关信息，包括sensor型号，图像尺寸，bayer格式，字节序等，如下图所示：

2.2 NR的标定

在黑电平标定正确的基础上，接下来需要标定NR模块的NoiseProfile。NR模块降噪需要参考噪声标定的NosieProfile，不同的ISO下可以得到一个拟合系数。

（NR）噪声特性校正：图像传感器在任何光照条件下都会产生噪声，可以通过“亮度—亮度分布密集程度”模型对图像传感器的噪声进行描述，有了噪声特性曲线，降噪时可以更加精准的分清楚噪声和细节区域。对于HI3516A/D平台，只需要在校正工具中导入之前抓取的D50色温24色卡RAW图像即可。对于Hi3516CV300平台，则需要使用PQTools中的ISP校正工具进行校准，校准时需要导入多张不同的ISORAW图像(目前的调试忽略这一步骤)。

2.3 Sensor的静态坏点标定

Sensor的静态坏点主要受Sensor的工艺有关，其中包括亮点和暗点，静态坏点的标定受Sensor的分辨率影响，标定的过程需要分别对亮点和暗点进行标定，得到亮点表和暗点表，再将暗点表和亮度表合并，可以得到整个坏点表。

2.4 镜头的Shading标定

镜头的Shading标定主要指Mesh-shading的标定，Shading 主要是由于镜头光学折射不均匀导致的画面暗角，因此 Shading 校正的目的就是为了消除由镜头光学折射不均匀导致的画面暗角。在低照度下由于shading会引起画面暗角的噪声不均匀，因此Shading的校正强度与跟据ISO进行联动，从低ISO到高ISO下，逐步将Shading校正的强度衰减到画面暗角不出现噪声为合适。鱼眼镜头的Shading的标定，建议使用Radial Shading标定。

2.5 AWB静态白平衡的标定

AWB的静态白平衡系数与sensor和镜头的滤光片强度有关，sensor固定下，如果更换镜头和滤光片，AWB的镜头和白平衡系数也是需要重新标定的。标定的基本原理：提取sensor在多个标准光源下的白色特征（R/G，B/G），计算普朗克拟合曲线和色温拟合曲线。

白平衡校准是图像调试过程中非常重要的一个环节，如果白平衡没有校准好，在很多场景都可能出现大面积的偏色现象。

第一步，海思平台的校准需要提供D75，D50和A/F、TL84、自然光6500K、自然光照5000K、室内日光灯3600K等多种光源的RAW图像以及对应的实测色温，并导入到海思的PQtool中的ISPCalibrationtool，如下图所示：

第二步：将以上图像导入ISPCalibrationTool的AWB模块，在下图红框1中，勾选灯箱中抓取的图像，只能勾选3张。点击下图红框2处calibrate按钮，此时校准完成，然后会得到下图红框3中静态白平衡白点和普朗克曲线的参数信息。

白平衡校准完成后，需要将白平衡参数应用到设备中，并将设备的色温范围调大，然后使用imatest对白平衡的准确程度进行评估。评估标准为色温高于CWF/TL84（4000K）光源下第2至第5个灰色块（对应24色卡第20至第23个色块）ΔS小于0.1，色温小于4000K的光源ΔS小于0.2，如下图所示：

2.6 CCM标定

CCM标定的基本原理是使用sensor抓拍到的24色卡场景下的前18个色块的实际颜色信息和其期望值，计算3*3的CCM矩阵，输入颜色经 CCM 矩阵处理得到的颜色与其期望值差距越小，则 CCM 矩阵就越理想。标定 CCM 一般需要采集三种光源的raw(D50、TL84、A)。

CCM校准：在完成白平衡校准之后，要进行CCM色彩校正，色彩校正也是图像中不可缺少的一个重要环节，如果不进行CCM，将可能导致图像发生偏色。海思提供的色彩矩阵校准工具，可以一次性校准三种不同色温广义的色彩矩阵，如果使用海思的算法，只需要校准D50，CWF/TL84和A/F三种光源即可。色彩校准矩阵需要用到海思的ISP校准工具，导入三种不同光源的24色卡，分别为高中低色温，图像导入后适当设置图像包和度和色块权重，使得校准后图像饱和度为100%左右，校准如下图所示：

色彩矩阵校准完成以后，在保存下来色彩矩阵文件可以找到矩阵的数值，如下图所示：

注意使用海思ISP校准工具校准出来的矩阵并不是最终的色彩矩阵。

2.7 镜头紫边的标定

镜头的紫边标定这里主要是指Global CAC的系数的标定，Global CAC主要基于离线标定好的参数进行横向色差的校正，主要原理是对R、B通道进行缩放，使得R、G、B这三种通道成像高度一致，减弱横向色差，R、B通道的缩放与镜头组的特性有关，

紫边标定：Local CAC 主要用来消除图像中出现的紫边问题。

一些关键参数如下所示：