数码摄影重要流程—

在数码摄影中时常会听到ISP这个词，本篇文章就详细地介绍ISP究竟是什么东西？

ISP，image signal processor，是随着智能手机的普及，手机中的图像信号处理器。手机拍照时传感器所输出的图像原始数据（raw data）并非我们平时看到的那样，我们所看到的显示在手机屏幕上的图像都是经过ISP处理过后的图像。如下图，手机传感器所输出的原始图像通常噪声大、颜色暗淡、亮度低，只有经过ISP处理后才能获得符合我们人眼感受的图像。

▲ ISP处理前后效果图

下图是典型的ISP流程图，但实际上ISP可以不同的顺序实施这些步骤，甚至可能更加复杂，不过都会以某种方式完成这些处理模块。

▲ ISP流程图

黑电平补偿（BLC）

在理想情况下，没有光照射的像素点其响应值应为0。但是，由于杂质、受热等其它原因的影响，传感器存在着暗电流，使得没有光照射到的像素点也会产生响应。

▲ 黑电平补偿前后效果图

黑电平（Black Level）是用来定义图像数据为0时对应的信号电平。为减少暗电流对图像信号的影响，我们需要找到黑电平，并从已获得的图像信号中减去黑电平，从而获得一个更高对比度的图像。

镜头校正（LSC）

由于镜头本身的物理性质，传感器捕获的图像会表现出中心亮度高、边缘亮度低的特点。为了输出一个亮度均匀的图像，需要对图像进行镜头阴影（Lens Shading）校正。

校正的方法是根据一定的算法计算每个像素对应的亮度校正值，从而补偿周边衰减的亮度。通常，镜头校正方法有二次项校正、四次项校正等。

▲ 镜头校正前后效果图

坏点校正（BPC）

由于传感器可能存在部分缺陷像素，导致一些像素点输出信号不正常，出现白点或黑点，也就是坏点。同时，随着传感器老化，也可能会出现更多的坏点。因此，需要对坏点进行修复。

坏点修复方法通常有两种：一种是自动检测坏点并自动修复，另一种是建立坏点像素链表进行固定位置的坏点修复。

▲ 坏点校正前后效果图

去马赛克（Demosaic）

因为传感器只能光的强度，而不能直接感知光谱信息。因此，需要在传感器前加上滤光板来选取波段。但是，如果每个像素点都同时感知RGB三个分量，则需要三块滤光板，这样不仅成本高，而且难度大。因此，通常采用Bayer型的色彩滤波阵列（Color Filter Arrays，CFA）来获取场景的光谱信息

▲ 图一为Bayer型CFA，图二为传感器感光示意图

从上面的示意图可见，每个像素只能探测一个通道的光信息，所以理想的Bayer图是一个较为昏暗的马赛克图。然而，为了获得彩色图像，需要计算出每个像素缺失的其它两个通道的响应值，即进行颜色插值处理。通常，经典处理方法包括最近邻域法、Bilinear插值、Cubic插值等。

去噪声（Denoise）

光照强度和传感器是产生噪声的主要因素。由于手机传感器的尺寸远小于普通相机，手机拍摄所产生的噪声会更多，所以需要更强的去噪能力。同时，当信号经过ADC时也会引入噪声。因此，这些都会使得图像质量变差。通常，经典的去噪算法包括均值滤波、中值滤波、高斯滤波等。

不同ISP的去噪模块可能会在不同的环节进行，但去噪原理没有本质不同。

▲ 去噪前后效果图

自动白平衡（AWB）

在往期许多文章中都提到了白平衡。白平衡是ISP中的一个重要模块。白平衡的主要目标就是在不同环境下，准确还原场景中的中性色（黑白灰）。因为在不同色温的灯光照射下，物体会呈现出不同的颜色，但人眼感知系统具有将这种差异趋向最小化的特性。因此在日出（色温偏低）和正午（色温偏高）的时候，我们看到的物体颜色基本都差不多。为了让相机也有这样的特性，我们首先得将图像中的中性色调整到标准光源照射下所显现出来的颜色。

▲ 白平衡处理前后效果图

颜色校正（Color Correction）

在校正完白平衡后，我们只是将图像中的中性色校正到人眼看到的样子，我们还需要对彩色进行校正。因为人眼对可见光的频谱响应度和半导体传感器频谱响应度之间存在差别，故而得到的颜色RGB值会存在偏差，因此，必须对颜色进行校正，让整幅图像更符合我们人眼所看到的样子。通常，可用一个3x3的颜色变化矩阵来进行颜色校正。

伽马校正（Gamma Correction）

相机传感器对亮度的感受是线性的，而人眼对亮度的感受是非线性的。为了让图像与人眼感知的色貌相符合，需要将相机采集的图像进行伽马校正。

▲ 人眼与相机的感光特性

图像压缩

最后，为了减小图像占用的存储空间，通常会将图像数据进行压缩，丢弃那些肉眼无法识别的信息，再用一些编码技术来提高信息利用率。其中，最常用的编码格式当然就是JPG 格式了。

总结

本文介绍了相机在使用传感器记录拍摄景物的光学信号后进行的常见处理流程。可见，整个ISP处理流程非常复杂。除了以上提到的，ISP中还有许多其它模块，如HDR、自动曝光控制 (AEC)、锐化等，这些模块都对最终成像结果产生了重要的影响。这些内容可以关注我的后续文章。

图文主要参考资料：

Michael S. Brown. ICCV 2019 Tutorial – Seoul, Korea

Jin W, He G⁎ , He W, et al. A 12-bit 4928 × 3264 pixel CMOS image signal processor for digital still cameras[J]. INTEGRATION the VLSI journal, 2017:206-217

https://cloud.tencent.com/developer/article/1934162

https://zhuanlan.zhihu.com/p/413869377

数码摄影重要流程——ISP相关推荐

计算摄影：相机成像流程 —— ISP
我们用单反或者手机拍照的时候,从取景到最终出图,是有一个完整的 pipeline 的,今天我们就大概介绍一下这个 pipeline:如何从环境光到 RAW 图再到最后的 JPEG 图. sensor ...
【音视频】浅学ISP数据处理流程
目录前言 **ISP和DSP的作用:** **图像处理流程:** 一.ISP概念二.ISP 处理流程 1. Bayer pattern(拜耳滤色片) 2. BLC 黑电平补偿 (Black lev ...
ISP图像处理流程介绍
文章目录 1 ISP功能 1.1 器件控制 1.2 格式转换 1.3 画质优化 2 ISP算法流程 ISP功能器件控制控制Sensor的Shutter(快门).Gain(增益) 控制镜头变焦.聚焦 ...
海思平台ISP与图像的IQ调试(1)
目录一.何为ISP何为IQ调试 1.ISP概念剖析 2.在哪里做ISP 3.何为IQ 4.ISP和IQ总结二.海思MPP中ISP的实现框架 1.官方文档 2.sample中ISP相关部分再次解读 ...
6 海思Hi3518E的ISP及其3A
ISP主要坐下面的工作: AEC(自动曝光控制).AGC(自动增益控制).AWB(自动白平衡).AF(自动对焦)色彩校正.Lens Shading.Gamma 校正.祛除坏点.Auto Black L ...
键盘摄影（七）——深入理解图像信号处理器 ISP
写在前面,本文为笔者参考了很多篇博客,传感器手册,芯片手册,汇总了 ISP 可能涉及到的步骤流程,整理所得万字长文,并针对 ISP 芯片流程图总结画出了题图的 ISP流程图,如有错误轻喷. 主要包含: ...
海思 ISP 3A开发技术
海思 ISP 3A开发技术 1.概述 1.1 概述 1.2 功能描述 1.2.1 设计思路 1.2.2 文件组织 1.2.3 开发模式 1.2.4 内部流程 2. 使用者指南 2.1 软件流程 2.2 ...
海思3559万能平台搭建：添加一个新的sensor
前言海思对摄像头的支持是只有固定的,如果我们想更换新的相机,让fpga接入通过lvds接口给3559提供视频源的话,除了相关配置,还需要添加新的sensor库,编译新的isp库,而且,如果移植不 ...
LPC17XX系列ISP升级流程
ISPLPC17XX系列ISP升级流程说明:在ubuntu下通过"U转串"模块跟LPC17XX开发板的UART0连接上,通过ISP对LPC程序升级. ISP命令及升级流程简要说明 ...

数码摄影重要流程——ISP

▲ 坏点校正前后效果图

数码摄影重要流程——ISP相关推荐

最新文章

热门文章