Camera日记(一)-ISP

ISP(Image Signal Processor),既图像信号处理，用于处理图像信号传感器输出的图像信号。它在相机系统肿占有核心主导的地位，是构成相机的重要设备。

背景：图像采集设备存在缺陷

作用：数字图像经过采集、存储、显示，达到与人眼直接目视相近的效果。

还原损失的信息
去除多余的信息
对图像做增强

主要内部构成

如下图所示，ISP内部包含CPU、SUP IP、IF等设备，事实上，可以认为ISP是一个SOC，可以运行各种算法程序，实时处理图像信号。

CPU：即中央处理器，可以运行AF、LSC等各种图像处理算法，控制外围设备。现代的ISP内部的CPU一般都是ARM Cortex-A系列的，例如Cortex-A5、Cortex-A7。
SUP IP：是各种功能模块的通称，对图像进行各自专业的处理。常见的SUB I如DIS、CSC、VRA等。
图像传输接口：主要分为两种，并口ITU和串口CSI。CSI是MIPI CSI的简称，鉴于MIPI CSI的各种优点，在手机相机领域，已经广泛使用MIPI-CSI接口传输图像数据和各种自定义数据。外置ISP一般包含MIPI-CSIS和MIPI-CSIM两个接口。内置ISP一般只需要MIPI-CSIS接口。
通用外围设备：指I2CSPI、PWM、UART、WATCHDOG 等。ISP中包含I2C控制器，用于读取OTP信息，控制VCM等。对于外置ISP，ISP本身还是从设备。AP可以通过I2C控制ISP的工作模式，获取其工作状态等。

主要功能特性

DEMOSIC：DENOSIC是ISP的主要功能之一。Sensor的像素点覆盖着CFA，光线通过CFA后照射到像素上。CFA由R、G、B三种颜色的遮光罩组成，每种遮光罩只允许一种颜色通过，因此每个像素输出的信号只包含R、G、B三者中的一种颜色信息。Sensor输出的这种数据就是BAYER数据，即通常所说的RAW数据。显而易见，RAW数据所反映的颜色信息并不是真实的颜色信息。DEMOSIC就是通过插值算法将每个像素所代表的真实颜色计算出来。
FOCUS：根据光学知识，景物在传感器上成像最清晰时处于合焦平面上。通过更改 LENS 的位置，使得景物在传感器上清晰的成像，是 ISP FOCUS 功能所需要完成的任务。FOCUS 分为手动和自动两种模式。ISP 可以运行 CONTRAST AF、PDAF、LASER AF 等算法实现自动对焦。
EXPOSURE：曝光。EXPOSURE 主要影响图像的明暗程度。ISP 需要实现 AE 功能，通过控制曝光程度，使得图像亮度适宜。
WB：白平衡。白平衡与色温相关，用于衡量图像的色彩真实性和准确性。ISP需要实现 AWB 功能，力求在各种复杂场景下都能精确的还原物体本来的颜色。
LSC：用于消除图像周边和图片中心的不一致性，包含亮度和色度两方面。ISP 需要借助 OTP 中的校准数据完成 LSC 功能。
GAMMA CORRECTION：伽玛校正。传感器对光线的响应和人眼对光线的响应是不同的。伽玛校正就是使得图像看起来符合人眼的特性。
CROP/RESIZE：图像裁剪，即改变图像的尺寸。可用于输出不同分辨率的图像。
VRA：视觉识别。用于识别特定的事物，例如人脸识别，车牌识别。ISP通过各种VRA算法，准确的识别特定的景物。
DRC：动态范围校正。动态范围即图像的明暗区间。DRC可以使暗处的景物不至于欠曝，而亮处的景物不至于过曝。ISP需要支持DRC功能。
CSC：颜色空间转换。例如，ISP会将RGB信号转化为YUV信号输出。
IS：图像稳定。IS的主要作用是使得图像不要因为手持时轻微的抖动而模糊不清。IS有很多种，例如OIS、DIS、EIS。ISP可以实现DIS和EIS。

事实上，ISP 除了上面提到的主要功能外，还需要支持 DENOISE、CONTRAST、SATURATION、SHARPNESS 等调整功能。

控制方式

这里所说的控制方式是AP对ISP的操控方式。

I2C/SPI：这一般是外置ISP的做法。SPI一般用于下载固件、I2C用于寄存器控制。在内核的ISP驱动中，外置ISP一般是实现为I2C设备，然后封装成V4L2-SUBDEV。
MEM MAP：这一般是内置ISP的做法。将ISP内部的寄存器地址空间映射到内核地址空间。
MEM SHARE：这也是内置ISP的做法。AP这边分配内存，然后将内存地址传给ISP，二者实际上共享同一块内存。因此AP对这段共享内存的操作会实时反馈到ISP端。

本文部分内容转载自公众号光学日记

Camera日记(一)-ISP相关推荐

Camera系统之ISP综述(一)
1.ISP位置 ISP(Image Signal Processor),即图像信号处理器,用于处理图像信号传感器输出的图像信号.它在相机系统中占有核心主导的地位,是构成相机的重要设备. 主要内部构成 ...
【camera】【ISP】Lens Shading Correction镜头阴影校正
ISP-LSC 镜头阴影校正参考: https://zhuanlan.zhihu.com/p/389334269 https://blog.csdn.net/xiaoyouck/article/de ...
Android高通平台调试Camera驱动全纪录
项目比较紧,3周内把一个带有外置ISP,MIPI数据通信,800万像素的camera从无驱动到实现客户全部需求. 1日搭平台,建环境,编译内核,烧写代码. 我是一直在Window下搭个虚拟机登服务器 ...
安卓camera总体框架
今天是周五了,时间过得真快,通常这个时候,我都还沉醉了上班的状态中,说到上班,我是认真的,我非常喜欢上班,特别是今天,我会听到一声优美的声音,我的银行卡会多出一些钱,而这些最粗鲁的奖励也是我最讨厌的, ...
Camera tuning岗位面试总结
1.背景: 坐标上海,在一家做网络摄像头的方案公司从事ISP调试的工作,从毕业就在这家公司,工作了差不多4年的时间,前2年半时间从事测试的岗位,后1年多的时间转岗到了ISP调试的岗位,最近计划换工作, ...
【qcom Android camera调试纪要】
qcom Android camera调试纪要 1.平台适配 1.1.kernel端 1.2.vendor端 1.2.1.cameraService lib代码注意:需要在vendor\qcom\p ...
Camera CMOS Sensor成像原理
时至今日,手机相机已经是我们几乎无法离开的最重要工具之一. 而且每次手机发布,手机的相机也是我们除了处理器之外最为关键的卖点之一.但是你真的知道它是怎么运转的吗? 看到这里,就有人要问了,大哥,我用相 ...
请把Camera hold住 - Android高通平台调试Camera驱动全纪录
项目比较紧,3周内把一个带有外置ISP,MIPI数据通信,800万像素的camera从无驱动到实现客户全部需求. 1日搭平台,建环境,编译内核,烧写代码. 我是一直在Window下搭个虚拟机登服务器 ...
都是做嵌入式凭什么高薪offer归别人
问题谈一个大家都关心的问题:我如何才能拿下高薪offer. 辛苦工作当然不只是为了钱,钱也不是唯一衡量我们贡献的标尺. 然而你不得不承认,赚钱多少确实是世俗社会对一个人成功程度的评价,而且更高的薪资 ...

Camera日记(一)-ISP

主要内部构成

主要功能特性

控制方式

Camera日记(一)-ISP相关推荐

最新文章

热门文章