Camera ISP技术

Camera ISP技术
ISP图像信号处理
• 1，ISP图像信号处理介绍
• 2，ISP的目的是什么？
• 3， ISP的处理流程以及算法
o 3.1镜头的几何变形
o 3.2 镜头渐晕
o 3.3 曝光控制：曝光不足
o 3.4 Optical Black Clamping
o 3.5 Image Compression
• 4 ISP的内部组成
• 5 ，IC ISP架构
o 5.1 NuCORE Sip1270 DBE
• 5.2 TI TMS320DM270
• 5.3 DM270 CCD

1.ISP图像信号处理介绍
ISP(Image Signal Processing) 图像信号处理。主要用来对前端图像传感器输出信号处理的单元，以匹配不同厂商的图象传感器。相机用图像处理器ISP（Image Signal Processor）。被管道化的图像处理专用引擎可以高速处理图像信号。也搭载了为了实现Auto Exposure / Auto Focus / Auto White Balance评测的专用电路。另外，THine开发的减噪等图像处理模块，能令各个CMOS传感器实现最高画质。

ISP的目的是什么？
像素对某些波长组之间的光很敏感，本质上是颜色不可知的。获取彩色图像的方法是在顶部放置一个滤镜（通常是拜耳图案滤色镜），然后对相邻像素的颜色进行插值。8 MP CMOS不会为每个像素感应红色，绿色和蓝色，而是为每个像素感应一种颜色，然后ISP根据旁边的颜色猜测颜色。这就是所谓的去马赛克，可能是ISP的主要工作，并且有许多秘密的调味方法来计算此插值图像。此外，ISP还负责其他所有内部管理工作，可以控制相机系统的自动对焦，曝光和白平衡。最近添加了对不完善的镜头系统（例如，在instagram中添加的不完美镜头系统所赋予的渐晕或色差）等镜头缺陷的校正，以及HDR重组，降噪，其他滤镜，脸部校正或脸部校正等功能。对象检测以及色彩空间之间的转换。ISP的功能之间存在差异，但这实际上是将拜耳数据获取到可行的图像阵列中的控制器。

3.ISP的处理流程以及算法
如下所示是一个典型的数字相机 Pipeline处理流程：

ISP处理算法大致包括：
Bayer、黑电平补偿（black level compensation）、镜头矫正（lens shading correction）、坏像素矫正（bad pixel correction）、颜色插值（demosaic）、Bayer 噪声去除、白平衡（AWB）矫正、色彩矫正（color correction）、gamma 矫正、色彩空间转换（RGB 转换为 YUV）、在YUV 色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制，图像压缩等。
3.1镜头的几何变形

3.2 镜头渐晕

3.3 曝光控制：曝光不足

3.4 Optical Black Clamping

3.5 Image Compression

ISP的内部组成
如下图所示，ISP内部包含 CPU、SUP IP、IF 等设备，事实上，可以认为 ISP 是一个 SOC（system of chip），可以运行各种算法程序，实时处理图像信号。

CPU：CPU 即中央处理器，可以运行 AF、LSC 等各种图像处理算法，控制外围设备。现代的 ISP 内部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。
SUB IP：SUB IP 是各种功能模块的通称，对图像进行各自专业的处理。常见的 SUB IP 如 DIS、CSC、VRA 等。
图像传输接口：图像传输接口主要分两种，并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的简称，鉴于 MIPI CSI 的诸多优点，在手机相机领域，已经广泛使用 MIPI-CSI 接口传输图像数据和各种自定义数据。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 两个接口。内置 ISP 一般只需要 MIPI-CSIS 接口。
通用外围设备：通用外围设备指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用于读取 OTP 信息，控制 VCM 等。对于外置 ISP，ISP 本身还是 I2C 从设备。AP 可以通过 I2C 控制 ISP 的工作模式，获取其工作状态等。
5.IC ISP架构
5.1 NuCORE Sip1270 DBE

5.2 TI TMS320DM270

5.3 DM270 CCD

参考链接：
https://cloud.tencent.com/developer/article/1816477

Camera ISP技术相关推荐

从FPGA到camera ISP漫谈
从FPGA到camera ISP漫谈参考文献链接 https://mp.weixin.qq.com/s/RBzN1Ii3_AH3omljmAByNA https://mp.weixin.qq.com ...
新一代图像AI ISP技术
新一代图像AI ISP技术 2021年12月29日消息,近日,华为海思发布了新一代的越影AI ISP,这是用于物联网智能终端的新一代智能图像处理引擎,突破传统 ISP 图像处理的极限,将业界画质标杆推 ...
IP SOC与Camera ISP
IP SOC与Camera ISP FH8858V200: 新一代8M高性能网络摄像机 SoC FH8858V200是新一代面向8M专业型网络摄像机应用的高性能H.265/H.264/JPEG SoC ...
手机与Camera CCM技术发展趋势
手机与Camera CCM技术发展趋势 CCM是CMOS Camera Module 互补金属氧化物半导体摄像模组的英文缩写,用于各种新一代便携式摄像设备的核心器件,与传统摄像系统相比具有小型化,低功 ...
【高通SDM660平台 Android 10.0】(13) --- Camera ISP 之数字成像系统介绍
[高通SDM660平台 Android 10.0] --- Camera ISP 之数字成像系统介绍一.成像系统的组成 1.1 视角 1.2 曝光 1.3 感光度 ISO 1.4 光源 1.5 光 ...
【高通SDM660平台 Android 10.0】(14) --- Camera ISP
[高通SDM660平台 Android 10.0]--- Camera ISP 一.Camera ISP 与 DSP 区别 1.1 名词解释 1.2 功能解释 1.3 手机摄像头ISP是独立好还是内置 ...
Linux应用程序开发笔记：nanopi-m4（rk3399）camera isp（附OV4689 4-lane-MIPI驱动，支持1080p@120fps）
参考资料: NanoPi M4资料: http://wiki.friendlyarm.com/wiki/index.php/NanoPi_M4/zh Rockchip-isp介绍: http://op ...
Camera ISP - Gamma 矫正
这是第一篇 Camera ISP 的文章,主要从自己收集到的资料来试着描述下关于 Gamma 的理解,需要注意的是目前为止我了解到的有关于 Gamma 的说法还是众说纷纭,各处都不甚一致,在尽可能收集 ...
Camera ISP与DSP的区别(二十五)
制式和帧格式是两个东西,制式是指PAL,NTSC这些东西: 帧格式是指图像的宽度.高度等这些东西. 摄像头主要采用PAL和NTSC制式,采用PAL制式的摄像头为模拟摄像头,采用NT ...

Camera ISP技术

Camera ISP技术相关推荐

最新文章

热门文章