ISP【二】————camera ir图

1. 加串解串芯片作用？

A: 加串和解串是成对出现的，串行器在模组内，将并行信号转换为串行信号，然后用一根线可以实现远距离传输。sensor输出的raw data如果不加串，需要８根线传输，很难传输很远，加串之后，一根线即可传输，而且能实现远距离传输（十几米都可以）。加串后的数据，通常通过lvds协议进行传输，从模组内传输到soc端，整个流程是：

raw->isp->加串->lvds接口把数据从模组内传输到开发板->开发板侧解串器解串->解串后的数据按mipi协议包装->soc内部mipi模块硬解mipi数据->数据保存在ddr/sram中供上层使用。

注意：

mipi是板内和soc的串行接口协议，传输速度很快，解串后的数据，通常要包装成mipi格式，然后传输到soc端，由soc端的mipi模块进行硬解。

lvds是控制器和camera之间的通信协议，是板间通信接口。lvds是一种通信方式的统称，fpdlink是TI的lvds叫法，美信的叫GMSL.

2: camera模组内一定要有ISP吗？

A: 不一定。sensor输出的是raw data, ISP可以对raw data进行处理，例如raw转yuv，也可以对图像进行自动曝光、自动白平衡、去噪等，ISP是专用的图像处理芯片，对这类任务，计算效率高、效果好。当camera模组内拥有ISP时，ISP能很好的完成这些工作。当模组内没有ISP时，这些工作就要在系统端（比如你的host机器上）进行完成了，你要在cpu上进行raw格式转换、白平衡调节等工作，这是很耗cpu资源的。当然，现在一些开发板/soc上也带有ISP，当模组没有ISP时，可以用soc上的ISP对解串后的raw数据进行处理。比如华为的麒麟芯片，就拥有功能很强强大的ISP，可同事处理多路camera数据流。

3: 模组内若有ISP，数据流是什么顺序？

A: sensor输出raw data —> ISP处理 —>加串芯片把数据转为串行 —>解串芯片 —> 数据经USB发送到host.
即，先经ISP处理，在加串。如果没有isp，则直接加串。

4: RAW格式是什么？

A: RAW data格式： RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据（Metadata，如ISO的设置、快门速度、光圈值、白平衡等）的文件。RAW是未经处理、也未经压缩的格式，可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。sensor的每一像素对应一个彩色滤光片，滤光片按Bayer pattern分布。将每一个像素的数据直接输出，即RAW RGB dataRaw data（Raw RGB）经过彩色插值就变成RGB.

5: 曝光/AE算法简介

１: ir camera，通常配有led灯，一旦led选型结束，led的功率就固定了，比如1w/3w的ｌｅｄ灯。AE算法不会改变LED灯的功率。
２：led灯，有两种工作方式，一种是常亮，通常配合rolling shutter的sensor（因为是逐行扫描，所以ｌｅｄ要常亮）；第二种是sensor曝光时，led灯才工作，曝光结束后，led就关闭（省电）。通常配合global shutter的sensor。
３：对于30fps的camera, 曝光时间最长是１０００ｍｓ/ 33 = 33.33ms，即曝光时间必须在这个范围以内。曝光和图像传输，通常是同步的，即ｓｅｎｓor在本次曝光时，上一次的图像数据可能在忘寄存器里写＝》传输到上位机。
4 : 曝光时间越长，光电转换时间越长，图像趋向越亮.
5：ＡＥ算法通常由ｉｓｐ去实现（on 0144这款ｓｅｎｓｏｒ,sensor内自带了简化的ａｅ算法，不需要ｉｓｐ，但是效果很一般）。ｉｓｐ控制ｓｅｎｓｏｒ的曝光时间，通过和用户设定的图像亮度阈值比对，动态调整曝光时间或ｓｅｎｓｏｒ增益，进而控制图像亮度。

参考资料：

【1】https://blog.csdn.net/lgfun/article/details/99640748

【2】https://blog.csdn.net/lgfun/article/details/100581240

【3】https://blog.csdn.net/lgfun/article/details/99640748