计算机视觉理论笔记 (3) - 图像采集 (Image Acquisition)

计算机视觉笔记 - 图像采集

Introduction
镜头 (lens)
图像传感器 (Image Sensor)
彩色图像
单传感器数码相机
颜色插值 (Color Interpolation)
- 近邻法 (Nearest Neighbor)
- 双线性法 (Bilinear)
色彩校正(Colour Correction)
- 色彩校正设备 (Colour Calibration Equipment)
- Macbeth颜色检查器 (Macbeth Colour Checker)
- Gamma校正 (Gamma Correction)
白平衡 (Automatic White Balance)
- 预定义方法
- 自动方法 - grey-world assumption
自动对焦 (Automatic Focusing)
自动曝光 (Automatic Exposure)
分辨率 (Resolution)
整个图像采集流程

Introduction

在机器视觉中，图像是3D场景的2D投影。

镜头 (lens)

焦距f是将入射的平行光线聚焦到单个点所需的距离，其表示镜头的放大特性。
F-number = f / D表示集光特性 (D表示镜头大小)。 F越小，收集的光越多。
镜头产生的图像质量在图像平面的中心处最好，并且朝着外部像圈逐渐降低。

图像传感器 (Image Sensor)

感知步骤：

光通过镜头并投射到图像传感器平面。
图像传感器平面是一个颜色棋盘图案。
相机从棋盘图案中估计感知到的颜色。

图像传感器是具有光敏区域的半导体组件。光敏区域是光敏元件的二维阵列，其累积的电荷q 与照度E/曝光时间t成正比。

累积电荷q逐行顺序扫描
电荷被转换为电压v并被数字化
传感器输出是一系列数字化图像样本

如果采样率正确，我们可以从样本中完美重建连续信号。如果采样间隔不小于最高频率的一半，则无法正确重建连续信号。(导致Aliasing)

Voltage gain (dB)
动态范围
70 - 80 dB
根据Signal-to-Noise Ratio (SNR)减去累积噪音后
50-60 dB

彩色图像

为了保留有关颜色的信息，彩色图像必须包含每个图片元素（像素）三个颜色通道的强度。每个单独的通道都可以视为在有限光谱带中捕获的单色图像。

单传感器数码相机

每个光敏元件都由一个仅通过一个色带的透明滤色镜覆盖。彩色滤光片参数确定所捕获图像的色域(gamut). 滤光器以优化效率的图案排列到滤色器阵列（colour filter array - CFA）中。
景象经过相机镜片投射到带有CFA的图片传感器中，相机获得原始数据。接着原始数据会经过颜色插值 (Color Interpolation) 来获得真彩色图像 (从Bayer颜色样本重建每个像素的RGB颜色样本)。

颜色插值 (Color Interpolation)

近邻法 (Nearest Neighbor)

复制最近邻像素的对应值。

如图，第一个像素点的G值为其本身的G值，R值为相邻的R8的值，B值为相邻的B2的值。

双线性法 (Bilinear)

插值缺失的颜色样本作为相邻像素的平均值。

如图G2像素点的G值为G2，B值为其相邻两个B点(B2和B6)的均值，而R值为其相邻两个R点(R8和R4)的均值。

色彩校正(Colour Correction)

彩色滤光片的光谱灵敏度与CIE色彩匹配功能有很大差异。由于颜色敏感度之间不匹配，因此CFA插值图像的颜色还原较差。颜色校正以数字方式补偿CFA光谱灵敏度的偏差，使它们更接近CIE颜色匹配功能。

将CFA插值阶段生成的RGB值转换为经过颜色校正的RGB值(即和T矩阵相乘)。T是一个3 x 3色彩校正矩阵(colour correction matrix)，可通过优化获得，以最大化色彩保真度。每个颜色校正矩阵均取决于设备，并且可能不适用于其他传感器。

色彩校正设备 (Colour Calibration Equipment)

使用色彩校正设备可以优化色彩校正矩阵。设备 (monochromator和integrating sphere) 创建均匀照明的表面。色度仪产生CIE色度值作为参考，而开发者对色彩校正矩阵进行优化并最大程度地减少参考值和测试值之间的误差。

Macbeth颜色检查器 (Macbeth Colour Checker)

如果没有色彩校准设备，则可以使用D65标准光源照亮的Macbeth色彩检查器。

Gamma校正 (Gamma Correction)

要将量化后的样本映射到感知均匀域(perceptually uniform domain)中，对样本需进行Gamma校正。实验表明，经过Gamma校正后，8位/采样精度可提供感知上统一的量化。为了恢复线性度 (linearity)，在监视器和电视中会应用Inverse Gamma校正。
Gamma校正是所有数码相机消费品中会使用的处理阶段，但可能对计算机视觉应用没有帮助。

白平衡 (Automatic White Balance)

如果通过不提供色彩恒定性的数码相机在不同的光照条件下捕获相同的图像，则它们的色域(gamut)可能会非常不同。每个数码相机都配备了可提供色彩恒定性的处理模块（自动白平衡）。
在颜色校正阶段之后，会通过自动白平衡调整传感器的相关参数重新获得图像原始数据。尝试调整每个色彩通道的增益，以使记录的色彩接近“真实色彩”。

预定义方法

日光，阴影，阴天，钨丝，白色荧光灯，闪光灯，自定义白平衡设置，用户设置的色温（2,500〜10,000K）

自动方法 - grey-world assumption

grey-world assumption 指出，当给定图像具有足够多的颜色变化，该图像的红色，绿色和蓝色通道的平均值应相同或应平均为一个通用灰度值。

自动对焦 (Automatic Focusing)

自动对焦可调整镜头的相关参数，以最大化图像清晰度。在图像校正之后，自动对焦可以回去调整焦距f，或者镜头位置。

自动曝光 (Automatic Exposure)

在图像校正之后，自动曝光可以回去调整传感器的曝光时间并重新获取原始图像数据。每个数码相机都配备了控制曝光时间的处理模块。

分辨率 (Resolution)

相机可以捕捉的细节量。其值取决于：

传感器分辨率
光学分辨率
焦点清晰程度
CFA插值结果

整个图像采集流程

景象经过镜头投射到图像传感器上，带有CFA的图像传感器采集到原始图像数据。原始数据在经过颜色插值之后得到由RGB代表的图像数据。之后，该图像数据通过图像校正技术得到和人眼感知域更接近的图像数据。接着，自动对焦，自动白平衡，自动曝光可能会回溯到图像投射或者感应的阶段重新采集图像。最后，图像经过Gamma校正获得能够在显示屏或者数码相机显示的图片。