声明：本文是计算机视觉课程期末复习整理(使用卡内基梅隆大学教材，课程链接:https://www.cs.cmu.edu/~16385/)
内容个人整理，转载请注明出处，谢谢
计算机视觉期末复习(上)详见：https://blog.csdn.net/programmer_jiang/article/details/124209552
内容如下：
- C1图像解构
- C2颜色科学
- C3图像滤波
计算机视觉期末复习(中)详见:https://blog.csdn.net/programmer_jiang/article/details/124338516
内容如下：
- C4图像金字塔和傅里叶变换
- C5霍夫变换(未完待续)
- C6Harris Corners检测(未完待续)

C1图像解构

1.1图像的物理特性

1.2几何特征Geometric

1.2.1投影

将三维世界向二维世界投影

1.2.2齐次坐标（维度转换）

非线性： division by z is nonlinear
同类变换：增加维度
降维：从高维降低

1.2.3透视投影矩阵（左乘）

除以第三维转换回非齐次坐标
Extrinsic(非本质): Camera frame<——>World frame
Intrinsic: Image coordinates relative to camera <——>Pixel coordinates

1.2.4透视变换：近大远小

特性:

平行线可以相交
many-to-one :线变成点，面变为线，垂直于图像平面的平面投影到图像的一部分
lines:collinearity共线性,同一条线还是共线的
距离没有保留,角度也没有保留(两条不平行的线也得到保留)

1.2.4.1 景深 & Weak perspective

景深(depth of field)定义**：摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围**。

影响因素：由景深计算公式可知，景深与镜头使用光圈、镜头焦距、拍摄距离以及对像质的要求（表现为对容许弥散圆的大小）有关。这些因素对景深的影响如下：

镜头光圈：光圈越大，景深越小；光圈越小，景深越大；
镜头焦距：镜头焦距越长，景深越小；焦距越短，景深越大；
拍摄距离：距离越远，景深越大；距离越近，景深越小。

1.2.4.2 正投影 Orthographic projection

Z值消失从三维到2维的投影

1.2.5 2D、3D变换和自由度

translation:平移

Euclidean:欧几里得变换

similarity:变大变小

affine:仿射变换

projective:投影变换

1.3光学变化Optical

1.3.1瞳孔和光圈

光圈过小衍射，光圈适中，光圈太大,景深较小，图像模糊

较小的光圈会增加物体近似对焦的范围

1.3.4视野 Field of view

焦距越小离镜头越近视野越大

1.4光度测量 Photometric（光反射）

1.4.1 BRDF 双向反射分布函数

1.4.2Diffuse / Lambertian 漫反射

1.5传感器Sensor

1.5.1数字传感器Digital Sensors 光电转化

1.5.2相机传感器中的三原色

绿色在中间人眼对绿色感知强烈，在(正方形的)数码像素用来表示（green有两块）

总结

图像形成受几何、光度学和光学的影响。

• 投影方程表示世界点如何映射到二维图像。

• 齐次坐标允许投影方程的线性系统。

• 镜头使针孔模型实用

• 光度学模型：Lambertian、BRDF

• 数字成像器、拜耳去马赛克参数（焦距、光圈、镜头直径、传感器采样……）强烈影响所获得的图像。

C2颜色科学Color Science

2.1 测量颜色Measuring color

2.1.1电磁波及分布Electromagnetic spectrum

人眼对光的感知很好的符合了高斯分布, 对绿色更敏感

2.1.2测量光谱

辐射物体每个波长的单位面积功率

2.1.3物体反射光谱

2.1.4 三原色和颜色混合(加色和减色系统)

色彩三原色：品红、黄、青（反应的光）

光学三原色：红、绿、蓝(光的叠加)

黄色可以看作红绿波段的混合
图像添加：加色系统示例

加法混合：混合物的光谱功率分布是各组分光谱功率分布的总和
减色模式：CMY（K）是印刷的三原色，在印刷时，值为0.0.0则为白色，值为255.255.255则为黑色。纸什么颜色都没有时就是白色的，什么颜色都乱七八糟的涂上去，就变黑了。

综上，RGB被称为加色模式，CMYK被称为减色模式。

2.1.5心理一致（色度、饱和度，亮度）：高斯分布

我们一般认为物理光谱呈现正态分布
Mean=Hue 色度
Variance Saturation 饱和度
Area=Brightness 亮度

2.1.6颜色匹配实验

目标：找出哪些光谱辐射会在人类观察者中产生相同的响应；

匹配所需的原色数量，测试三原色的需求量；三个数字如何足以代表整个频谱

结论：

1.等色光：感知上匹配但物理上不匹配的灯对；可能感知一样、但是rgb值不一样

2.但是形成感知匹配的光仍然可能在物理上不同

– 匹配光：必须是原色的组合

– 测试光：任何光

3.如果观察者说混合物是匹配的，那么两种刺激的受体激发必须相等

2.1.7 Grassman’s laws

A匹配B、B匹配C则A匹配C
光的混合
我们如何使用给定的一组原色计算对任何测试灯产生感知匹配的权重？

选择原色
估计它们的颜色匹配函数：观察者匹配一系列单色光，每个波长一个
乘以匹配函数和测试光

因此，给定任何一组原色及其相关的匹配函数 ©，我们可以计算每个原色所需的权重 (e)，以便对任何测试光 t（光谱信号）进行感知匹配

2.1.8 颜色空间 Color spaces

使用一系列感知和颜色来匹配

2.1.8.1 RGB颜色空间（线性空间）

方便设备表达，不利于感知；每一种设备使用RGB模型时，都有不太相同的定义，比如在显示器和打印机上，就不太一样，因此在使用RGB模型时，这些设备之间关于RGB的定义，并不能通用。

忽略光照的因素，如果比较两种颜色所处的光照环境不一致，那将毫无意义。

2.1.8.2 CIE XYZ颜色空间（线性）

其中x和y两维定义颜色，第3维定义亮度

2.1.8.3 HSV颜色空间（非线性空间）

2.1.8.4 Uniform color spaces

CIE变化不是均匀的

线性变化但是感知是不等距的

2.2 颜色感知 Perception of color

2.2.1人眼感光

视杆细胞：感受光强度

视锥细胞：高亮度的时候敏感；感受颜色

Fovea视网膜中心凹视野中心的小区域（1 或 2°）：包含最高密度的视锥细胞（没有视杆细胞）

不同视锥细胞对光波的感受程度

大脑融合了来自几个视锥细胞的局部邻域对感知颜色的反应

2.3 Using color in machine vision systems

2.3.1环境适应性

如果视觉系统暴露在某种光源下一段时间，颜色系统就会开始适应

我们适应特定的光源：同化、对比效果、色彩感应：附近的颜色影响感知；

3.图像滤波 Image filtering

3.1 Types of image transformations.

3.1.1什么是图像

灰度图像：A (grayscale) image is a 2D function.
三维图像
图片来源

3.1.2图像转换的类型

改变值和位置，一个改变z轴取值空间，另一个没有改变

图像扭曲(Image Warping)：拉伸、收缩、扭曲、旋转是图像的几何变换

3.1.3图片处理类型

点处理：像素值取值变换——邻域处理：处理相邻像素

3.2 点处理 Point image processing.

3.2.1 点处理实例

类型：转换注意如何增加对比度
风格色调映射

3.2.2点处理缺点

没有位置信息

3.3 图像滤波线性平移不变 Linear shift-invariant image filtering.

作用

• 立体声的低音/高音控制

• 图像编辑中的模糊/锐化操作

• 跟踪中的平滑/降噪
性质

• 线性度：filter(f + g) = filter(f) + filter(g)
• 转移不变性：行为不变于转移输入
• 延迟音频信号
• 左右滑动图片
Can be modeled mathematically by convolution
组合由过滤器的内核决定。
相同的内核被转移到所有像素位置，以便所有像素使用其相邻像素的相同线性组合。

3.3.1 盒子滤波器 the box filter

降低对比度，平滑操作
公式

h[m,n]=∑k,lg[k,l]f[m+k,n+l]h[m,n]=\sum_{k,l} g[k,l]f[m+k,n+l] h[m,n]=k,l∑g[k,l]f[m+k,n+l]

3.3.2 模型缺陷

振铃问题

3.3.3其他卷积核

Sharpen锐化
Sharpening examples 锐化stress intensity peaks
左移
二维卷积核

3.3.4其他性质

卷积核内元素和为1：保持整体相应值统一
滤波核大小对模型的影响
边界处理（一一对应）

3.4 Convolution

3.4.1一维连续信号卷积公式

(f∗g)(x)=∫−∞∞f(y)g(x−y)dy(f*g)(x)=\int_{-\infty }^{\infty}f(y)g(x-y)dy (f∗g)(x)=∫−∞∞f(y)g(x−y)dy

3.4.2二维离散卷积

(f∗g)(x)=∑i,j=−∞∞f(i,j)I(x−i,y−j)(f*g)(x)=\sum^{\infty}_{i,j=-\infty} f(i,j)I(x-i,y-j) (f∗g)(x)=i,j=−∞∑∞f(i,j)I(x−i,y−j)

3.4.3 对比correlation和卷积

大部分情况没关系：除非滤波器是对称的

3.4.4 卷积的特性

结合率
交换律
线性性
翻转不变

定理：唯一平移不变的线性算子图像是卷积

3.4.5计算复杂度

例题，图像I的尺寸是MxN，和函数H的尺寸（2R+1）^2,卷积的复杂度是多少？

O(MN(2R+1)(2R+1))=O(MNR2)固定图像大小，即O(R2)O(MN(2R+1)(2R+1))=O(MNR^2)\text{固定图像大小，即}O(R^2) O(MN(2R+1)(2R+1))=O(MNR2)固定图像大小，即O(R2)

小卷积和多次运输计算量更少

3.4.6卷积核的可分离性

2D的卷积核可以分解为两个一维的卷积核

大大缩短了运算量

3.4.7高斯滤波核The Gaussian filter

3.4.7.1二维高斯滤波核（可分离）

权重随着与中心像素的距离而下降
理论上是无限的，实际上被截断到某个最大距离（采用2-3σ）准则截断位置

3.4.7.2和盒子滤波器对比

高斯平滑的效果更好没有振铃的问题

3.5 影像梯度 Image gradients

3.5.1图像怎么反应导数

导数在不连续处很大我们选取导数，来判断梯度；同时由于梯度的不连续我们采用有限差分

3.5.2索贝尔边缘检测和分类

Sobel是一维高斯核一维导数核的组合
横向变化累计的竖边信息

3.5.3其他滤波核

3.5.4计算图像梯度

分别计算水平方向和竖直方向的梯度，平方开根号是亮度信息

3.5.5在高斯噪声情况下计算梯度

先高斯再求导计算量都是以图片为单位
变为先对高斯核求导再滤波（运用了卷积的性质，因为求导也是卷积运算两者可以交换）可以节省计算量

3.5.6 拉普拉斯滤波器

拉普拉斯函数获取
求导特性
对比；中间空的

对比拉普拉斯核、高斯一阶偏导核、高斯核

高斯一阶偏导：可以反应出图像灰度梯度的变化情况，常见的算子有Robot, Sobel算子
二阶常见的有拉普拉斯算子

G(x,y,kσ)−G(x,y,σ)≈(k−1)σ2∂2GG(x,y,k\sigma)-G(x,y,\sigma)\approx(k-1)\sigma^2\partial^2G G(x,y,kσ)−G(x,y,σ)≈(k−1)σ2∂2G

计算机视觉期末复习(上)相关推荐

计算机视觉期末复习(中)
声明:本文是计算机视觉课程期末复习整理(使用卡内基梅隆大学教材,课程链接:https://www.cs.cmu.edu/~16385/) 内容个人整理,转载请注明出处,谢谢计算机视觉期末复习(上)详 ...
2021/06/29计算机视觉期末复习笔记整理
计算机视觉期末复习笔记整理引言我的复习参考期末考试考题回忆 PPT对应中文笔记整理参考的几篇博客的笔记引言刚结束可能是我学生时代最后一场考试了,orz热乎着,记录一下. 这门课是学校新开的 ...
西电计科计算机视觉期末复习笔记
本人西电19计科,CV期末90+,这是复习期间整理的笔记,基本涵盖了课程全部重点,有需要的学弟学妹可以在复习的时候参考一下.
计算机视觉——期末复习（简答题）
1.计算机视觉与机器视觉的区别计算机视觉是利用计算机实现人的视觉功能,即对客观世界中三维场景的感知.加工.解释,侧重于场景分析和图像解释的理论和方法,而机器视觉更关注通过视觉传感器获取环境的图像,构 ...
计算机视觉——期末复习（填空、名词解释）
图像文件:指包含图像数据的文件,文件内除图像数据本身以外,还有对图像的描述信息等距离变换:特殊的变换,把二值图像变换为灰度图像距离图:如果考虑目标区域中的每个点与最接近的区域外的点之间的距离, 并 ...
SCAU 汇编语言期末复习 (上）
第一章 1.储存单位存储容量:bit .Byte. Word 1 kilobytes=210bytes=1024bytes 1megabyte(MB)=220bytes 1gigabyte(GB)= ...
最全操作系统考研、期末复习(上)(例题+讲解+知识点)务必收藏慢慢看
操作系统概述与处理器管理第一章操作系统概述 1.操作系统的作用(目标) 2.操作系统的发展过程第二章进程的描述与控制 1.进程的定义和特征 2.进程和程序的比较 3.进程的三种基本状态及转换( ...
统计学习方法-李航-期末复习流程图
<统计学习方法>流程图-期末复习(上) X-mind绘制,转载注明出处第一章-概论第二章-感知机第六章-逻辑回归
极限与连续知识点总结_高数上知识点期末复习极限、连续、间断点（一）
点击蓝字关注我们 No.1 函数分值题型解析1 题型解析2 tips: 为了帮助同学们更好的通过高数期末考试,不挂科,我们最近正在加紧制作<高等数学>上册的期末复习冲刺课程,包含讲解视 ...

计算机视觉期末复习(上)