图像处理中的通信原理——冈萨雷斯读书笔记（三）

法国数学家傅里叶男爵在1822年出版的《热分析理论》一书中指出，任何周期函数都可以表示为不同频率的正弦和或余弦和（每个正弦项/余弦项乘不同的系数）的形式，这其实就是无穷级数的一种：傅里叶级数。无穷级数的思想是通过简单的函数形式，逼近复杂的函数，包括泰勒级数、幂级数也是这个道理。还是回到傅里叶级数，我们可以坐而论道地简单地想一下为什么所有符合要求的周期函数都可以表示为余弦/正弦之和。我们可以把函数看成一种运动的描述，而最简单的运动就是直线运动和圆周运动，而我们可以看一下wiki上讲的余弦是如何构成的：正余弦就是直线运动与圆周运动的结合体！

那么，我们一直在谈论的傅里叶变换是什么呢？当函数非周期时，我们依然把它看作是周期函数，只不过周期是无穷大的，这时候的余弦和就演变成了积分的形式，其作用在多数理论和应用学科中甚至远大于傅里叶级数。利用欧拉公式可以将正余弦转化为复数，所以频谱图是复数域的，横纵坐标代表实部与虚部。关于傅里叶级数和傅里叶变换的联系可以看知乎大神马同学的回答。

线性系统和傅里叶变换研究的核心是冲激及其取样特性。冲激可以是连续的或离散的。连续的冲激函数是广义的函数，在变量等于0的时候取正无穷。离散冲激是一个普通函数，在变量等于0的时候取1。周期为T的冲激串的傅里叶变换还是冲激串，周期为1/T。盒状函数的傅里叶变换是辛格函数，其零值位置与盒状函数的宽度W成反比，高度和W成正比。

卷积定理是频率域滤波的基础。卷积定理就是空间域两个函数的卷积的傅里叶变换等于两个函数的傅里叶变换在频率域中的乘积。那么什么是卷积呢？卷积是信号处理中最基础、最重要的一个概念，具体应用有卷积码，有现在大热的卷积神经网络CNN，但是很多人对卷积的理解其实还是不够，关于卷积我也是看了好多文章，这里先引用一段参考链接1的论述：

对图像和滤波矩阵进行逐个元素相乘再求和的操作就相当于将一个二维的函数移动到另一个二维函数的所有位置，这个操作就叫卷积或者协相关。卷积和协相关的差别是，卷积需要先对滤波矩阵进行180的翻转，但如果矩阵是对称的，那么两者就没有什么差别了。Correlation 和 Convolution可以说是图像处理最基本的操作，但却非常有用。这两个操作有两个非常关键的特点：它们是线性的，而且具有平移不变性shift-invariant。平移不变性指我们在图像的每个位置都执行相同的操作。线性指这个操作是线性的，也就是我们用每个像素的邻域的线性组合来代替这个像素。这两个属性使得这个操作非常简单，因为线性操作是最简单的，然后在所有地方都做同样的操作就更简单了。

至于翻转180度的理解，在书中空间滤波的部分进行了解释。在对只有一个1，其他全0的序列（离散单位冲激）填充0之后，相关操作对滤波器序列进行从左到右的横移，结果得到这个滤波器函数的翻转版本。而我们知道卷积的基本特性是某个函数与某个单位冲激卷积得到一个在该冲激处的这个函数的拷贝。结合刚才相关的结果，那么我们就可以把卷积看作是先对滤波器函数翻转180度，再进行相关操作。在图像处理中，我们就通常预先旋转模板，然后滑动求和。如果滤波器模板是对称的，卷积核相关将得到相同的结果。相关还可以用于寻找图像中的匹配。

但这只是谈到了卷积和相关的联系与区别。卷积的意义到底是什么？知乎：如何理解卷积，另外如何理解图像处理中的卷积？中看到了几个不错的回答：从滤波（空间滤波）角度，就是刚才提到的滑动加权；从投影角度，卷积也是一种内积（图像模板与图像patch），patch投影在模板上，得到feature map，常见的如卷积神经网络第一层，在卷积核上的投影，用一组Garbor滤波器提取图像特征；从随机信号角度，图像和模板都看作随机变量，卷积结果就是随机变量和X+Y的分布，这也和卷积定义中的暗合，更进一步，马同学的知乎回答中还提到荆哲解释的卷积中的“卷”是什么意思卷积为什么叫「卷」积？ - 荆哲的回答 - 知乎https://www.zhihu.com/question/54677157/answer/141245297，将纸看作是f和g的张量积，卷起来之后的一条环线就对应纸上的一条直线，x+y=n。对应翻转的理解，其实这只是方便和相关做比较，或者是把信号看作整体，计算每一个时间点的响应值，卷积也可以按照知乎张俊博的理解将信号分开，计算在所有时间的响应值再叠加。

取样定理在频域告诉我们，只要满足取样率大于函数最高频率的两倍，就可以恢复原来的连续带限函数（意味着在时间上是无穷扩展的）。用单位间隔为T的冲激串作为取样函数。用来从函数的取样恢复原始函数的滤波器就是重建滤波器。由一组样本集合来重建函数实际上可以减少样本间的内插。由书上的4.3.12式，在整数m处，sinc函数等于0，恢复函数的值就是样本值，样本点之间的值就是sinc函数的和形成的内插。

因为图像不是在两个坐标方向无限扩展，也不能无限取样，所以取样后总会存在混淆，分为空间混淆和时间混淆。空间混淆由欠采样造成，时间混淆是帧率低于运动速度，如电影中车轮倒转。

Reference：

1.https://blog.csdn.net/zouxy09/article/details/49080029 图像卷积与滤波的一些知识点

2.https://www.zhihu.com/question/27251882 知乎

3.https://www.zhihu.com/question/22298352 如何通俗易懂地理解卷积如何通俗易懂地解释卷积？ - 张俊博的回答 - 知乎https://www.zhihu.com/question/22298352/answer/34267457

图像处理中的通信原理——冈萨雷斯读书笔记（三）相关推荐

图像处理中的通信原理——冈萨雷斯读书笔记（一）
信息的概念在信息论中很明确:用于衡量事件的不确定性.信息的传播形式或者所载体便是信号,比如说电信号.光信号.声音信号.那么信息的表现形式就是消息,可以是语言.文字.图像.所以说图像处理依然是信息与通信 ...
图像处理中的通信原理——冈萨雷斯读书笔记（四）
完美重建要求使用无限求和来内插,实践中,不得不寻求某种近似.在图像处理中,二维内插最普通的应用就是调整图像的大小.放大可看成是过取样,缩小是欠取样.无论是过取样还是欠取样,都需要内插,内插有最近邻.双 ...
图像处理中的通信原理——冈萨雷斯读书笔记（二）
参考伯乐在线的一篇文章,做图像的傅里叶变换.在PyCharm中安装cv2时出错,如下图: 根据提示建议在命令行中执行命令pip install cv2也依然是No matching distribut ...
《解释的工具：生活中的经济学原理》读书笔记5
上一篇读书笔记里的三章内容,是全书的第二篇,名字叫"社会关系有价签".作者通过分析家庭伦常.社会资本和社会变迁来阐释社会关系里的经济学原理,探寻每一个关系里的成本效益.虽然作者的理 ...
《解释的工具：生活中的经济学原理》读书笔记4
之前的五章,从人性本能.群体制度.供需关系.经济体系和信息问题这五个方面深入浅出地论述了作者对于在生活中.在经济活动中所易见的经济学的基本特点.起源.表现形式和发展变化的理解和认识.作者把这五章归为了 ...
《解释的工具：生活中的经济学原理》读书笔记7（完）
上一篇的篇名叫"当法学遇上经济学",说的是利用经济学的基本思维和基本理论去解释法学日常所处理的基本问题,去解决法学在特殊条件下所难以处理的疑难杂症.作者从公平正义这个话题开始切入, ...
《解释的工具：生活中的经济学原理》读书笔记2
一.第二章之前在第一章中,作者已经提出了一个重要的观点,就是人都是基于"理性"."自利"两点来认识和改造世界的.既然一个人是理性的.自利的,那么这个人会去怎么 ...
《通信原理》复习笔记1----第一章绪论
系列文章链接目录一.<通信原理>复习笔记1----第一章绪论二.<通信原理>复习笔记1----第一章绪论相关例题三.<通信原理>复习笔记3----第三章随机过 ...
《通信原理》复习笔记4----第四章信道
系列文章链接目录一.<通信原理>复习笔记1----第一章绪论二.<通信原理>复习笔记1----第一章绪论相关例题三.<通信原理>复习笔记3----第三章随机过 ...

图像处理中的通信原理——冈萨雷斯读书笔记（三）

图像处理中的通信原理——冈萨雷斯读书笔记（三）相关推荐

最新文章

热门文章