图像处理中平滑和锐化操作是什么？

平滑处理(smoothing)也称模糊处理(bluring)，主要用于消除图像中的噪声部分，平滑处理常用的用途是用来减少图像上的噪点或失真，平滑主要使用图像滤波。在这里，我个人认为可以把图像平滑和图像滤波联系起来，因为图像平滑常用的方法就是图像滤波器。 在OpenCV3中常用的图像滤波器有以下几种：

1.方框滤波——BoxBlur函数

2.均值滤波(邻域平均滤波)——Blur函数

3.高斯滤波——GaussianBlur函数

4.中值滤波——medianBlur函数

5.双边滤波——bilateralFilter函数

图像锐化操作是为了突出显示图像的边界和其他细节图像锐化实现的方法是通过各种算子和滤波器实现的——Canny算子、Sobel算子、Laplacian算子以及Scharr滤波器。

HOG算法原理描述

方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。在深度学习取得成功之前，Hog特征结合SVM分类器被广泛应用于图像识别中，在行人检测中获得了较大的成功。

HOG特征原理:

HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。通过将整幅图像分割成小的连接区域(称为cells)，每个cell生成一个方向梯度直方图或者cell中pixel的边缘方向，这些直方图的组合可表示出(所检测目标的目标)描述子。为改善准确率，局部直方图可以通过计算图像中一个较大区域(称为block)的光强作为measure被对比标准化，然后用这个值(measure)归一化这个block中的所有cells。这个归一化过程完成了更好的照射/阴影不变性。 与其他描述子相比，HOG得到的描述子保持了几何和光学转化不变性(除非物体方向改变)。因此HOG描述子尤其适合人的检测。

HOG特征提取方法就是将一个image：

1.灰度化(将图像看做一个x,y,z(灰度)的三维图像)

2.划分成小cells(2*2)

3.计算每个cell中每个pixel的gradient(即orientation)

4.统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的descriptor。

HOG特征检测步骤

HOG特征检测步骤

颜色空间归一化——–>梯度计算————->梯度方向直方图———->重叠块直方图归一化———–>HOG特征。

图像哈希算法

1.均值哈希算法：

第一步，缩小尺寸。最快速的去除高频和细节，将图片缩小到8x8的尺寸，总共64个像素。摒弃不同尺寸、比例带来的图片差异。

第二步，简化色彩。将缩小后的图片，转为64级灰度。也就是说，所有像素点总共只有64种颜色。

第三步，计算平均值。计算所有64个像素的灰度平均值。

第四步，比较像素的灰度。将每个像素的灰度，与平均值进行比较。大于或等于平均值，记为1；小于平均值，记为0。

第五步，计算哈希值。将上一步的比较结果，组合在一起，就构成了一个64位的整数，这就是这张图片的指纹。组合的次序并不重要，只要保证所有图片都采用同样次序就行了。

如果图片放大或缩小，或改变纵横比，结果值也不会改变。增加或减少亮度或对比度，或改变颜色，对hash值都不会太大的影响。最大的优点：计算速度快！

如果想比较两张图片，为每张图片构造hash值并且计算不同位的个数。如果不相同的数据位不超过5，就说明两张图片很相似；如果大于10，就说明这是两张不同的图片。

2.感知哈希算法：

第一步，缩小尺寸。最快速的去除高频和细节，将图片缩小到8x8的尺寸，总共64个像素。摒弃不同尺寸、比例带来的图片差异。

第二步，简化色彩。将缩小后的图片，转为64级灰度。也就是说，所有像素点总共只有64种颜色。

第三步，计算DCT(离散余弦变换)。DCT是把图片分解频率聚集和梯状形，虽然JPEG使用8 * 8的DCT变换，在这里使用32 * 32的DCT变换。

第四步，缩小DCT。虽然DCT的结果是32 * 32大小的矩阵，但我们只要保留左上角的8*8的矩阵，这部分呈现了图片中的最低频率。

第五步，计算平均值。计算所有64个值的平均值。

第六步，进一步减小DCT。这是最主要的一步，根据8 * 8的DCT矩阵，设置0或1的64位的hash值，大于等于DCT均值的设为”1”，小于DCT均值的设为“0”。结果并不能告诉我们真实性的低频率，只能粗略地告诉我们相对于平均值频率的相对比例。只要图片的整体结构保持不变，hash结果值就不变。能够避免伽马校正或颜色直方图被调整带来的影响。

第七步，计算哈希值。将64bit设置成64位的长整型，组合的次序并不重要，只要保证所有图片都采用同样次序就行了。将32 * 32的DCT转换成32 * 32的图像。

将上一步的比较结果，组合在一起，就构成了一个64位的整数，这就是这张图片的指纹。组合的次序并不重要，只要保证所有图片都采用同样次序就行了(例如，自左到右、自顶向下、big-endian)。

得到指纹以后，就可以对比不同的图片，看看64位中有多少位是不一样的。在理论上，这等同于计算汉明距离。如果不相同的数据位不超过5，就说明两张图片很相似；如果大于10，就说明这是两张不同的图片。

3.差异哈希算法

第一步，缩小尺寸，缩放到9 * 8尺寸。

第二步，转换灰度值，转换到0-255之间。

第三步，差异值计算，差异值是通过计算每行相邻像素的强度对比得出的。我们的图片为9 * 8的分辨率，那么就有8行，每行9个像素。差异值是每行分别计算的，也就是第二行的第一个像素不会与第一行的任何像素比较。每一行有9个像素，那么就会产生8个差异值，这也是为何我们选择9作为宽度，因为8bit刚好可以组成一个byte，方便转换为16进制值。

如果前一个像素的颜色强度大于第二个像素，那么差异值就设置为True(也就是1)，如果不大于第二个像素，就设置为False(也就是0)。

第四步，转化为hash值，将差异值数组中每一个值看做一个bit，每8个bit组成为一个16进制值，将16进制值连接起来转换为字符串，就得出了最后的dHash值。

第五步，计算汉明距离，如果不相同的数据位不超过5，就说明两张图片很相似；如果大于10，就说明这是两张不同的图片。

介绍一下图像的高频、低频部分

图像的频率：灰度值变化剧烈程度的指标，是灰度在平面空间上的梯度。

(1)什么是低频?

低频就是颜色缓慢地变化,也就是灰度缓慢地变化,就代表着那是连续渐变的一块区域,这部分就是低频. 对于一幅图像来说，除去高频的就是低频了，也就是边缘以内的内容为低频，而边缘内的内容就是图像的大部分信息，即图像的大致概貌和轮廓，是图像的近似信息。

(2)什么是高频?

反过来, 高频就是频率变化快.图像中什么时候灰度变化快?就是相邻区域之间灰度相差很大,这就是变化得快.图像中,一个影像与背景的边缘部位,通常会有明显的差别,也就是说变化那条边线那里,灰度变化很快,也即是变化频率高的部位.因此，图像边缘的灰度值变化快，就对应着频率高，即高频显示图像边缘。图像的细节处也是属于灰度值急剧变化的区域，正是因为灰度值的急剧变化，才会出现细节。

另外噪声(即噪点)也是这样,在一个像素所在的位置,之所以是噪点,就是因为它与正常的点颜色不一样了，也就是说该像素点灰度值明显不一样了,,也就是灰度有快速地变化了,所以是高频部分，因此有噪声在高频这么一说。

图像补全的方法

Region Filling and Object Removal by Exemplar-Based Image Inpainting

算法的流程大致如下：

1)对待补全区域边界的像素依次计算补全的优先度(priority)，这个优先度主要考虑2个因素。一个是周围像素可信度高的位置要优先补，另一个是位于图像梯度变化剧烈的位置要优先补。综合二者得到所有优先度之后，挑选优先度最高的像素来补

2)对于上一步找到的待补全像素，考虑它周围的一个小patch(比如3*3)。在图像已知部分搜索所有的patch，找到最相似的patch

3)用找到的best match来补全未知部分，并更新相关数值

但是我们也不难发现这个方法存在的问题：如果图像已知部分找不到相似的patch，那算法将无法进行；这个方法只适用于补全背景以低频信息和重复性纹理为主的图像；搜索相似的patch计算复杂度非常高，算法运行效率低。

Scene Completion Using Millions of Photographs

算法的大致流程如下：

1)从Flickr上下载两百万图片构建数据库，以”landscape””city””park”等关键词搜索户外场景的图片。

2)对于一张待补全图像，从数据库中挑选200个场景最相似的图片，这里使用gist scene descriptor和图像下采样到4*4作为匹配的特征向量。

3)将补全区域边界外80个pixel的区域作为context。对于每一张匹配的图像，搜索所有的平移空间和3个尺度的scale空间，根据context部分的匹配误差，选择最佳的补全位置；之后利用graph-cut算法求解最佳的融合边界。

4)利用标准的泊松融合处理融合边界。

5)将前几步的匹配cost和graph-cut的cost加起来，返回cost最小的20的结果供用户挑选。

Context Encoders: Feature Learning by Inpainting

文章提出的网络结构如下，包括3个部分：Encoder, Channel-wise fully-connected layer, Decoder。Encoder的结构直接借鉴了AlexNet前5层的卷积层结构，具体结构如下。输入的crop尺寸是227Í227，卷积之后得到的feature map结构是256层6 Í 6。所有的weight都随机初始化。

Channel-wise fully-connected layer是对普通fc层的一种改进。之所以加入fc层是为了使feature map每一层的信息可以在内部交流。但传统的fc层参数太多，因此作者提出可以在fc中去掉feature map层间的信息交流，从而减少参数规模。在fc之后会接一个stride为1的卷积层，来实现层间的信息交流。

Decoder的目的是将压缩的feature map一步步放大，恢复到原始图片的尺寸。文章提出采用5个up-convolutional层，每层后接一个RELU。上采样的结构如下。