作者 | Sofiane Sahir

来源 | Towards data science

编辑 | 代码医生团队

今天的想法是使用Canny边缘检测算法构建一种能够绘制图片上任何对象边缘的算法。

首先描述Canny Edge Detector是什么：

Canny边缘检测器是一个边缘检测一个使用多级操作算法以检测宽范围图像中的边缘。它由John F. Canny于1986 年开发.Canny还制作了边缘检测的计算理论，解释了该技术的工作原理。(维基百科)

Canny边缘检测算法由5个步骤组成：

1. 降噪;

2. 梯度计算;

3. 非最大抑制;

4. 双重门槛;

5. 滞后边缘跟踪。

应用这些步骤后，将能够获得以下结果：

左侧的原始图像 - 右侧的已处理图像

最后一个重要的事情是，该算法基于灰度图片。因此先决条件是在遵循上述步骤之前将图像转换为灰度。

降噪

由于场景背后涉及的数学主要基于导数(参见步骤2：梯度计算)，边缘检测结果对图像噪声高度敏感。

摆脱图像噪声的一种方法是使用高斯模糊来平滑它。为此图像卷积技术应用高斯核(3x3,5x5,7x7等...)。内核大小取决于预期的模糊效果。基本上内核最小，模糊不太明显。在例子中将使用5乘5高斯内核。

大小(2 k +1)×(2 k +1)的高斯滤波器核的等式由下式给出：

高斯滤波器核方程

用于生成Gaussian 5x5内核的Python代码：

import numpy as npdef gaussian_kernel(size, sigma=1):
    size = int(size) // 2
    x, y = np.mgrid[-size:size+1, -size:size+1]
    normal = 1 / (2.0 * np.pi * sigma**2)
    g =  np.exp(-((x**2 + y**2) / (2.0*sigma**2))) * normalreturn g

高斯核函数

应用高斯模糊后，得到以下结果：

原始图像(左) - 带有高斯滤波器的模糊图像(sigma = 1.4，内核大小为5x5)

梯度计算

梯度计算步骤通过使用边缘检测算子计算图像的梯度来检测边缘强度和方向。

边缘对应于像素强度的变化。要检测它，最简单的方法是应用在两个方向上突出显示此强度变化的滤镜：水平(x)和垂直(y)

当平滑图像时，计算导数Ix和Iy wrt x和y。它可以通过卷积来实现与索贝尔内核Kx的和肯塔基州分别为：

索贝尔滤波器用于两个方向(水平和垂直)

然后，梯度的幅度G和斜率θ计算如下：

梯度强度和边缘方向

下面是Sobel滤镜应用于图像的方法，以及如何获得强度和边缘方向矩阵：

from scipy import ndimagedef sobel_filters(img):
    Kx = np.array([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]], np.float32)
    Ky = np.array([[1, 2, 1], [0, 0, 0], [-1, -2, -1]], np.float32)
    Ix = ndimage.filters.convolve(img, Kx)
    Iy = ndimage.filters.convolve(img, Ky)
    G = np.hypot(Ix, Iy)
    G = G / G.max() * 255
    theta = np.arctan2(Iy, Ix)return (G, theta)

模糊图像(左) - 渐变强度(右)

结果几乎是预期的结果，但可以看到一些边缘很厚而另一些很薄。非最大抑制步骤将帮助缓解厚重的步骤。

此外，梯度强度水平在0到255之间，这是不均匀的。最终结果的边缘应具有相同的强度(即白色像素= 255)。

非最大抑制

理想情况下，最终图像应具有细边。因此必须执行非最大抑制以使边缘变细。

原理很简单：算法遍历梯度强度矩阵上的所有点，并找到边缘方向上具有最大值的像素。

举一个简单的例子：

存在于上图中的左上角红框表示正在处理的梯度强度矩阵的强度像素。相应的边缘方向由橙色箭头表示，角度为-pi弧度(+/- 180度)。

专注于左上角的红色框像素

边缘方向是橙色虚线(从左到右水平)。该算法的目的是检查相同方向上的像素是否比正在处理的像素更强或更弱。在上面的示例中，正在处理像素(i，j)，并且相同方向上的像素以蓝色(i，j-1)和(i，j + 1)突出显示。如果这两个像素中的一个比正在处理的像素更强烈，则仅保留更强烈的像素。像素(i，j-1)似乎更强烈，因为它是白色的(值为255)。因此，当前像素的强度值(i，j) 如果边缘方向上没有像素具有更强的值，则保持当前像素的值。

现在关注另一个例子：

在这种情况下，方向是橙色虚线对角线。因此该方向上最强的像素是像素(i-1，j + 1)。

总结一下。每个像素有2个主要标准(弧度的边缘方向和像素强度(0-255之间))。基于这些输入，非最大抑制步骤是：

• 创建一个初始化为0的矩阵，该矩阵与原始梯度强度矩阵的大小相同;

• 根据角度矩阵的角度值识别边缘方向;

• 检查相同方向的像素是否具有比当前处理的像素更高的强度;

• 返回使用非最大抑制算法处理的图像。

def non_max_suppression(img, D):
    M, N = img.shape
    Z = np.zeros((M,N), dtype=np.int32)
    angle = D * 180. / np.pi
    angle[angle 0] += 180for i in range(1,M-1):for j in range(1,N-1):try:
                q = 255
                r = 255#angle 0if (0 <= angle[i,j] 22.5) or (157.5 <= angle[i,j] <= 180):
                    q = img[i, j+1]
                    r = img[i, j-1]#angle 45elif (22.5 <= angle[i,j] 67.5):
                    q = img[i+1, j-1]
                    r = img[i-1, j+1]#angle 90elif (67.5 <= angle[i,j] 112.5):
                    q = img[i+1, j]
                    r = img[i-1, j]#angle 135elif (112.5 <= angle[i,j] 157.5):
                    q = img[i-1, j-1]
                    r = img[i+1, j+1]if (img[i,j] >= q) and (img[i,j] >= r):
                    Z[i,j] = img[i,j]else:
                    Z[i,j] = 0except IndexError as e:passreturn Z

结果是具有更薄边缘的相同图像。然而仍然可以注意到边缘强度的一些变化：一些像素看起来比其他像素更亮，将尝试用最后两个步骤来弥补这个缺点。

非最大抑制的结果。

双重门槛

双阈值步骤旨在识别3种像素：强，弱和不相关：

• 强像素是强度如此之高的像素，我们确信它们有助于最终边缘。

• 弱像素是具有不足以被视为强的强度值的像素，但是还不足以被认为与边缘检测不相关。

• 其他像素被认为与边缘无关。

现在您可以看到双阈值的含义：

• 高阈值用于识别强像素(强度高于高阈值)

• 低阈值用于识别不相关的像素(强度低于低阈值)

• 具有两个阈值之间的强度的所有像素被标记为弱，并且滞后机制(下一步骤)将帮助识别可被视为强的那些和被认为是不相关的那些。

def threshold(img, lowThresholdRatio=0.05, highThresholdRatio=0.09):
    highThreshold = img.max() * highThresholdRatio;
    lowThreshold = highThreshold * lowThresholdRatio;
    M, N = img.shape
    res = np.zeros((M,N), dtype=np.int32)
    weak = np.int32(25)
    strong = np.int32(255)
    strong_i, strong_j = np.where(img >= highThreshold)
    zeros_i, zeros_j = np.where(img 
    weak_i, weak_j = np.where((img <= highThreshold) & (img >= lowThreshold))
    res[strong_i, strong_j] = strong
    res[weak_i, weak_j] = weakreturn (res, weak, strong)

此步骤的结果是只有2个像素强度值(强弱)的图像：

非最大抑制图像(左) - 阈值结果(右)：灰色的弱像素和白色的强像素。

滞后边缘跟踪

基于阈值结果，滞后包括将弱像素转换为强像素，当且仅当正在处理的像素周围的像素中的至少一个像素是强像素时，如下所述：

def hysteresis(img, weak, strong=255):
    M, N = img.shape  for i in range(1, M-1):for j in range(1, N-1):if (img[i,j] == weak):try:if ((img[i+1, j-1] == strong) or (img[i+1, j] == strong) or (img[i+1, j+1] == strong)or (img[i, j-1] == strong) or (img[i, j+1] == strong)or (img[i-1, j-1] == strong) or (img[i-1, j] == strong) or (img[i-1, j+1] == strong)):
                        img[i, j] = strongelse:
                        img[i, j] = 0except IndexError as e:passreturn img

滞后功能

滞后过程的结果

所有使用的代码都可以在以下Git存储库中找到

https://github.com/FienSoP/canny_edge_detector

参考书目

• https://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_canny/py_canny.html

• https://homepages.inf.ed.ac.uk/rbf/HIPR2/canny.htm

• http://justin-liang.com/tutorials/canny/

• https://en.wikipedia.org/wiki/Canny_edge_detector

关于图书

《深度学习之TensorFlow：入门、原理与进阶实战》和《Python带我起飞——入门、进阶、商业实战》两本图书是代码医生团队精心编著的 AI入门与提高的精品图书。配套资源丰富：配套视频、QQ读者群、实例源码、 配套论坛：http://bbs.aianaconda.com   。更多请见：aianaconda.com