点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

hello，大家好！今天给大家分享一个最近在做的一个项目，是基于美图的一个专利进行复现的。

希望今天的内容，能让你有所收获，同时值得你分享一波

专利链接：https://patentimages.storage.googleapis.com/21/09/cd/37e7c3a8bdcecf/CN103440633A.pdf

根据他人的思路复现是一项非常重要的能力，由于保密协议，不能将完整的代码分享出来，不过我会提供一些实现各个主要功能的代码，依照这些我想你一定也能够顺利的复现出来。

给你代码只能让你跑通一个案例，

教你解题思路能让你解决一类问题。 

专利的主要思路如下：

# 一种数字图像自动祛除斑点的方法
1、灰度化
2、对比度增强
3、梯度极大值查找
4、皮肤排除
5、孤立点消除
6、高斯模糊
7、阈值处理
8、区域表求和得到最终结果 D
9、根据结果D 与梯度最大值查找的结果对图像A里的斑点进行泊松放出处理，得到自动祛斑的最终效果

这里对其进行了简化，简化成如下几个主要步骤：

1、sobel算子 ——> 找到斑点的可能区域

sobel算子的主要目的是为了检测边缘。

那什么是边缘呢？

图像边缘一般指图像的灰度变化率最大的位置。

具体的计算公式也很容易，这里就不展开说明了

关键代码：

src = cv2.cvtColor(src, cv2.COLOR_BGR2GRAY) # 转为灰度图
x_gray = cv2.Sobel(src, cv2.CV_32F, 1, 0)
y_gray = cv2.Sobel(src, cv2.CV_32F, 0, 1)
x_gray = cv2.convertScaleAbs(x_gray)
y_gray = cv2.convertScaleAbs(y_gray)
dst = cv2.add(x_gray, y_gray, dtype=cv2.CV_16S)
dst = cv2.convertScaleAbs(dst)

注意事项：

进行对比度增强能在一定程度上提升最终的效果

对比度增强
# nResult = nColor + (nColor-128)*(1.0+Contrast)/255
#　实现：http://www.cppcns.com/jiaoben/python/218683.html

2、连通域分析——> 确定斑点的位置

听起来好像很复杂，但是实际上看下面的图，你就能明白它要做的是什么东西。

从上图可以发现，使用连通域分析能够找到米粒的位置，同样的，我们也可以将这个算法应用到确定斑点的位置。

但是由于，上面直接使用sobel算子计算边缘后，五官等区域也会被视作为一个连通域，如果直接作为后续的处理，那显然是不正确的。

作者是采用直方图颜色模型的统计信息来区分是否为皮肤区域，而我这里则是设置了一个面积的阈值来区别开斑点和其他区域。

关键代码：

# 注意：输入的是二值图，高斯滤波后效果更好
num_labels,labels,stats,centers = cv2.connectedComponentsWithStats(binary, connectivity=8,ltype=cv2.CV_32S)
# 参数说明：
num_labels： 代表连通域的数量，包含背景
labels ： 记录img中每个位置对应的label
stats： 每个连通域的外接矩形和面积
x, y, w, h, area = stats[t]
centers : 连通域的质心坐标

依据连通域面积的大小做阈值分割的标准：

for t in range(1, num_labels, 1):x, y, w, h, area = stats[t]if area>100:index = np.where(labels==t)labels[index[0], index[1]] = 0

PS：通过遍历每个连通域，并根据连通域的面积（这里设置阈值100），将面积超过的连通域label设置为0，即为背景。

3、图像修复 inpaint ——> 去除斑点

OpenCV提供了两种算法。两者都可以通过相同的函数访问，cv2.inpaint（）。

第一种算法基于Alexandru Telea于2004年发表的“基于快速行进方法的图像修复技术”。它基于快速行进方法。考虑图像中要修复的区域。算法从该区域的边界开始，然后进入区域内，逐渐填充边界中的所有内容。它需要在邻近的像素周围的一个小邻域进行修复。该像素由邻居中所有已知像素的归一化加权和代替。选择权重是一个重要的问题。对于靠近该点的那些像素，靠近边界的法线和位于边界轮廓上的像素，给予更多的权重。一旦像素被修复，它将使用快速行进方法移动到下一个最近的像素。FMM确保首先修复已知像素附近的像素，这样它就像手动启发式操作一样工作。使用标志cv2.INPAINT_TELEA启用此算法。

第二种算法基于Bertalmio，Marcelo，Andrea L. Bertozzi和Guillermo Sapiro于2001年撰写的“Navier-Stokes，流体动力学和图像和视频修补”一文。该算法基于流体动力学并利用偏微分方程。基本原则是heurisitic。它首先沿着已知区域的边缘行进到未知区域（因为边缘是连续的）。它继续等照片（连接具有相同强度的点的线，就像轮廓连接具有相同高度的点一样），同时在修复区域的边界处匹配渐变矢量。为此，使用来自流体动力学的一些方法。获得颜色后，填充颜色以减少该区域的最小差异。使用标志cv2.INPAINT_NS启用此算法。

# 方法 1：
dst_TELEA = cv2.inpaint(img,mask,3,cv2.INPAINT_TELEA)
# 方法2：
dst_NS = cv2.inpaint(img,mask,3,cv2.INPAINT_NS)

PS：这里的img是输入的原图，mask是上面连通域分析查找到的斑点位置。

查看官方的demo：

通过上述一系列的操作后，最终的祛斑效果如下：

是不是看上去还不错。锁骨上的斑点基本上都已经被清除干净了，同时增加了对比度显得皮肤更加有光泽。动手试一波吧！

整理完这篇文章已经十二点多了！

小伙伴，求分享，明天还要七点多起床上班，需要你的鼓励。

参考文献：

sobel算子：https://blog.csdn.net/qq_37124237/article/details/82183177

连通域分析：https://zhuanlan.zhihu.com/p/101371934

美图的专利：https://patentimages.storage.googleapis.com/21/09/cd/37e7c3a8bdcecf/CN103440633A.pdf

图像修补 inpaint：

https://blog.csdn.net/github_39611196/article/details/81252757

cv2.inpaint的原理：

https://www.cnblogs.com/lfri/p/10618417.html

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~