我们在进行图像分割后，分割结果有时会有一些小孔洞，如图1所示，其中黑白两色表示两种不同的类别。一般情况下，这些孔洞属于错分情况，为了优化结果，我们通常对这些孔洞进行填充。今天我们就用python语言基于OpenCV实现孔洞填充。图1 有孔洞的分割图像

我们要用到的函数是OpenCV里的floodFill函数。使用floodFill函数可以得到只标记孔洞的像素矩阵(孔洞值为0，非孔洞值为指定值)。有了孔洞的位置填充孔洞就容易多了。python代码如下。

import cv2

import numpy as np

'''图像说明：图像为二值化图像，255白色为目标物，0黑色为背景要填充白色目标物中的黑色空洞'''

def FillHole(imgPath,SavePath):

im_in = cv2.imread(imgPath, cv2.IMREAD_GRAYSCALE);

cv2.imwrite("im_in.png",im_in)

# 复制 im_in 图像

im_floodfill = im_in.copy()

# Mask 用于 floodFill，官方要求长宽+2

h, w = im_in.shape[:2]

mask = np.zeros((h+2, w+2), np.uint8)

# floodFill函数中的seedPoint对应像素必须是背景

isbreak = False

for i in range(im_floodfill.shape[0]):

for j in range(im_floodfill.shape[1]):

if(im_floodfill[i][j]==0):

seedPoint=(i,j)

isbreak = True

break

if(isbreak):

break

# 得到im_floodfill 255填充非孔洞值

cv2.floodFill(im_floodfill, mask,seedPoint, 255)

# 得到im_floodfill的逆im_floodfill_inv

im_floodfill_inv = cv2.bitwise_not(im_floodfill)

# 把im_in、im_floodfill_inv这两幅图像结合起来得到前景

im_out = im_in | im_floodfill_inv

# 保存结果

cv2.imwrite(SavePath, im_out)

填充结果如图2所示，三个孔洞均被填充。图2 填充结果

现在又有一个问题，就是说如果我们的多类分割呢，就像图3所示。我们可以利用for循环分颜色进行单类别填充孔洞，然后进行合并。python代码如下。图3 有孔洞的多类图像分割

import cv2;

import numpy as np;

def FillHole_RGB(imgPath,SavePath):

# 读取图像为uint32,之所以选择uint32是因为下面转为0xbbggrr不溢出

im_in_rgb = cv2.imread(imgPath).astype(np.uint32)

# 将im_in_rgb的RGB颜色转换为 0xbbggrr

im_in_lbl = im_in_rgb[:,:,0] + (im_in_rgb[:,:,1] << 8) + (im_in_rgb[:,:,2] << 16)

# 将0xbbggrr颜色转换为0,1,2,...

colors, im_in_lbl_new = np.unique(im_in_lbl, return_inverse=True)

# 将im_in_lbl_new数组reshape为2维

im_in_lbl_new = np.reshape(im_in_lbl_new,im_in_lbl.shape)

# 创建从32位im_in_lbl_new到8位colorize颜色的映射

colorize = np.empty((len(colors), 3), np.uint8)

colorize[:,0] = (colors & 0x0000FF)

colorize[:,1] = (colors & 0x00FF00) >> 8

colorize[:,2] = (colors & 0xFF0000) >> 16

# 输出一下colorize中的color

print("Colors_RGB: \n",colorize)

# 有几种颜色就设置几层数组，每层数组均为各种颜色的二值化数组

im_result = np.zeros((len(colors),)+im_in_lbl_new.shape,np.uint8)

# 初始化二值数组

im_th = np.zeros(im_in_lbl_new.shape,np.uint8)

for i in range(len(colors)):

for j in range(im_th.shape[0]):

for k in range(im_th.shape[1]):

if(im_in_lbl_new[j][k]==i):

im_th[j][k] = 255

else:

im_th[j][k] = 0

# 复制 im_in 图像

im_floodfill = im_th.copy()

# Mask 用于 floodFill,mask多出来的2可以保证扫描的边界上的像素都会被处理.

h, w = im_th.shape[:2]

mask = np.zeros((h+2, w+2), np.uint8)

isbreak = False

for m in range(im_floodfill.shape[0]):

for n in range(im_floodfill.shape[1]):

if(im_floodfill[m][n]==0):

seedPoint=(m,n)

isbreak = True

break

if(isbreak):

break

# 得到im_floodfill

cv2.floodFill(im_floodfill, mask, seedPoint, 255,4)

# help(cv2.floodFill.rect)

# 得到im_floodfill的逆im_floodfill_inv

im_floodfill_inv = cv2.bitwise_not(im_floodfill)

# 把im_in、im_floodfill_inv这两幅图像结合起来得到前景

im_out = im_th | im_floodfill_inv

im_result[i] = im_out

# rgb结果图像

im_fillhole = np.zeros((im_in_lbl_new.shape[0],im_in_lbl_new.shape[1],3),np.uint8)

# 之前的颜色映射起到了作用

for i in range(im_result.shape[1]):

for j in range(im_result.shape[2]):

for k in range(im_result.shape[0]):

if(im_result[k][i][j] == 255):

im_fillhole[i][j] = colorize[k]

break

# 保存图像

cv2.imwrite(SavePath, im_fillhole)

填充结果如图4所示，所有孔洞均被填充。图4 填充结果

现在问题又来了，如果我只想填充特定大小阈值以内的孔洞，不填充大空洞怎么办呢？OpenCV里有个函数findContours可以获取每一个孔洞的轮廓，然后用contourArea函数计算每个孔洞的面积，如果面积大于阈值就不填充。代码如下。

import cv2;

import numpy as np;

def FillHole_RGB(imgPath,SavePath,SizeThreshold):

# 读取图像为uint32,之所以选择uint32是因为下面转为0xbbggrr不溢出

im_in_rgb = cv2.imread(imgPath).astype(np.uint32)

# 将im_in_rgb的RGB颜色转换为 0xbbggrr

im_in_lbl = im_in_rgb[:,:,0] + (im_in_rgb[:,:,1] << 8) + (im_in_rgb[:,:,2] << 16)

# 将0xbbggrr颜色转换为0,1,2,...

colors, im_in_lbl_new = np.unique(im_in_lbl, return_inverse=True)

# 将im_in_lbl_new数组reshape为2维

im_in_lbl_new = np.reshape(im_in_lbl_new,im_in_lbl.shape)

# 创建从32位im_in_lbl_new到8位colorize颜色的映射

colorize = np.empty((len(colors), 3), np.uint8)

colorize[:,0] = (colors & 0x0000FF)

colorize[:,1] = (colors & 0x00FF00) >> 8

colorize[:,2] = (colors & 0xFF0000) >> 16

# 输出一下colorize中的color

print("Colors_RGB: \n",colorize)

# 有几种颜色就设置几层数组，每层数组均为各种颜色的二值化数组

im_result = np.zeros((len(colors),)+im_in_lbl_new.shape,np.uint8)

# 初始化二值数组

im_th = np.zeros(im_in_lbl_new.shape,np.uint8)

for i in range(len(colors)):

for j in range(im_th.shape[0]):

for k in range(im_th.shape[1]):

if(im_in_lbl_new[j][k]==i):

im_th[j][k] = 255

else:

im_th[j][k] = 0

# 复制 im_in 图像

im_floodfill = im_th.copy()

# Mask 用于 floodFill,mask多出来的2可以保证扫描的边界上的像素都会被处理.

h, w = im_th.shape[:2]

mask = np.zeros((h+2, w+2), np.uint8)

isbreak = False

for m in range(im_floodfill.shape[0]):

for n in range(im_floodfill.shape[1]):

if(im_floodfill[m][n]==0):

seedPoint=(m,n)

isbreak = True

break

if(isbreak):

break

# 得到im_floodfill

cv2.floodFill(im_floodfill, mask, seedPoint, 255,4)

# 得到im_floodfill的逆im_floodfill_inv，im_floodfill_inv包含所有孔洞

im_floodfill_inv = cv2.bitwise_not(im_floodfill)

# 之所以复制一份im_floodfill_inv是因为函数findContours会改变im_floodfill_inv_copy

im_floodfill_inv_copy = im_floodfill_inv.copy()

# 函数findContours获取轮廓

contours, hierarchy = cv2.findContours(im_floodfill_inv_copy, cv2.RETR_TREE, cv2.CHAIN_APPROX_NONE)

for num in range(len(contours)):

if(cv2.contourArea(contours[num])>=SizeThreshold):

cv2.fillConvexPoly(im_floodfill_inv, contours[num], 0)

# 把im_in、im_floodfill_inv这两幅图像结合起来得到前景

im_out = im_th | im_floodfill_inv

im_result[i] = im_out

# rgb结果图像

im_fillhole = np.zeros((im_in_lbl_new.shape[0],im_in_lbl_new.shape[1],3),np.uint8)

# 之前的颜色映射起到了作用

for i in range(im_result.shape[1]):

for j in range(im_result.shape[2]):

for k in range(im_result.shape[0]):

if(im_result[k][i][j] == 255):

im_fillhole[i][j] = colorize[k]

break

# 保存图像

cv2.imwrite(SavePath, im_fillhole)

填充结果如图5所示，所有阈值大小以内孔洞均被填充。图5 有阈值的填充结果

目前以上代码测试没有问题，如有问题请留言，我们共同交流。

【后言】

python实现全连接CRFs后处理文字：馨意：【图像后处理】python实现全连接CRFs后处理​zhuanlan.zhihu.com