OCR图片预处理之去除印章(一)

导读

在做OCR票据类识别的时候经常会遇到一些票据上会有印章，而对于的文字检测和文字识别模型而言，印章的存在一定会影响模型识别的准确率，所以通常我们都是先将图片去除印章之后，再将图片送入到文字检测和文字识别模型中。

本篇文章就介绍一个比较简单的方法用来去除红色印章

移除红色印章

我们通过分离图片的通道，提取图片的红色通道，然后再通过阈值来去除红色的印章

import cv2
import numpy as npdef remove_red_seal(input_img):# 分离图片的通道blue_c, green_c, red_c = cv2.split(input_img)#利用大津法自动选择阈值thresh, ret = cv2.threshold(red_c, 0, 255,cv2.THRESH_OTSU)#对阈值进行调整filter_condition = int(thresh * 0.90)#移除红色的印章_, red_thresh = cv2.threshold(red_c, filter_condition, 255, cv2.THRESH_BINARY)# 把图片转回3通道result_img = np.expand_dims(red_thresh, axis=2)result_img = np.concatenate((result_img, result_img, result_img), axis=-1)return result_imginput_img = cv2.imread("1.jpg")
remove_seal = remove_red_seal(input_img)
cv2.imwrite("remove_seal.jpg",remove_seal)

注意：对于不同的场景，你可能需要对阈值进行微调(百分比)，以获取你认为的最佳阈值，百分比越小红色印章移除的越干净，同时也有可能会移除部分文字信息。

threshold函数

threshold(src, thresh, maxval, type[, dst])->ret,dst

src:：灰度图或单通道图片
thresh：阈值
maxval：最大值
type：阈值类型

这里重点介绍一下type参数的取值，它的取值如下图所示

在对图片做二值化处理的时候需要设置一个阈值来对图片进行二值化处理，然而在部分复杂的场景下，如果采用固定的阈值可能在某些场景下效果不错，换到有些场景时效果就不行了。

这时候我们就会想要用自动的阈值，这时候就可以用到THRESH_OTSU和THRESH_TRIANGLE这两个参数，它们会根据图片的灰度直方图来计算出一个阈值将图片分为前景和背景，下面我们来介绍一下它们是如何实现的。

THRESH_OTSU

大津法(OTSU)：也被称为是最大类间差法，被认为是图像分割阈值选择的最佳算法，计算简单，鲁棒性较好，不受图像亮度和和对比度的影响，因此在数字图像处理中被广泛的使用。

它根据图像的灰度直方图，将图像分为前景和背景两个部分。因为方差是度量图像灰度分布是否均匀，如果图像的背景和前景之间的差别越大，那么它们之间的类间方差差距也会越大。所以，如果我们能够保证图像前景和背景的灰度直方图方差差距最大时，就能让前景和背景分离的效果达到最佳，实际效果还是取决于具体的场景，可能需要根据不同的需求对阈值进行微调。

公式推导

其实只要抓住大津法的核心思想最大化前景和背景的方差要推导公式用代码来实现并不难，接下来我们来推导一下这个公式。

假设灰度TTT是图像分割前景和背景的最佳阈值，图像上任意一点属于前景的概率为ω1\omega_1ω1，属于背景的概率为ω2\omega_2ω2。图像前景的平均灰度值为μ1\mu_1μ1，背景的平均灰度值为μ2\mu_2μ2，所以图像的平均灰度值μ\muμ为
μ=ω1μ1+ω2μ2\mu = \omega_1 \mu_1 + \omega_2\mu_2 μ=ω1μ1+ω2μ2
根据类间的方差计算公式，前景和背景的类间方差计算如下
δ2=ω1(μ1−μ)2+ω2(μ2−μ)\delta^2=\omega_1(\mu_1-\mu)^2+\omega_2(\mu_2-\mu) δ2=ω1(μ1−μ)2+ω2(μ2−μ)
因为
ω1+ω2=1\omega_1+\omega_2 = 1 ω1+ω2=1
结合上面3个式子可得
δ2=ω1(μ1−(ω1μ1+ω2μ2))2+ω2(μ2−(ω1μ1+ω2μ2))2=ω1((1−ω1)μ1−ω2μ2)2+ω2((1−ω2)μ2−ω1μ1)2=ω1(ω2μ1−ω2μ2)2+ω2(ω1μ2−ω1μ1)2=ω1ω22(μ1−μ2)2+ω2ω12(μ1−μ2)=ω1ω2(μ1−μ2)2(ω2+ω1)=ω1ω2(μ1−μ2)2\begin{aligned} \delta^2&=\omega_1(\mu_1-(\omega_1\mu_1+\omega_2\mu_2))^2+\omega_2(\mu_2-(\omega_1\mu_1+\omega_2\mu_2))^2 \\ &= \omega_1((1-\omega_1)\mu_1-\omega_2\mu_2)^2+\omega_2((1-\omega_2)\mu_2-\omega_1\mu_1)^2 \\ &=\omega_1(\omega_2\mu_1-\omega_2\mu_2)^2+\omega_2(\omega_1\mu_2-\omega_1\mu_1)^2 \\ &=\omega_1\omega_2^2(\mu_1-\mu_2)^2+\omega_2\omega_1^2(\mu_1-\mu_2) \\ &=\omega_1\omega_2(\mu_1-\mu_2)^2(\omega_2+\omega_1)\\ &=\omega_1\omega_2(\mu_1-\mu_2)^2 \end{aligned} δ2=ω1(μ1−(ω1μ1+ω2μ2))2+ω2(μ2−(ω1μ1+ω2μ2))2=ω1((1−ω1)μ1−ω2μ2)2+ω2((1−ω2)μ2−ω1μ1)2=ω1(ω2μ1−ω2μ2)2+ω2(ω1μ2−ω1μ1)2=ω1ω22(μ1−μ2)2+ω2ω12(μ1−μ2)=ω1ω2(μ1−μ2)2(ω2+ω1)=ω1ω2(μ1−μ2)2
为了方便我们后面编程来实现，还需要对上式做一些调整，这里引入几个参数pip_ipi表示灰度值等于iii的概率，图像的灰度取值在[0,255][0,255][0,255]范围内取整数。假设灰度值ttt可以使图像前景和背景的方差最大，m1m_1m1为灰度级ttt的累加均值，mmm为图像的灰度级LLL的均值累加
ω1=∑i=0tpim1=∑i=0tipim=∑i=0Lipi\begin{aligned} \omega_1=& \sum_{i=0}^{t}p_i \\ m_1=&\sum_{i=0}^{t}ip_i\\ m=&\sum_{i=0}^{L}ip_i\\ \end{aligned} ω1=m1=m=i=0∑tpii=0∑tipii=0∑Lipi
可得μ1\mu_1μ1和μ2\mu_2μ2
μ1=∑i=0tipiω1=m1ω1μ2=∑i=t+1Lipiω2=∑i=0Lipi−∑i=0tipiω2=m−m1ω2\begin{aligned} \mu_1 &=\frac{\sum_{i=0}^{t}ip_i}{\omega_1}=\frac{m_1}{\omega_1}\\ \mu_2 &=\frac{\sum_{i=t+1}^{L}ip_i}{\omega_2}=\frac{\sum_{i=0}^{L}ip_i-\sum_{i=0}^{t}ip_i}{\omega_2}=\frac{m-m_1}{\omega_2}\\ \end{aligned} μ1μ2=ω1∑i=0tipi=ω1m1=ω2∑i=t+1Lipi=ω2∑i=0Lipi−∑i=0tipi=ω2m−m1
接下来我们对δ2\delta^2δ2结合上面的式子做个变换
δ2=ω1ω2(μ1−μ2)2=ω1ω2(m1ω1−m−m1ω2)2=ω1ω21ω12ω22(m1ω2−mω1+m1ω1)2=(m1−mω1)2ω1ω2=(m1−mω1)2ω1(1−ω1)\begin{aligned} \delta^2 &=\omega_1\omega_2(\mu_1-\mu_2)^2\\ &=\omega_1\omega_2(\frac{m_1}{\omega_1}-\frac{m-m_1}{\omega_2})^2\\ &=\omega_1\omega_2\frac{1}{\omega_1^2\omega_2^2}(m_1\omega_2-m\omega_1+m_1\omega_1)^2\\ &=\frac{(m_1-m\omega_1)^2}{\omega_1\omega_2}\\ &=\frac{(m_1-m\omega_1)^2}{\omega_1(1-\omega_1)} \end{aligned} δ2=ω1ω2(μ1−μ2)2=ω1ω2(ω1m1−ω2m−m1)2=ω1ω2ω12ω221(m1ω2−mω1+m1ω1)2=ω1ω2(m1−mω1)2=ω1(1−ω1)(m1−mω1)2
我们只需要使上式最大化即可

代码实现OTSU

上面我们推导了大津法的公式，以及如何来求解阈值划分前景和背景，下面我们用python来实现这个算法

import numpy as npdef Otsu(gray_img,L=256):#只处理二维数组assert len(gray_img.shape) == 2#创建一个灰度级数组gray_array = np.arange(0,L)#用来统计灰度级数组中每个灰度出现的次数gray_counts = np.zeros(shape=L,dtype=np.int32)#统计灰度图中每个灰度值出现的次数img_gray_value,img_gray_counts = np.unique(gray_img,return_counts=True)#将图片的灰度级信息拷贝到灰度级数组中gray_counts[img_gray_value] = img_gray_counts#计算每个灰度值出现的频率gray_frequency = gray_counts / np.sum(gray_counts)#计算频率的累加,也就是前景或背景类的概率p_array = np.cumsum(gray_frequency)#灰度级的均值累加m_array = np.cumsum(gray_array * gray_frequency)#计算以每个[0,255]灰度作为阈值计算方差gray_var = (m_array - m_array[-1]*p_array)**2 / (p_array*(1-p_array)+1e-6)#计算方差最大的下标值也就是最终的阈值return np.argmax(gray_var)

比较一下我们自己实现的大津法和opencv内置的函数

def remove_red_seal(input_img):# 分离图片的通道blue_c, green_c, red_c = cv2.split(input_img)#利用大津算法自动选择阈值t1 = time.time()thresh, ret = cv2.threshold(red_c, 0, 255,cv2.THRESH_OTSU)t2 = time.time()print(t2 - t1)print(thresh)print(Otsu(red_c))print(time.time()-t2)input_img = cv2.imread("2.jpg")
remove_seal = remove_red_seal(input_img)

最终两者输出的阈值都是160，不过python实现的代码是opencv时间的25倍左右，所以python在这方面对比c确实是硬伤。

THRESH_TRIANGLE

三角法(TRIANGLE)：是基于直方图利用几何的方法来求分割的最佳阈值，假设的成立条件是直方图的最大波峰在靠近最亮的一侧，然后再通过三角形来求解最大的距离找到最佳阈值。

如图所示，在灰度直方图上，从最高峰bmaxb_{max}bmax到最暗对应直方图的bminb_{min}bmin构造一条直线，然后从bminb_{min}bmin到bmaxb_{max}bmax开始计算到直线的垂直距离ddd，当ddd达到最大时，此时所对应的灰度值ttt就是分割图像的最佳阈值

接下来我们看看，使用三角法求解阈值值的整个流程，这里引入两个参数灰度级LLL和频率fff：

将图片转换为灰度图，通过OpenCV可以很容易实现
计算灰度图的灰度直方图，也就是每个灰度级LLL对应的频率fff
对灰度直方图进行排序，按灰度级进行排序，由小到大
确定直方图最大值(也就是fff)所对应灰度级LLL的位置，如果在左侧(灰度值小)就需要对灰度直方图进行翻转
根据左侧边界的灰度级点(Lmin,fmin)(L_{min},f_{min})(Lmin,fmin)和最亮部分频率最大对应的灰度级点(Lmax,fmax)(L_{max},f_{max})(Lmax,fmax)，由两点式我们可以确定这条直线
计算LminL_{min}Lmin到Lmax{L_{max}}Lmax的任意一点(L,f)(L,f)(L,f)到直线的距离ddd，当ddd最大时所对应的LLL就是我们要求的最佳阈值

代码实现

def Triangle(gray_img,L=256):assert len(gray_img.shape) == 2# 用来统计灰度级数组中每个灰度出现的次数gray_counts = np.zeros(shape=L, dtype=np.int32)# 统计灰度图中每个灰度值出现的次数img_gray_value, img_gray_counts = np.unique(gray_img, return_counts=True)# 将图片的灰度级信息拷贝到灰度级数组中gray_counts[img_gray_value] = img_gray_counts#找到左侧和右侧的边界left_bound = img_gray_value[0]if left_bound > 0:left_bound -= 1right_bound = img_gray_value[-1]if right_bound < L - 1:right_bound += 1#获取频率最大对应的灰度值max_gray = np.argmax(gray_counts)#计算最大灰度值对应的频率大小max_fre = gray_counts[max_gray]#用来记录是否翻转flip_flag = False#如果最大频率的灰度值在靠近左侧位置对齐进行翻转if (max_gray - left_bound) < (right_bound - max_gray):gray_counts = gray_counts[::-1]max_gray = L - 1 - max_grayleft_bound = L - 1 - right_boundflip_flag = True#用来记录最大的距离max_dist = 0#记录最终的阈值th = 0#直方图最大值对应的点point1 = np.array([max_gray,max_fre])#直方图最小值对应的点point2 = np.array([left_bound,gray_counts[left_bound]])#找到距离最大对应的灰度值for i in range(left_bound+1,max_gray+1):point3 = np.array([i,gray_counts[i]])vec1 = point3 - point2vec2 = point1 - point2#计算点到直线的距离,实际上分母可以不要dist = abs(np.cross(vec1,vec2)) / np.linalg.norm(point1 - point2)if dist > max_dist:max_dist = distth = ith -= 1if flip_flag:th = L - 1 - threturn th

大津法和三角法的对比

共同点：两者都是算法自动计算出阈值，不需要指定阈值
不同点：大津法适合双波峰的灰度直方图，三角法适合单波峰的灰度直方图

opencv显示灰度直方图

from matplotlib import pyplot as plt
input_img = cv2.imread("1.jpg")
blue_c, green_c, red_c = cv2.split(input_img)
hist = cv2.calcHist([red_c],[0],None,[256],[0,256])
plt.plot(hist)
plt.show()

参考：

https://blog.csdn.net/weixin_40647819/article/details/90179953
https://www.cnblogs.com/ZFJ1094038955/p/12027836.html
https://blog.csdn.net/qq_45769063/article/details/107102117