Opencv项目实战-信用卡数字识别

Opencv项目实战：信用卡数字识别

导入库，定义展示函数

import cv2
import numpy as np
from imutils import contours
import myutils # 自定义的库def img_show(img, name):cv2.imshow('name', img)cv2.waitKey(0)cv2.destroyAllWindows()

读取模板图片，进行轮廓检测。

而轮廓检测cv2.findContours()接收是二值图像，所以先对模板进行灰度和二值处理，由于原图像是白底黑图，所以进行反二值处理为黑底白图。

# 读取数字图片
number = cv2.imread('./images/ocr_a_reference.png')
# 转换为灰度图片 色彩空间转换
number_gray = cv2.cvtColor(number, cv2.COLOR_BGR2GRAY)
# 转化为二值图像 图像阈值处理
# 其返回值为两个，【0】表示返回阈值 【1】表示返回图像
number_gray = cv2.threshold(number_gray, 10, 255, cv2.THRESH_BINARY_INV)[1]

轮廓检测

外轮廓，并绘出轮廓

# 轮廓检测 外轮廓
# 新版本opencv只有两个返回值，分别是轮廓和轮廓的层次信息
refCnts, hierarchy = cv2.findContours(number_gray.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 绘制轮廓
# 参数：图像，轮廓，边缘索引，颜色，厚度
cv2.drawContours(number, refCnts, -1, (0, 0, 255), 3)  # -1表示绘出所有轮廓

轮廓进行排序

应用自定义库myutils对绘出的轮廓进行排序

def sort_contours(cnts, method="left-to-right"):reverse = Falsei = 0if method == "right-to-left" or method == "bottom-to-top":reverse = Trueif method == "top-to-bottom" or method == "bottom-to-top":i = 1# 用一个最小的矩形，把找到的形状包起来x,y,h,w对外接矩形取左上点的横坐标，通过对横坐标的排序即可实现对数字的排序# boundingBoxes是一个由元组构成的列表，其中每个元组包含x、y、h、w四个值boundingBoxes = [cv2.boundingRect(c) for c in cnts]  # zip[iterable,...]函数返回一个以元组为元素的列表,zip()和*操作符一起操作可以用来unzip(分解)一个列表为多个元组# zip(cnts, boundingBoxes),key=lambda b: b[1][i], reverse=reverse)这里首先将cnts, boundingBoxes合成# 为(cnts, (x, y, w, h))又根据自定义函数lambada函数提取b[1]=(x, y, w, h)根据i值确定x，y值排序，最后zip(*)拆分# 返回cnts和boundingBoxes值(cnts, boundingBoxes) = zip(*sorted(zip(cnts, boundingBoxes)key=lambda b: b[1][i], reverse=reverse))  # 使用其X进行判断return cnts, boundingBoxes  # 返回值为排序完的轮廓# 排序从左到右，从上到下,根据method，则轮廓为根据x值升序进行排序
refCnts = myutils.sort_contours(refCnts, method="left-to-right")[0]

定义一个空字典进行模板匹配

digits={}

对轮廓进行遍历

得到(x, y, w, h)值做外接矩形，并将外接矩形轮廓加入到字典中，其字典的key就是轮廓所代表的值

# 遍历每一个轮廓
for i, c in enumerate(refCnts):# 计算外界矩形并relize的合适大小(x, y, w, h) = cv2.boundingRect(c)roi = number_gray[y: y+h, x: x+w]roi = cv2.resize(roi, [57, 88])# 每一个数字对应一个模板digits[i] = roi

定义形态学操作所需要的卷积核

# 初始化卷积核
ntKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
ffKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))

读取信用卡图片

引用myutils中的函数缩小尺寸，并进行灰度处理

def resize(image, width=None, height=None, inter=cv2.INTER_AREA):dim = None(h, w) = image.shape[:2]if width is None and height is None:return imageif width is None:r = height / float(h)dim = (int(w * r), height)else:r = width / float(w)dim = (width, int(h * r))resized = cv2.resize(image, dim, interpolation=inter)return resized# 读取信用卡图像
card_01 = cv2.imread('./images/credit_card_01.png')
card_01 = myutils.resize(card_01, width=300)
card_01_gray = cv2.cvtColor(card_01, cv2.COLOR_BGR2GRAY)

礼帽操作

对图像进行礼帽操作(原始图像-(开运算结果(先腐蚀后膨胀))），作用：获得图像的噪声信息或者比原始图像边缘更亮的边缘部分。

# 礼帽操作 突出更明亮的区域（白色部分）
card_tophat = cv2.morphologyEx(card_01_gray, cv2.MORPH_TOPHAT, ntKernel)

Sobel算子

进行Sobel算子进行梯度运算，对噪声具有平滑作用，能很好的消除噪声的影响。

gradX = cv2.Sobel(card_tophat, ddepth=cv2.CV_32F, dx=1, dy=0, ksize=-1)
gradX = np.absolute(gradX)  # 绝对值
# 将边界归一化处理，看的更清楚
minVal, maxVal = np.min(gradX), np.max(gradX)
gradX = 255 * (gradX - minVal) / (maxVal - minVal)
#转化为8位无符号数
gradX = gradX.astype('uint8')

闭操作

进行闭操作（先膨胀在腐蚀），可以填充白色物体内细小黑色空洞的区域、连接临近物体

# 填充白色区域内细小黑色空洞的区域， 将数字连在一起，形成白色块状
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, ntKernel)

二值化处理

二值化处理，将两种主题明显分隔开，用THRESH_OTSU自动做判断

# THRESH_OTSU自动寻找合适的阈值， 需把阈值参数设置为0
thresh = cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]

闭操作

图像中白色块内有出先黑色空洞，再次使用闭操作填充黑色空洞部分

# 在执行一个闭操作，白色填充黑色区域
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, ffKernel)
img_show(gradX, "gradx")

轮廓检测，绘制轮廓

# 绘制轮廓
threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = threshCnts
cur_img = card_01.copy()
cv2.drawContours(cur_img, cnts, -1, (0, 0, 255), 3)

过滤轮廓

选出需要的4个数字轮廓，并定义空列表添加所需轮廓

locs = []
# 遍历轮廓
for i, c in enumerate(cnts):# 计算矩形(x, y, w, h) = cv2.boundingRect(c)ar = w / float(h)# 通过计算长宽比例，把符合的留下来if 2.5 < ar < 4.0:if (40 < w < 55) and (10 < h < 20):locs.append((x, y, w, h))
print(len(locs))  # 数量为4
# 通过轮廓的x值从左到右排序(升序)
locs = sorted(locs, key=lambda x: x[0])

得到每一个轮廓

先定义一个空列表output = []储存信用卡的数字

遍历locs列表里4个轮廓的每一个轮廓，对每一个轮廓的图像进行，轮廓检测与排序，从而的每一个轮廓中每一个数字的轮廓

for (i, (gx, gy, gw, gh)) in enumerate(locs):group_out = []# 往外扩展group = card_01_gray[gy - 5: gy + gh + 5, gx - 5: gx + gw + 5]# img_show(group, 'group')# 轮廓检测找到每一个小轮廓group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]# 得到每一个数字的轮廓digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)# 排序从左到右digitCnts = contours.sort_contours(digitCnts, method="left to right")[0]

阈值处理得到的每一个轮廓图像

得到每一个数字

遍历每一个轮廓中的数字

for (i, (gx, gy, gw, gh)) in enumerate(locs):passfor c in digitCnts:# 得到每一个数字的轮廓值(x, y, w, h) = cv2.boundingRect(c)# 提取每个数字图像roi = group[y:y + h, x:x + w]roi = cv2.resize(roi, (57, 88))  # 获得每个数字的轮廓并将其resize为和模板一样大小的图片以便于模式匹配

模板匹配

将信用卡得到的数字图像与模板数字图像进行模板匹配

for (i, (gx, gy, gw, gh)) in enumerate(locs):passfor c in digitCnts:pass# 计算匹配得分scores = []# 在匹配中计算每一个得分for (digit, digitROI) in digits.items():# 模板匹配, 得到匹配程度result = cv2.matchTemplate(roi, digitROI, cv2.TM_CCOEFF)# 取最大值为完全匹配# (minVal, maxVal, minLoc, maxLoc) = cv2.minMaxLoc(result)(_, score, _, _) = cv2.minMaxLoc(result)# 每一个轮廓匹配的最大值加入scores列表scores.append(score)# np.argmax(a)这个函数是返回a中最大值的索引group_out.append(str(np.argmax(scores)))cv2.rectangle(card_01, (gx - 5, gy - 5), (gx + gw + 5, gy + gh + 5), (0, 0, 255), 1)# "str".join(item) str表示字符串（字符），item表示一个成员，注意括号里必须只能有一个成员# 得到item的每一个成员以str字符分隔在拼成一个字符串cv2.putText(card_01, "".join(group_out), (gx, gy - 15), cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)# 得到结果output.extend(group_out)

这里由于result是与模板里的数字轮廓相匹配的程度，而其模板图片中轮廓所代表的值与scores的索引相同，顺序都为【0-9】，转换为字符即为正确数字。然后绘出矩形和数字在图像中即可完成。

结果

最后打印输出结果。

print('Card number :{}'.format("".join(output)))
img_show(card_01, 'card_01')

others：