计算机视觉：图像分类定位(单一目标检测）python实现

前言

目标检测：我们不仅要用算法判断图片中是不是猫还是狗，还要在图片中标记出它的位置，用边框或红色方框把猫狗圈起来，这就是目标检测问题。其中“定位”的意思是判断猫狗在图片中的具体位置。

目标检测有两类任务：单一目标，多目标。

能力差，电气专业，又未怎么深入研究cv.
所以本文先探讨单一目标。

HOG+SVM实现行人检测

先讲解 opencv自带的行人检测例子
HOG原理见
计算机视觉：图像特征与描述大全，有代码（一篇博文带你简单了解完图像特征提取技术）

不多说，上代码

import cv2 as cv# 读取图像
src = cv.imread("duoren.jpg")
cv.imshow("input", src)
# HOG + SVM
hog = cv.HOGDescriptor()
hog.setSVMDetector(cv.HOGDescriptor_getDefaultPeopleDetector())
# Detect people in the image
(rects, weights) = hog.detectMultiScale(src,winStride=(4, 4), padding=(8, 8),scale=1.25,useMeanshiftGrouping=False)
# 矩形框
for (x, y, w, h) in rects:cv.rectangle(src, (x, y), (x + w, y + h), (0, 255, 0), 2)
# 显示[添加链接描述](https://blog.csdn.net/kobeyu652453/article/details/107382227)
cv.imshow("result", src)
cv.waitKey(0)
cv.destroyAllWindows()

图像定位实现

python +keras实现图像分类（入门级例子讲解）
opencv进阶学习笔记12：轮廓发现和对象测量

目标检测算法很复杂。
我尝试用图像分类+对象测量来实现单目标的图像检测。

图像分类对象测量不多说了，参考上面给的链接。

1读取图片并去噪

import cv2 as cvimage= cv.imread("catdog/dog/dog.77.jpg")
image=cv.resize(image,None,fx=0.5,fy=0.5)
blurred = cv.GaussianBlur(image, (5, 5), 0)  # 去噪

2二值化图像

gray = cv.cvtColor(blurred, cv.COLOR_BGR2GRAY)ret, binary = cv.threshold(gray, 0, 255, cv.THRESH_BINARY | cv.THRESH_OTSU)

3绘制轮廓边缘

contours, hireachy = cv.findContours(binary, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)

cv2.findContours()函数第一个参数是要检索的图片，必须是为二值图，即黑白的（不是灰度图），所以读取的图像要先转成灰度的，再转成二值图，
参数讲解
contours,hierarchy=cv2.findContours(image,mode,method)
contours：轮廓
hierarchy:图像的拓扑信息（轮廓层次）（存储上一个轮廓，父轮廓…）
image：二值图像
mode:轮廓检索方式
method:轮廓的近似方法

4求得包含点集最小面积的矩形，这个矩形是可以有偏转角度的，可以与图像的边界不平行。

c = sorted(contours, key=cv.contourArea, reverse=True)[0]rect = cv.minAreaRect(c)
box = np.int0( cv.boxPoints(rect))# draw a bounding box arounded the detected barcode and display the image
cv.drawContours(image, [box], -1, (0, 255, 0), 3)

讲解

double cvContourArea( const CvArr* contour, CvSlice slice=CV_WHOLE_SEQ );
contour：轮廓（顶点的序列或数组）。
slice：感兴趣区轮廓部分的起点和终点，默认计算整个轮廓的面积。

c = sorted(contours, key=cv.contourArea, reverse=True)[0]
取出最大的轮廓面积，有些轮廓为噪声。
最大轮廓一般情况下能取到我们想要的目标物。

minAreaRect函数返回矩形的中心点坐标，长宽，旋转角度[-90,0)，当矩形水平或竖直时均返回-90

使用cv2.boxPoints()可获取该矩形的四个顶点坐标。浮点型数据

np.int0 取整

r=cv2.drawContours(image, contours, contourIdx, color[, thickness])
r:目标图像
image:原始图像
contours: 所有的输入轮廓边缘数组
contourIdx ：需要绘制的边缘索引，如果全部绘制为-1。如果有多个目标，可以绘制第一个目标0，第二个目标1，第三个目标2.。。
color：绘制的颜色，为BGR格式的SCalar
thickness:可选，绘制的密度，即轮廓的画笔粗细

5找出四个顶点的x，y坐标的最大最小值。矩形框的高=maxY-minY，宽=maxX-minX。

由于前面的提到的包含点集最小面积的矩形有的矩形不与图像平行，是斜着的，如下图。我们调整矩形框。

 Xs = [i[0] for i in box]Ys = [i[1] for i in box]x1 = min(Xs)x2 = max(Xs)y1 = min(Ys)y2 = max(Ys)hight = y2 - y1width = x2 - x1cropImg = image[y1:y1 + hight, x1:x1 + width]cv.rectangle(image, (x1, y1), (x1 + width, y1 +hight ), (0, 0, 255), 2)  # 在原图上，给轮廓绘制矩形cv.imshow('result',image)

所有代码

import cv2 as cv
import numpy as np
src= cv.imread("dog.16.jpg")
src=cv.resize(src,None,fx=0.5,fy=0.5)
image=src.copy()
#去噪
blurred = cv.GaussianBlur(image, (5, 5), 0)  # 去噪
#灰度转换
gray = cv.cvtColor(blurred, cv.COLOR_BGR2GRAY)
#二值化
ret, binary = cv.threshold(gray, 0, 255, cv.THRESH_BINARY | cv.THRESH_OTSU)
#轮廓发现
contours, hireachy = cv.findContours(binary, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
#取出最大轮廓
c = sorted(contours, key=cv.contourArea, reverse=True)[0]
#找到最大轮廓的最小外接矩形
rect = cv.minAreaRect(c)
#取出最小外接矩形的四个顶点
box = np.int0( cv.boxPoints(rect))
#绘制矩形框
Xs = [i[0] for i in box]
Ys = [i[1] for i in box]
x1 = min(Xs)
x2 = max(Xs)
y1 = min(Ys)
y2 = max(Ys)
hight = y2 - y1
width = x2 - x1
cropImg = image[y1:y1 + hight, x1:x1 + width]
cv.rectangle(image, (x1, y1), (x1 + width, y1 + hight), (0, 0, 255), 2)  # 在原图上，给轮廓绘制矩形
#显示
cv.imshow("input image", src)
cv.imshow('result', image)cv.waitKey(0)
cv.destroyAllWindows()

图像分类定位实现

我应用图像分类加前面提到的定位结合起来做单目标的图像监测。

图像分类前面给出了链接，这里不再给啦，博文太多链接了，会被显示待审核。

PYQT 封装吧。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Author: yudengwu
# @Date  : 2020/8/1
import sys
from PyQt5 import QtWidgets, QtCore, QtGui
from PyQt5.QtGui import *
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *import cv2
import keras
from keras .models import load_model
import numpy as np
import re
class picture(QWidget):def __init__(self):super(picture, self).__init__()self.resize(600, 400)self.setWindowTitle("猫狗分类")self.btn = QPushButton()self.btn.setText("打开图片")self.btn.clicked.connect(self.openimage)self.label = QLabel()self.label.setText('图片路径')self.labelimage = QLabel()self.labelimage.setText("显示图片")#self.labelimage.setFixedSize(500, 400)#设置尺寸self.labelimage.setStyleSheet("QLabel{background:white;}""QLabel{color:rgb(300,300,300,120);font-size:10px;font-weight:bold;font-family:宋体;}")#预测按钮self.btnclass=QPushButton()self.btnclass.setText('点击预测分类')self.btnclass.clicked.connect(self.fenlei)self.labelclass=QLabel()self.labelclass.setText('预测类别')self.labelclass.setStyleSheet("font:16pt '楷体';border-width:2px;border-style: inset;border-color:gray")layout1=QVBoxLayout()layout1.addWidget(self.btn)layout1.addWidget(self.label)layout1.addWidget(self.labelimage)layout2 = QVBoxLayout()layout2.addWidget(self.btnclass)layout2.addWidget(self.labelclass)layout=QVBoxLayout()layout.addLayout(layout1)layout.addLayout(layout2)self.setLayout(layout)def openimage(self):imgName, imgType = QFileDialog.getOpenFileName(self, "打开图片", "", "*.jpg;;*.png;;All Files(*)")#jpg = QtGui.QPixmap(imgName).scaled(self.labelimage.width(), self.label.height())#适应labelimage尺寸，前提是label设置了尺寸jpg = QtGui.QPixmap(imgName)self.labelimage.setPixmap(jpg)self.label.setText(str(imgName))def fenlei(self):biaoqian = {'1': '猫', '0': '狗'}path=self.label.text()newName = re.sub('(D:/机器学习/学习草稿/)','', path)#print(newName)img = cv2.imread(str(newName))img = cv2.resize(img, (100, 100))  # 使尺寸大小一样img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)img = np.array(img) / 255img = img.astype(np.float64)img = img.reshape(-1, 100, 100, 1)model = load_model('猫狗分类.h5')predict_y = model.predict(img)pred_y = int(np.round(predict_y))#print(pred_y)self.labelclass.setText(biaoqian[str(pred_y)])########图像定位src = cv2.imread(str(newName))src = cv2.resize(src, None, fx=0.5, fy=0.5)image = src.copy()# 去噪blurred = cv2.GaussianBlur(image, (5, 5), 0)  # 去噪# 灰度转换gray = cv2.cvtColor(blurred, cv2.COLOR_BGR2GRAY)# 二值化ret, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)# 轮廓发现contours, hireachy = cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)# 取出最大轮廓c = sorted(contours, key=cv2.contourArea, reverse=True)[0]# 找到最大轮廓的最小外接矩形rect = cv2.minAreaRect(c)# 取出最小外接矩形的四个顶点box = np.int0(cv2.boxPoints(rect))# 绘制矩形框Xs = [i[0] for i in box]Ys = [i[1] for i in box]x1 = min(Xs)x2 = max(Xs)y1 = min(Ys)y2 = max(Ys)hight = y2 - y1width = x2 - x1cropImg = image[y1:y1 + hight, x1:x1 + width]cv2.rectangle(image, (x1, y1), (x1 + width, y1 + hight), (0, 0, 255), 2)  # 在原图上，给轮廓绘制矩形#显示在lableimage上res = imageres = cv2.resize(res, (400, 300), interpolation=cv2.INTER_CUBIC)  # 用cv2.resize设置图片大小img2 = cv2.cvtColor(res, cv2.COLOR_BGR2RGB)  # opencv读取的bgr格式图片转换成rgb格式_image = QtGui.QImage(img2[:], img2.shape[1], img2.shape[0], img2.shape[1] * 3,QtGui.QImage.Format_RGB888)  # pyqt5转换成自己能放的图片格式jpg_out = QtGui.QPixmap(_image)  # 转换成QPixmapself.labelimage.setPixmap(jpg_out)  # 设置图片显示cv2.waitKey()cv2.destroyAllWindows()if __name__ == "__main__":app = QtWidgets.QApplication(sys.argv)my = picture()my.show()sys.exit(app.exec_())

说明：

model = load_model(‘猫狗分类.h5’)
导入训练好的分类模型

在PYQT中显示opencv图核心代码

def setImage(self):img = cv2.imread('test.jpg') #opencv读取图片img2 = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) #opencv读取的bgr格式图片转换成rgb格式_image = QtGui.QImage(img2[:], img2.shape[1], img2.shape[0], img2.shape[1] * 3, QtGui.QImage.Format_RGB888) #pyqt5转换成自己能放的图片格式jpg_out = QtGui.QPixmap(_image).scaled(self.imgLabel.width(), self.imgLabel.height()) #设置图片大小self.imgLabel.setPixmap(jpg_out) #设置图片显示

结果演示

本文给出的方法不是纯粹的目标检测算法。定位有的图有所缺陷。

只是图像分类+对象测量来实现单一目标检测功能

等我有时间研究下目标检测算法后，再来写博文。

电气专业的计算机萌新：余登武，写博文不容易，如果你觉得本文对你有用，请点个赞支持下，谢谢。