OpenCV使用CUDA处理图像的教程与实战

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

import cv2 as cvgpu_frame = cv.cuda_GpuMat()screenshot = cv.imread('media/drip.png')gpu_frame.upload(screenshot)gpu_frame.download()

概述

在单张图像上使用
在多张图像上使用
对多张图像使用Dask进行并行延时处理

在单张图像上使用

我们需要创建GPU空间(GPU_frame)来保存图像(就像相框保存图片一样)，然后才能将图像上传到GPU。

第1步：上传

import cv2 as cvgpu_frame = cv.cuda_GpuMat()

接下来用CPU将图像加载到内存中(截图)，并将其上传到gpu上(帧图像)；

screenshot = cv.imread('media/drop.png')gpu_frame.upload(screenshot)

第2步：处理图像

OpenCV CUDA函数返回cv2.cuda_GpuMat(GPU矩阵)，因此每个结果都可以在用户不必重新上传的情况下进行操作。

让我们把图像从RGB转换成BGR(OpenCV格式)，然后调整大小；

screenshot = cv.cuda.cvtColor(gpu_frame, cv.COLOR_RGB2BGR)screenshot = cv.cuda.resize(screenshot, (400, 400))

注意：你调用的函数的第一个参数应该是GPU矩阵(GPU帧)，而不是你刚刚上传的图像，这会返回一个新的GPU矩阵。

原始的GPU矩阵(gpu_frame)将继续保存原始图像，直到新图像被上传。

第3步：下载

处理之后的图像在GPU上，我们需要把它下载回CPU；

screenshot.download()

注意:.download()将从cv转换为图像，即从cuda_GpuMat到 numpy.ndarray。

在多张图像上使用

如果需要处理新图片，只需调用.upload()将新图片加载到现有的GPU矩阵中。图像在传递给GPU之前仍然必须加载到CPU上。

import cv2 as cvimg_files = ['bear.png', 'drip.png', 'tldr.png', 'frog.png']# 创建帧来保存图片(cv2.cuda_GpuMat)
gpu_frame = cv.cuda_GpuMat()for i in range(len(img_files)):# 加载图像(CPU)screenshot = cv.imread(f"media/{img_files[i]}")# 上传到GPUgpu_frame.upload(screenshot)# 转换颜色到opencv (numpy) ndarray→cv2.cuda_GpuMatscreenshot = cv.cuda.cvtColor(gpu_frame, cv.COLOR_RGB2BGR)# 反向阈值@ 100screenshot = cv.cuda.threshold(screenshot, 105, 255, cv.THRESH_BINARY_INV)# 调整图像screenshot = cv.cuda.resize(screenshot[1], (200, 200))# 从GPU下载图像(cv2) cuda_GpuMat→numpy.ndarrayscreenshot = screenshot.download()

这一次我们在预处理中添加了一个反向的binary.threshold()函数；

对多张图像使用Dask进行并行延时处理

使用Dask延时，我们可以将上面的循环推入到Dask延时函数，并行预处理多张图。

import cv2 as cv
import dask.delayed@dask.delayed
def preprocess(files):# 复制图像文件i_files = files.copy()# 创建GPU帧来保存图像gpu_frame = cv.cuda_GpuMat()for i in range(len(i_files)):# 加载图像(CPU)screenshot = cv.imread(f'media/{i_files[i]}')# 上传到GPUgpu_frame.upload(screenshot)# 转换颜色到opencv (numpy) ndarray→cv2.cuda_GpuMatscreenshot = cv.cuda.cvtColor(gpu_frame, cv.COLOR_RGB2BGR)screenshot = cv.cuda.cvtColor(screenshot, cv.COLOR_BGR2GRAY)# 反向阈值@ 100screenshot = cv.cuda.threshold(screenshot, 125, 255, cv.THRESH_BINARY)# 调整图像screenshot = cv.cuda.resize(screenshot[1], (200, 200))# 从GPU下载图像 (cv2.cuda_GpuMat -> numpy.ndarray)screenshot = screenshot.download()# 用新图像i_files[i] = screenshot# 输出预处理图像return i_files

添加了另一个.cvtColor()来灰度化图像，并将反转的二进制阈值切换为二进制阈值。

我们现在可以使用compute()来进行计算了；

from dask import computeimg_files = ['bear.png', 'drip.png', 'tldr.png', 'frog.png']
img_files_2 = ['apple.png', 'eye.png', 'window.png', 'blinds.png']# 设置延迟
set_a = dask.delayed(preprocess)(img_files)
set_b = dask.delayed(preprocess)(img_files_2)# 开始计算
out_a, out_b = compute(*[set_a, set_b])

结果

结尾

更多信息可参考Github链接：https://github.com/Dropout-Analytis/opencv_cuda

进阶阅读：

https://medium.com/dropout-analytics/opencv-cuda-for-videos-f3dcf346e398
https://medium.com/dropout-analytics/pycuda-on-jetson-nano-7990decab299
https://medium.com/dropout-analytics/beginners-guide-to-knn-with-cuml-ddca099f9e9d

参考引用

Koriukina, Valeriia. “Getting Started with OpenCV CUDA Module.” Learn OpenCV, Learnopencv.com, 15 Sept. 2020, learnopencv.com/getting-started-opencv-cuda-modul.
McWhorter, Paul. “AI on the Jetson Nano LESSON 10: Installing OpenCV for Python 3.” Paul McWhorter — YouTube, Youtube.com/User/Mcwhorpj, 2 Nov. 2019, youtu.be/3QYayL5y2hk.
Pulli, Kari; Baksheev, Anatoly; Kornyakov, Kirill; Eruhimov, Victor. “Realtime Computer Vision with OpenCV.” Realtime Computer Vision with OpenCV — ACM Queue, Association for Computing Machinery, 22 Apr. 2012, queue.acm.org/detail.cfm?id=2206309.

☆ END ☆

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~