【双目视觉】 SGBM算法应用(Python版)
文章目录
- 流程图
- 相机标定
- 立体匹配
- 效果
- 1.原图像
- 2.深度图
- 3.代码链接
流程图
相机标定
参考链接:【开源 |教程 | 双目测距】双目相机的标定_哔哩哔哩_bilibili
自制的标定数据集,必须用自己相机拍摄照片制作数据集
标定板下载:pattern.png (1830×1330) (opencv.org)
import cv2
import numpy as np# -----------------------------------双目相机的基本参数---------------------------------------------------------
# left_camera_matrix 左相机的内参矩阵
# right_camera_matrix 右相机的内参矩阵
#
# left_distortion 左相机的畸变系数 格式(K1,K2,P1,P2,0)
# right_distortion 右相机的畸变系数
# -------------------------------------------------------------------------------------------------------------
# 左镜头的内参,如焦距
left_camera_matrix = np.array([[516.5066236,-1.444673028,320.2950423],[0,516.5816117,270.7881873],[0.,0.,1.]])
right_camera_matrix = np.array([[511.8428182,1.295112628,317.310253],[0,513.0748795,269.5885026],[0.,0.,1.]])# 畸变系数,K1、K2、K3为径向畸变,P1、P2为切向畸变
left_distortion = np.array([[-0.046645194,0.077595167, 0.012476819,-0.000711358,0]])
right_distortion = np.array([[-0.061588946,0.122384376,0.011081232,-0.000750439,0]])# 旋转矩阵
R = np.array([[0.999911333,-0.004351508,0.012585312],[0.004184066,0.999902792,0.013300386],[-0.012641965,-0.013246549,0.999832341]])
# 平移矩阵
T = np.array([-120.3559901,-0.188953775,-0.662073075])
size = (640, 480)R1, R2, P1, P2, Q, validPixROI1, validPixROI2 = cv2.stereoRectify(left_camera_matrix, left_distortion,right_camera_matrix, right_distortion, size, R,T)# 校正查找映射表,将原始图像和校正后的图像上的点一一对应起来
left_map1, left_map2 = cv2.initUndistortRectifyMap(left_camera_matrix, left_distortion, R1, P1, size, cv2.CV_16SC2)
right_map1, right_map2 = cv2.initUndistortRectifyMap(right_camera_matrix, right_distortion, R2, P2, size, cv2.CV_16SC2)
print(Q)
cv2.stereoRectify()函数
- 示例:
R1, R2, P1, P2, Q, validPixROI1, validPixROI2 = cv2.stereoRectify(left_camera_matrix, left_distortion,right_camera_matrix, right_distortion, size, R, T)
- 作用:为每个摄像头计算立体校正的映射矩阵R1, R2, P1, P2
- 参数:
- left_camera_matrix:左相机内参
- left_distortion:左相机畸变系数
- right_camera_matrix:右相机内参
- right_distortion:右相机畸变系数
- size:单边相机的图片分辨率
- R:旋转矩阵
- T:平移矩阵
- 返回值:
- R1, R2:R1-输出矩阵,第一个摄像机的校正变换矩阵(旋转变换);R2-输出矩阵,第二个摄像机的校正变换矩阵(旋转变换)
- P1, P2:P1-输出矩阵,第一个摄像机在新坐标系下的投影矩阵;P2-输出矩阵,第二个摄像机在新坐标系下的投影矩阵
立体匹配
import numpy as np
import cv2
import random
import math# 加载视频文件
capture = cv2.VideoCapture("./car.avi")
WIN_NAME = 'Deep disp'
cv2.namedWindow(WIN_NAME, cv2.WINDOW_AUTOSIZE)# 读取视频
fps = 0.0
ret, frame = capture.read()
while ret:# 开始计时t1 = time.time()# 是否读取到了帧,读取到了则为Trueret, frame = capture.read()# 切割为左右两张图片frame1 = frame[0:480, 0:640]frame2 = frame[0:480, 640:1280]# 将BGR格式转换成灰度图片,用于畸变矫正imgL = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)imgR = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)# 重映射,就是把一幅图像中某位置的像素放置到另一个图片指定位置的过程。# 依据MATLAB测量数据重建无畸变图片,输入图片要求为灰度图img1_rectified = cv2.remap(imgL, left_map1, left_map2, cv2.INTER_LINEAR)img2_rectified = cv2.remap(imgR, right_map1, right_map2, cv2.INTER_LINEAR)# 转换为opencv的BGR格式imageL = cv2.cvtColor(img1_rectified, cv2.COLOR_GRAY2BGR)imageR = cv2.cvtColor(img2_rectified, cv2.COLOR_GRAY2BGR)# ------------------------------------SGBM算法----------------------------------------------------------# blockSize 深度图成块,blocksize越低,其深度图就越零碎,0<blockSize<10# img_channels BGR图像的颜色通道,img_channels=3,不可更改# numDisparities SGBM感知的范围,越大生成的精度越好,速度越慢,需要被16整除,如numDisparities# 取16、32、48、64等# mode sgbm算法选择模式,以速度由快到慢为:STEREO_SGBM_MODE_SGBM_3WAY、# STEREO_SGBM_MODE_HH4、STEREO_SGBM_MODE_SGBM、STEREO_SGBM_MODE_HH。精度反之# ------------------------------------------------------------------------------------------------------blockSize = 8img_channels = 3stereo = cv2.StereoSGBM_create(minDisparity=1,numDisparities=64,blockSize=blockSize,P1=8 * img_channels * blockSize * blockSize,P2=32 * img_channels * blockSize * blockSize,disp12MaxDiff=-1,preFilterCap=1,uniquenessRatio=10,speckleWindowSize=100,speckleRange=100,mode=cv2.STEREO_SGBM_MODE_HH)# 计算视差disparity = stereo.compute(img1_rectified, img2_rectified)# 归一化函数算法,生成深度图(灰度图)disp = cv2.normalize(disparity, disparity, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX, dtype=cv2.CV_8U)# 生成深度图(颜色图)dis_color = disparitydis_color = cv2.normalize(dis_color, None, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX, dtype=cv2.CV_8U)dis_color = cv2.applyColorMap(dis_color, 2)# 计算三维坐标数据值threeD = cv2.reprojectImageTo3D(disparity, Q, handleMissingValues=True)# 计算出的threeD,需要乘以16,才等于现实中的距离threeD = threeD * 16# 鼠标回调事件cv2.setMouseCallback("depth", onmouse_pick_points, threeD)#完成计时,计算帧率fps = (fps + (1. / (time.time() - t1))) / 2frame = cv2.putText(frame, "fps= %.2f" % (fps), (0, 40), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)cv2.imshow("depth", dis_color)cv2.imshow("left", frame1)cv2.imshow(WIN_NAME, disp) # 显示深度图的双目画面# 若键盘按下q则退出播放if cv2.waitKey(20) & 0xff == ord('q'):break# 释放资源
capture.release()# 关闭所有窗口
cv2.destroyAllWindows()
img1_rectified = cv2.remap(imgL, left_map1, left_map2, cv2.INTER_LINEAR)
:重映射,即把一幅图像内的像素点放置到另外一幅图像内的指定位置,俗称“拼接”我们可以通过cv.remap()函数来将img2映射到img1对应位置上并合成
cv2.StereoSGBM_create()
函数为opencv集成的算法;我们只需关注blockSize
。 使用方法为:其中,调小
numDisparities
会降低精度,但提高速度。注意:numDisparities
需能被16整除mode
可以设置为STEREO_SGBM_MODE_SGBM_3WAY
,STEREO_SGBM_MODE_HH
,STEREO_SGBM_MODE_SGBM
,STEREO_SGBM_MODE_HH4
四种模式,它们的精度和速度呈反比,可根据情况来选择不同的模式.STEREO_SGBM_MODE_HH4
的速度最快,STEREO_SGBM_MODE_HH
的精度最好
效果
1.原图像
2.深度图
3.代码链接
https://github.com/yzfzzz/Stereo-Detection
【双目视觉】 SGBM算法应用(Python版)相关推荐
- 各省新高考等级赋分算法实现——python版
各省新高考等级赋分算法实现--python版 一.前言 新高考从2014年启动,目前已经有14个地区(省.市)实行了新高考改革分别是:浙江.上海.北京.山东.天津.海南.湖南.广东.江苏.重庆.河北. ...
- GMM算法(python版)
原 [machine learning]GMM算法(Python版) 一.GMM模型 事实上,GMM 和 k-means 很像,不过 GMM 是学习出一些概率密度函数来(所以 GMM 除了用在 clu ...
- python数据结构与算法分析_数据结构与算法(Python版)
为什么研究数据结构与算法 本周带大家进入Python版数据结构与算法的学习.想必大家都听过"算法"一词,算法的学习对编程者来说是至关重要的.首先我们先了解一下为什么要研究数据结构与 ...
- python中用函数设计栈的括号匹配问题_数据结构和算法(Python版):利用栈(Stack)实现括号的匹配问题...
算法 数据结构 数据结构和算法(Python版):利用栈(Stack)实现括号的匹配问题 在平时写程序当中,我们会经常遇到程序当中括号的匹配问题,也就是在程序当中左括号的数量和右括号的数量必须相等.如 ...
- python 深度 视差 计算_开源双目视觉BM算法-Matlab/Python/Javascript
更新:应朋友要求,增加了一个Python版本的BM算法和Javascript版本 Python版本BMgithub.com JAVASCRIPT版本BMgithub.com 整理以前的代码,找到了 ...
- 太强了,手撸一款导弹跟踪算法(Python版)
作者:半壶砂 https://www.cnblogs.com/halfsand/p/7976636.html 这里涉及拦截导弹的自动跟踪.最近,看到了一个挺有趣的自动跟踪算法,一个Python的简单模 ...
- 归并排序验证性实验_攻略 | 10 大经典排序算法(Python 版)
全国信息学大神和家长在这里 排序算法是<数据结构与算法>中最基本的算法之一. 排序算法可以分为内部排序和外部排序,内部排序是数据记录在内存中进行排序,而外部排序是因排序的数据很大,一次不能 ...
- 图解leetcode初级算法python版 pdf_图解LeetCode初级算法(Python版)
第1章 浅谈算法 1.1 算法概述 1.2 度量算法 1.2.1 时间复杂度 1.2.2 空间复杂度 1.3 Python&Pythonic 第2章 基础算法之排序 2.1 冒泡排序 2.1. ...
- leetcode中文版python,图解LeetCode初级算法(Python版)
第1章 浅谈算法 1.1 算法概述 1.2 度量算法 1.2.1 时间复杂度 1.2.2 空间复杂度 1.3 Python&Pythonic 第2章 基础算法之排序 2.1 冒泡排序 2.1. ...
- python dfs算法_LeetCode | 一文帮你搞定BFS、DFS算法(python版)
模板方法 使用BFS,DFS的题目,在leetcode上一般标记为medium或者hard.但从思维逻辑上看,其难度定义偏高.可能从代码量来看,写一道BFS或者DFS的篇幅比其他类型的题目要多. BF ...
最新文章
- 解决oninput在输入中文时,会获取拼音的问题
- java语言中声明布尔型_【Java初探02】——Java语言基础
- db_recovery_file_dest_size 修改大一点及删除归档日志 |转|
- JavaScript——易班优课YOOC课群在线测试自动答题解决方案(四)答案显示
- 210322阶段三QT事件循环及opencv图像处理
- 下载人脸认证助手_认证助手最新版
- python在另一个函数中使用其他函数的变量_在另一个函数中访问函数的变量,如function() . var in python...
- internetreadfile读取数据长度为0_YOLOV3的TensorFlow2.0实现,支持在自己的数据集上训练...
- Linux驱动(1)--关于驱动的概述
- Linux负载均衡Linux Virtual Server (lvs) 内核自带的负载均衡器
- ruby学习--block
- linux虚拟环境tmux,关于在Linux系统中如何把tmux和vim打造成IDE的讲解
- 修改阿里云ECS服务器的系统时区
- 新建DataTable添加列添加行
- Quicksql部署
- 无论产品经理是否逃离北上广,过硬的产品实力才能让自己始终拥有竞争力
- iptables man手册翻译
- crtmpserver系列(二):搭建简易流媒体直播系统
- iPhone免越狱Git服务器搭建教程-iSH
- mysql 数据库1
热门文章
- 关于香港身份证有效性和格式的一套标准校验
- Kibana5数据探索使用(Discover功能)
- Jackson-操作XML
- 生鲜商城系统如何营销?
- 浪潮云存储服务器及操作系统认识,浪潮云海OS操作系统
- win7常用工具软件记录之Clover(附加下载地址)
- Spider数据集arxiv1809.08887论文研读
- android 身高体重设计,Android开发--身高体重指数(BIM)计算--设计用户界面--指定输入类型(InputType)...
- 控制不变量下的PLC入侵检测系统
- python如何使用多线程_python如何使用多线程