Intel Realsense D435 python 从深度相机realsense生成pcl点云

引用文章：python 从深度相机realsense生成pcl点云

从深度相机realsense生成pcl点云

一、通过realsense取得深度信息和彩色信息
二、获取坐标和色彩信息
三、通过pcl可视化点云

一、通过realsense取得深度信息和彩色信息

ubuntu下intel realsense的软件可以打开realsen的界面，里面可以得到彩色图像和深度图像，我们通过realsense的python接口获取彩色信息和深度信息。

基础的获取彩色和深度信息，realsense中的视频流转换为python的numpy格式，通过opencv输出

import pyrealsense2 as rs
import numpy as np
import cv2
import pclif __name__ == "__main__":# Configure depth and color streamspipeline = rs.pipeline()config = rs.config()config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)# Start streamingpipeline.start(config)try:while True:# Wait for a coherent pair of frames: depth and colorframes = pipeline.wait_for_frames()depth_frame = frames.get_depth_frame()color_frame = frames.get_color_frame()if not depth_frame or not color_frame:continue# Convert images to numpy arraysdepth_image = np.asanyarray(depth_frame.get_data())color_image = np.asanyarray(color_frame.get_data())# Apply colormap on depth image (image must be converted to 8-bit per pixel first)depth_colormap = cv2.applyColorMap(cv2.convertScaleAbs(depth_image, alpha=0.03), cv2.COLORMAP_JET)# Stack both images horizontallyimages = np.hstack((color_image, depth_colormap))# Show imagescv2.namedWindow('RealSense', cv2.WINDOW_AUTOSIZE)cv2.imshow('RealSense', images)key = cv2.waitKey(1)# Press esc or 'q' to close the image windowif key & 0xFF == ord('q') or key == 27:cv2.destroyAllWindows()breakfinally:# Stop streamingpipeline.stop()

获取内参和保存图片
分别用opencv和scipy.misc保存图片，略微会有一些差异，同时我们也获取了相机参数。

import pyrealsense2 as rs
import numpy as np
import cv2
import scipy.misc
import pcldef get_image():# Configure depth and color streamspipeline = rs.pipeline()config = rs.config()config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)# Start streamingpipeline.start(config)#获取图像，realsense刚启动的时候图像会有一些失真，我们保存第100帧图片。for i in range(100):data = pipeline.wait_for_frames()depth = data.get_depth_frame()color = data.get_color_frame()#获取内参dprofile = depth.get_profile()cprofile = color.get_profile()cvsprofile = rs.video_stream_profile(cprofile)dvsprofile = rs.video_stream_profile(dprofile)color_intrin=cvsprofile.get_intrinsics()print(color_intrin)depth_intrin=dvsprofile.get_intrinsics()print(color_intrin)extrin = dprofile.get_extrinsics_to(cprofile)print(extrin)depth_image = np.asanyarray(depth.get_data())color_image = np.asanyarray(color.get_data())# Apply colormap on depth image (image must be converted to 8-bit per pixel first)depth_colormap = cv2.applyColorMap(cv2.convertScaleAbs(depth_image, alpha=0.03), cv2.COLORMAP_JET)cv2.imwrite('color.png', color_image)cv2.imwrite('depth.png', depth_image)cv2.imwrite('depth_colorMAP.png', depth_colormap)scipy.misc.imsave('outfile1.png', depth_image)scipy.misc.imsave('outfile2.png', color_image)

二、获取坐标和色彩信息

通过realsense摄像头，获取了顶点坐标和色彩信息。具体并不是很了解，pc.mac_to() 和 points=pc.calculate()是把色彩和深度结合了？再通过points获取顶点坐标。我们将顶点坐标和彩色相机得到的像素存入txt文件。

def my_depth_to_cloud():pc = rs.pointcloud()points = rs.points()pipeline = rs.pipeline()config = rs.config()config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)pipe_profile = pipeline.start(config)for i in range(100):data = pipeline.wait_for_frames()depth = data.get_depth_frame()color = data.get_color_frame()frames = pipeline.wait_for_frames()depth = frames.get_depth_frame()color = frames.get_color_frame()colorful = np.asanyarray(color.get_data())colorful=colorful.reshape(-1,3)pc.map_to(color)points = pc.calculate(depth)#获取顶点坐标vtx = np.asanyarray(points.get_vertices())#获取纹理坐标#tex = np.asanyarray(points.get_texture_coordinates())with open('could.txt','w') as f:for i in range(len(vtx)):f.write(str(np.float(vtx[i][0])*1000)+' '+str(np.float(vtx[i][1])*1000)+' '+str(np.float(vtx[i][2])*1000)+' '+str(np.float(colorful[i][0]))+' '+str(np.float(colorful[i][1]))+' '+str(np.float(colorful[i][2]))+'\n')

三、通过pcl可视化点云

https://github.com/strawlab/python-pcl/blob/master/examples/example.py

在pcl中，要显示三维加色彩的点云坐标，每个点云包含了 x，y，z，rgb四个参数，特别的，rbg这个参数是由三维彩色坐标转换过来的。刚才得到的could.txt中，x,y,z,r,g,b 转换为x,y,z,rgb，只改颜色数据np.int(data[i][3])<<16|np.int(data[i][4])<<8|np.int(data[i][5])。保存为cloud_rbg.txt

    with open('could.txt','r') as f:lines = f.readlines()num=0for line in lines:l=line.strip().split()data.append([np.float(l[0]),np.float(l[1]),np.float(l[2]),np.float(l[3]),np.float(l[4]),np.float(l[5])])#data.append([np.float(l[0]), np.float(l[1]), np.float(l[2])])num = num+1with open('cloud_rgb.txt', 'w') as f:for i in range(len(data)):f.write(str(np.float(data[i][0])) + ' ' + str(np.float(data[i][1])) + ' ' + str(np.float(data[i][2]))+ ' '  + str(np.int(data[i][3])<<16|np.int(data[i][4])<<8|np.int(data[i][5]))+'\n')

显示

def visual():cloud = pcl.PointCloud_PointXYZRGB()points = np.zeros((307200,4),dtype=np.float32)n=0with open('cloud_rgb.txt','r') as f:lines = f.readlines()for line in lines:l=line.strip().split()#保存xyz时候扩大了1000倍，发现并没有用points[n][0] = np.float(l[0])/1000points[n][1] = np.float(l[1])/1000points[n][2] = np.float(l[2])/1000points[n][3] = np.int(l[3])n=n+1print(points[0:100]) #看看数据是怎么样的cloud.from_array(points) #从array构建点云的方式visual = pcl.pcl_visualization.CloudViewing()visual.ShowColorCloud(cloud)v = Truewhile v:v = not (visual.WasStopped())

想生成pcd，再读取pcd，但是下面的程序在可视化的时候报错

def txt2pcd():import timefilename='cloud_rgb.txt'print("the input file name is:%r." % filename)start = time.time()print("open the file...")file = open(filename, "r+")count = 0# 统计源文件的点数for line in file:count = count + 1print("size is %d" % count)file.close()# output = open("out.pcd","w+")f_prefix = filename.split('.')[0]output_filename = '{prefix}.pcd'.format(prefix=f_prefix)output = open(output_filename, "w+")list = ['# .PCD v0.7 - Point Cloud Data file format\n', 'VERSION 0.7\n', 'FIELDS x y z rgb\n', 'SIZE 4 4 4 4\n','TYPE F F F U\n', 'COUNT 1 1 1 1\n']output.writelines(list)output.write('WIDTH ')  # 注意后边有空格output.write(str(count))output.write('\nHEIGHT ')output.write(str(1))  # 强制类型转换，文件的输入只能是str格式output.write('\nPOINTS ')output.write(str(count))output.write('\nDATA ascii\n')file1 = open(filename, "r")all = file1.read()output.write(all)output.close()file1.close()end = time.time()print("run time is: ", end - start)import pcl.pcl_visualizationcloud = pcl.load_XYZRGB('cloud_rgb.pcd')visual = pcl.pcl_visualization.CloudViewing()visual.ShowColorCloud(cloud, 'cloud')flag = Truewhile flag:flag != visual.WasStopped()
# TypeError: expected bytes, str found

原图，深度图，云图(云图一片黑，鼠标滚轮翻一下) 如下：
opencv保存的颜色图：

scipy保存的颜色图：

深度图：

深度图可视化：

云图（似乎深度和色彩没有对齐）：

Intel Realsense D435 python 从深度相机realsense生成pcl点云相关推荐

python 从深度相机realsense生成pcl点云
简单说下步骤: 一.通过realsense取得深度信息和彩色信息二.获取坐标和色彩信息三.通过pcl可视化点云一.通过realsense取得深度信息和彩色信息 ubuntu下intel real ...
realsense D435 D435i D415深度相机在ros下获得RGB图、左右红外摄像图、深度图、IMU数据
首先你要你确保你的相机驱动已经安装好,环境配置可以看我的另一篇文章:https://blog.csdn.net/weixin_46195203/article/details/119205851 ** ...
Intel Realsense D435 python （Python Wrapper）example00: NumPy Integration 将深度帧数据转换为 Numpy 数组进行处理
NumPy Integration: Librealsense frames support the buffer protocol. A numpy array can be constructed ...
Intel Realsense D435 python （Python Wrapper）examples 官方案例汇总
From pypi/pyrealsense 1.Intel Realsense D435 python (Python Wrapper)example -1: quick start (快速开始) F ...
ros订阅相机深度信息_基于深度相机 RealSense D435i 的 ORB SLAM 2
相比于上一篇文章,这里我们将官方给的 rosbag 数据包替换为来自深度相机的实时数据.之所以选择 Intel RealSense 这款深度相机,仅仅是因为它是最容易买到的...在京东上搜" ...
深度相机Kinect2.0三维点云拼接实验（三）
文章目录概要刚体空间旋转的描述旋转矩阵欧拉角四元数刚体空间平移的描述总结概要 Kinect2.0是微软推出的一款RGB-D相机,它即支持普通相机的拍摄,也支持脉冲测量深度信息.本系 ...
哪些深度相机有python接口_python 从深度相机realsense生成pcl点云
简单说下步骤: 一.通过realsense取得深度信息和彩色信息二.获取坐标和色彩信息三.通过pcl可视化点云一.通过realsense取得深度信息和彩色信息 ubuntu下intel real ...
Intel Realsense D435 python 实战（一）
20200519 D435包含一个有源红外摄像头,有源红外摄像头旁边的两个能够输出黑白图像,应属于双目测距, 1战 2019年8月22日公司的Intel Realsense D435摄像头的识别系统 ...
Intel Realsense D435 python multiprocessing 摄像头多进程流传输
参考文章1:python 测试multiprocessing多进程参考文章2:Intel Realsense D435 多摄像头目标识别架构