摘要:在ROS kinetic下,利用realsense D435深度相机采集校准的RGBD图片,合成点云,在rviz中查看点云,最后保存成pcd文件。

一、 各种bug

代码编译成功后,打开rviz添加pointcloud2选项卡,当我订阅合成点云时,可视化失败,选项卡报错:

1)Data size (9394656 bytes) does not match width (640) times height (480) times point_step (32).  Dropping message.

解读:通过  rostopic echo /pointcloud_topic  读取相机节点发布的原始点云的相关数据,可以发现每一帧原始点云的点数量为307200。合成点云的点数量为  9394656 / 32 ,约26万。可以猜测由于某种原因,系统把每一帧合成点云的数据都丢弃了。

原因:我事先给定合成点云的大小为,height = 480,width = 640. 然而在合成点云的过程中,剔除了部分违法值(d=0),由此导致合成点云的点数量与指定的点数量不匹配,合成点云的数据因此被丢弃。

解决方法:采用如下方法给定点云大小, cloud->height = 1; cloud->width = cloud->points.size();

2)transform xxxxx;

解读:通过  rostopic echo /pointcloud_topic  ,发现原始点云数据具有如下信息,

header: seq: 50114stamp: secs: 1528439158nsecs: 557543003frame_id: "camera_color_optical_frame"

由此推断,合成点云缺失参考坐标系header.frame_id。点云中点的XYZ属性是相对于某个坐标系来描述的,因此,需要指定点云的参考坐标系。

解决方法:添加点云的header信息,

pub_pointcloud.header.frame_id = "camera_color_optical_frame";
pub_pointcloud.header.stamp = ros::Time::now();

3)将合成的点云存储成pcd文件时遇到如下报错:

[ INFO] [1528442016.931874649]: point cloud size = 0
terminate called after throwing an instance of 'pcl::IOException'what():  : [pcl::PCDWriter::writeASCII] Input point cloud has no data!
Aborted (core dumped)

经过多方查找,摸索了一步trick,分享给大家。真实报错原因仍未查明,期待前辈的指点

高博的源代码如下所示,里面的cloud是pcl的数据类型,

pcl::io::savePCDFile( "./pointcloud.pcd", *cloud );  。

我的源代码如下面所示,先通过 pcl::toROSMsg() 将pcl的数据类型转换成ros的数据类型,再写入pcd中,即可跳过报错。

4)相机内参

由于在彩色图和深度图配准的过程中,选用的是彩色图的坐标系,因此在合成点云(像素坐标在变换到相机坐标)时应该选用彩色图的相机内参。

realsense官方提供了一个应用程序可以查看所有视频流的内参。

gordon@gordon-5577:/usr/local/bin$ ./rs-sensor-control 

如下所示

84 : Color #0 (Video Stream: Y16 640x480@ 60Hz)
85 : Color #0 (Video Stream: BGRA8 640x480@ 60Hz)
86 : Color #0 (Video Stream: RGBA8 640x480@ 60Hz)
87 : Color #0 (Video Stream: BGR8 640x480@ 60Hz)
88 : Color #0 (Video Stream: RGB8 640x480@ 60Hz)
89 : Color #0 (Video Stream: YUYV 640x480@ 60Hz)
90 : Color #0 (Video Stream: Y16 640x480@ 30Hz)
91 : Color #0 (Video Stream: BGRA8 640x480@ 30Hz)
92 : Color #0 (Video Stream: RGBA8 640x480@ 30Hz)
93 : Color #0 (Video Stream: BGR8 640x480@ 30Hz)
94 : Color #0 (Video Stream: RGB8 640x480@ 30Hz)
95 : Color #0 (Video Stream: YUYV 640x480@ 30Hz)
96 : Color #0 (Video Stream: Y16 640x480@ 15Hz)
97 : Color #0 (Video Stream: BGRA8 640x480@ 15Hz)
98 : Color #0 (Video Stream: RGBA8 640x480@ 15Hz)
99 : Color #0 (Video Stream: BGR8 640x480@ 15Hz)
100: Color #0 (Video Stream: RGB8 640x480@ 15Hz)
101: Color #0 (Video Stream: YUYV 640x480@ 15Hz)
102: Color #0 (Video Stream: Y16 640x480@ 6Hz)
103: Color #0 (Video Stream: BGRA8 640x480@ 6Hz)
104: Color #0 (Video Stream: RGBA8 640x480@ 6Hz)
105: Color #0 (Video Stream: BGR8 640x480@ 6Hz)
106: Color #0 (Video Stream: RGB8 640x480@ 6Hz)
107: Color #0 (Video Stream: YUYV 640x480@ 6Hz)

5)深度图从ROS的数据类型转换为CV的数据类型

参看链接

 

二、程序代码

#include <ros/ros.h>
#include <image_transport/image_transport.h>
#include <opencv2/highgui/highgui.hpp>
#include <cv_bridge/cv_bridge.h>
#include <sensor_msgs/image_encodings.h>
#include <sensor_msgs/PointCloud2.h>// PCL 库
#include <pcl/io/pcd_io.h>
#include <pcl/point_types.h>
#include <pcl/visualization/pcl_visualizer.h>
#include <pcl_conversions/pcl_conversions.h>// 定义点云类型
typedef pcl::PointCloud<pcl::PointXYZRGB> PointCloud; using namespace std;
//namespace enc = sensor_msgs::image_encodings;// 相机内参
const double camera_factor = 1000;
const double camera_cx = 321.798;
const double camera_cy = 239.607;
const double camera_fx = 615.899;
const double camera_fy = 616.468;// 全局变量:图像矩阵和点云
cv_bridge::CvImagePtr color_ptr, depth_ptr;
cv::Mat color_pic, depth_pic;void color_Callback(const sensor_msgs::ImageConstPtr& color_msg)
{//cv_bridge::CvImagePtr color_ptr;try{cv::imshow("color_view", cv_bridge::toCvShare(color_msg, sensor_msgs::image_encodings::BGR8)->image);color_ptr = cv_bridge::toCvCopy(color_msg, sensor_msgs::image_encodings::BGR8);    cv::waitKey(1050); // 不断刷新图像,频率时间为int delay,单位为ms
  }catch (cv_bridge::Exception& e ){ROS_ERROR("Could not convert from '%s' to 'bgr8'.", color_msg->encoding.c_str());}color_pic = color_ptr->image;// output some info about the rgb image in cv formatcout<<"output some info about the rgb image in cv format"<<endl;cout<<"rows of the rgb image = "<<color_pic.rows<<endl; cout<<"cols of the rgb image = "<<color_pic.cols<<endl; cout<<"type of rgb_pic's element = "<<color_pic.type()<<endl;
}void depth_Callback(const sensor_msgs::ImageConstPtr& depth_msg)
{//cv_bridge::CvImagePtr depth_ptr;try{//cv::imshow("depth_view", cv_bridge::toCvShare(depth_msg, sensor_msgs::image_encodings::TYPE_16UC1)->image);//depth_ptr = cv_bridge::toCvCopy(depth_msg, sensor_msgs::image_encodings::TYPE_16UC1); cv::imshow("depth_view", cv_bridge::toCvShare(depth_msg, sensor_msgs::image_encodings::TYPE_32FC1)->image);depth_ptr = cv_bridge::toCvCopy(depth_msg, sensor_msgs::image_encodings::TYPE_32FC1); cv::waitKey(1050);}catch (cv_bridge::Exception& e){ROS_ERROR("Could not convert from '%s' to 'mono16'.", depth_msg->encoding.c_str());}depth_pic = depth_ptr->image;// output some info about the depth image in cv formatcout<<"output some info about the depth image in cv format"<<endl;cout<<"rows of the depth image = "<<depth_pic.rows<<endl; cout<<"cols of the depth image = "<<depth_pic.cols<<endl; cout<<"type of depth_pic's element = "<<depth_pic.type()<<endl;
}
int main(int argc, char **argv)
{ros::init(argc, argv, "image_listener");ros::NodeHandle nh;cv::namedWindow("color_view");cv::namedWindow("depth_view");cv::startWindowThread();image_transport::ImageTransport it(nh);image_transport::Subscriber sub = it.subscribe("/camera/color/image_raw", 1, color_Callback);image_transport::Subscriber sub1 = it.subscribe("/camera/aligned_depth_to_color/image_raw", 1, depth_Callback);ros::Publisher pointcloud_publisher = nh.advertise<sensor_msgs::PointCloud2>("generated_pc", 1);// 点云变量// 使用智能指针,创建一个空点云。这种指针用完会自动释放。PointCloud::Ptr cloud ( new PointCloud );sensor_msgs::PointCloud2 pub_pointcloud;double sample_rate = 1.0; // 1HZ,1秒发1次 ros::Rate naptime(sample_rate); // use to regulate loop rate
cout<<"depth value of depth map : "<<endl;while (ros::ok()) {// 遍历深度图for (int m = 0; m < depth_pic.rows; m++){for (int n = 0; n < depth_pic.cols; n++){// 获取深度图中(m,n)处的值float d = depth_pic.ptr<float>(m)[n];//ushort d = depth_pic.ptr<ushort>(m)[n];// d 可能没有值,若如此,跳过此点if (d == 0)continue;// d 存在值,则向点云增加一个点
          pcl::PointXYZRGB p;// 计算这个点的空间坐标p.z = double(d) / camera_factor;p.x = (n - camera_cx) * p.z / camera_fx;p.y = (m - camera_cy) * p.z / camera_fy;// 从rgb图像中获取它的颜色// rgb是三通道的BGR格式图,所以按下面的顺序获取颜色p.b = color_pic.ptr<uchar>(m)[n*3];p.g = color_pic.ptr<uchar>(m)[n*3+1];p.r = color_pic.ptr<uchar>(m)[n*3+2];// 把p加入到点云中cloud->points.push_back( p );}}// 设置并保存点云cloud->height = 1;cloud->width = cloud->points.size();ROS_INFO("point cloud size = %d",cloud->width);cloud->is_dense = false;// 转换点云的数据类型并存储成pcd文件pcl::toROSMsg(*cloud,pub_pointcloud);pub_pointcloud.header.frame_id = "camera_color_optical_frame";pub_pointcloud.header.stamp = ros::Time::now();pcl::io::savePCDFile("./pointcloud.pcd", pub_pointcloud);cout<<"publish point_cloud height = "<<pub_pointcloud.height<<endl;cout<<"publish point_cloud width = "<<pub_pointcloud.width<<endl;// 发布合成点云和原始点云
    pointcloud_publisher.publish(pub_pointcloud);ori_pointcloud_publisher.publish(cloud_msg);// 清除数据并退出cloud->points.clear();ros::spinOnce(); //allow data update from callback; naptime.sleep(); // wait for remainder of specified period;
  }cv::destroyWindow("color_view");cv::destroyWindow("depth_view");
}

转载于:https://www.cnblogs.com/gdut-gordon/p/9155662.html

ROS下利用realsense采集RGBD图像合成点云相关推荐

  1. ROS下使用乐视RGB-D深度相机/Orbbec Astra Pro显示图像和点云

    ROS下使用乐视RGB-D深度相机显示图像和点云 1. 正常安装 1.1 安装依赖 1.2 建立工作空间 1.3 克隆代码 1.4 Create astra udev rule 1.5 编译源码包 1 ...

  2. 在ROS下利用OpenCV的Mat类,将激光点云展开为深度图像(从零开始,超详细)

    激光雷达3D目标检测任务需要将地面滤除,滤除地面的方法多种多样:基于深度学习.基于栅格.基于平面拟合.基于条件随机场.基于深度图像等等.关于将点云转化为深度图像,PCL库中有相关函数,但使用起来有一定 ...

  3. ROS下如何使用moveit驱动UR5机械臂

    转载:http://blog.csdn.net/jayandchuxu/article/details/54693870 原来的moveit实在Ubuntu12.04上安装的,ros版本是hydro, ...

  4. 【EHub_tx1_tx2_E100】 ROS_ Melodic + Astra S(如何在该环境下打开摄像机获取rgb/深度图/点云)

    简介:介绍奥比中光 Astra S 深度相机 在EHub_tx1_tx2_E100载板,TX1核心模块环境(Ubuntu18.04)下测试ROS驱动,打开摄像头RGB图像和查看深度图和点云图,本文的前 ...

  5. 利用git提交网站到码云出现权限问题,弹框要求输入用户名和密码老是出错

    一般情况下利用git提交网站到码云的步骤如下: 1.git config --global user.name "用户名" git config --global user.ema ...

  6. 使用大恒水星相机利用OpenCV+ Zbar 解QR码在ROS下定位的实现

    使用大恒水星相机利用OpenCV+ Zbar 解QR码在ROS下定位的实现 本次的程序功能实现是在师兄原有程序的基础上,经我继续开发的.主要完成的功能是使用QR码定位,将位姿信息通过ROS中的tf变换 ...

  7. ROS下UVC免驱高速摄像头图像读取以及利用image_transport进行图像传递

    网上可以买到很多高速摄像头模块,常见的就是这个ov2710模组,采用uvc免驱,号称在1080p 30fps,720p 60fps以及VGA 120fps. 值得是注意的是,这些高速模式都是在MJPG ...

  8. ROS下获取kinectv2相机的仿照TUM数据集格式的彩色图和深度图

    准备工作: 1. ubuntu16.04上安装iai-kinect2, 2. 运行roslaunch kinect2_bridge kinect2_bridge.launch, 3. 运行 rosru ...

  9. ROS kinetic外接Realsense D435i跑ORB_SLAM2教程

    本机环境:window10+vmware+ubuntu16.04+ROS kinetic+Intel Realsense D435i 基本步骤就四步:   1.配置好Realsense的SDK以及ro ...

最新文章

  1. centos service 无法用
  2. iphone-common-codes-ccteam源代码 CCNSArray.m
  3. SpringMVC 视图解析器及拦截器
  4. ffmpeg sdk java_推荐一个强大的音视频处理的开源项目!
  5. IDA保存修改的寄存器值
  6. SpringMVC学习(二)使用注解开发SpringMVC
  7. cobbler 部署
  8. python绘图代码大全_python绘图代码总结
  9. matlab freqz用法,Python中的Matlab freqz函数
  10. CAD图纸一键共享,永久轻松办公!
  11. R语言绘图—主题选择
  12. ViewPager翻页动画失效详解
  13. 机房教学管理系统/机房管理系统
  14. 企业并购方式及并购操作流程
  15. python爬虫视频教程
  16. RECON-NG介绍及使用
  17. PO、VO、DO、TO、DTO、 BO、 QO、DAO、POJO
  18. java中计算一段时间内白天的时间和夜晚的时间
  19. python 领英爬虫
  20. python输出元组中的元素_python 列表(list)元组(tuple)字典(dict)如何打印中文总结...

热门文章

  1. 多签名基础——General forking lemma(分叉引理)
  2. QC新旧七图汇总连载9——亲和图
  3. unniapp实现电子签名
  4. 单片机人体感应灯c语言,红外人体感应灯单片机方案
  5. zdm各命令的功能和作用_ZDM命令 注释
  6. 入学校计算机社团申请书,学校社团成立申请书
  7. 数据库只读问题解决!!!MySQL server is running with the --read-only option
  8. 自然语言处理之汉字转拼音---Pypinyin工具
  9. 师傅!华为eNSP报错啦!别担心,一篇文章教会你
  10. 智能问答(Question Answering)的主要研究方向