Dex-Net的GQCNN模型需要的 .npy文件以及通过工具得到的.png格式深度图和 .npy文件的转换

1. npy文件

npy文件是numpy可打开、处理的一种文件格式，数据类型就是普通的numpy数组，可通过如下代码进行测试。

import numpy as np
a = np.array([[1,2], [3,4]])
np.save('test.npy', a)b = np.load('test.npy')
print(type(b))
print(b)

2. RGB-D相机的深度图显示及保存

首先RGB-D相机厂商会提供相应的驱动，然后我们通过驱动调用接口，从而得到深度图。而我这边主要通过ROS来订阅深度相机的Topic--“/xtion/depth_registered/image_raw”。ROS提供了rqt_image_view图形工具用于订阅Topic显示图像信息，指令以及订阅话题后的深度图像如下所示。

rosrun rqt_image_view rqt_image_view

然后使用python的opencv模块cv2使用深度图模式加载深度图像并除以1000.0转换为以米为单位的数据替换掉GQCNN原先读取读取的数据，最终图像具有层次波浪的情况，代码和图像如下。

import cv2
import numpy as nptmp = cv2.imread("test.png", cv2.IMREAD_ANYDEPTH)
depth_init = tmp[:, :, np.newaxis]
depth_data = depth_init / 1000.0

3. 使用ROS的CvBridge模块订阅topic保存深度图

代码和最终运行效果如下。

#!/usr/bin/env python
from __future__ import print_function
import sys
import rospy
import cv2
import numpy as npfrom PIL import Image as PImage
from perception import image
from matplotlib import pyplot as plt
from visualization import Visualizer2D as visfrom std_msgs.msg import String
from sensor_msgs.msg import Image
from cv_bridge import CvBridge, CvBridgeError
import sensor_msgs.point_cloud2 as pc2
bridge = CvBridge()def get_RGB(image_topic1):rgb = rospy.wait_for_message(image_topic1, Image)cv2_img1 = bridge.imgmsg_to_cv2(rgb, "bgr8")print(cv2_img1.shape)cv2.imwrite('rgb.png', cv2_img1)def get_depth(image_topic2):depth = rospy.wait_for_message(image_topic2,Image)cv2_img2 = bridge.imgmsg_to_cv2(depth, "16UC1")print(cv2_img2.shape)cv2.imwrite('depth.png', cv2_img2)def main():rospy.init_node('image_listener')image_topic1="/xtion/rgb/image_raw"image_topic2="/xtion/depth/image_raw"get_RGB(image_topic1)get_depth(image_topic2)if __name__ == '__main__':main( )'''
def show_depth():depth_image = cv2.imread("/home/lhj/Documents/2.png",cv2.IMREAD_ANYDEPTH)D3_image = depth_image[:,:,np.newaxis]npy_image = D3_image/1000.0np.save('depth_6.npy',npy_image)npy_image = image.DepthImage.open("/home/lhj/Documents/imagej.npy")inpaint_image = npy_image.inpaint()vis.imshow(inpaint_image)vis.show()color_image = cv2.imread("/home/lhj/Documents/1.png")gqcnn_color_image = image.ColorImage(color_image)binaryimg = gqcnn_color_image.foreground_mask(100)data_array = np.zeros((480,640),dtype = np.uint8)for i in range(480):for j in range(640):data_array[i,j] = binaryimg[i,j,0]jim = PImage.fromarray(data_array.astype(np.uint8))jim.show()jim.save('segmask_6.png')'''

深度图太黑不容易看出来，找个比较暗的地方看。

Dex-Net的GQCNN模型需要的 .npy文件以及通过工具得到的.png格式深度图和 .npy文件的转换相关推荐

【深度学习】模型训练过程可视化思路（可视化工具TensorBoard）
[深度学习]模型训练过程可视化思路(可视化工具TensorBoard) 文章目录 1 TensorBoard的工作原理 2 TensorFlow中生成log文件 3 启动TensorBoard,读取l ...
全网最详细 Python如何读取NIFTI格式图像（.nii文件）和 .npy格式文件和pkl标签文件内容
在医学图像处理中,我们经常使用一种NIFTI格式图像(.nii文件),现在我们来看看什么是.nii文件? 该如何读取.nii文件? 1. NIFTI格式图像什么是NIFTI(Neuroimagin ...
yolov5模型问题解决SPPF找不到、yolov5smlx.pt文件下载、coco128文件下载、coco128yaml文件更改、coco128数据集not exist、BrokenPipeErro
问题一: 运行detect.py 报错:AttributeError: Can't get attribute 'SPPF' on <module 'models.common' 原因:mode ...
npy和npz里的图片分解（格式讲解）！超级清晰版本
目录一.npy文件的处理 1.测一下文件的规格大小 2.npy_png转换二.npz文件的处理 1.原理: 2.代码:npz_png 3.求列表npy的size的代码: 一.npy文件的处理 1. ...
初次转化max模型为3D Tiles失败、cesium加载一个obj格式的3D 机房模型
先下一个3D max模型,后缀为.max:用3D max打开:网上下的其他模型查看器不能打开: 打开时会出错误提示:对max模型文件和3d max还不了解: 打开后如下:是一个机房的3D模型: 下载一 ...
【杂谈】当前模型量化有哪些可用的开源工具？
模型量化属于模型优化中的重要技术之一,是非常有效地提升模型推理速度的技术方案,那么当前有哪些可用的模型量化工具呢? 作者&编辑 | 言有三 1 Tensorflow Lite TensorFl ...
【杂谈】当前模型剪枝有哪些可用的开源工具？
模型剪枝属于模型优化中的重要技术之一,经过了研究人员多年的研究,工业界也开始有一些实践,那么当前有哪些可用的模型剪枝工具呢? 作者&编辑 | 言有三 1 Tensorflow TensorFl ...
osg动态加载模型不显示_OSG仿真案例（8）——读取FBX格式文件并显示（无动画）...
包含的头 #include #include #include #include #include #include #include #include #include using namespac ...
无需一行代码，完成模型训练和部署，这个AI工具开始公测
本文转载自淘系技术,文末附官网下载链接. 阿里巴巴淘系技术开源轻量级深度学习推理引擎 MNN 以来,得到了业界的普遍认可 -- 数十家企业成为 MNN 的用户,不乏有一线科技企业:此外,MNN 还与上 ...

Dex-Net的GQCNN模型需要的 .npy文件以及通过工具得到的.png格式深度图和 .npy文件的转换

1. npy文件

2. RGB-D相机的深度图显示及保存

3. 使用ROS的CvBridge模块订阅topic保存深度图

Dex-Net的GQCNN模型需要的 .npy文件以及通过工具得到的.png格式深度图和 .npy文件的转换相关推荐

最新文章

热门文章