Intel Realsense D435 如何通过图像识别出的比例点（x, y）获得实际点相对于摄像机原点的三维坐标（x, y, z）?

2024-06-03 05:15:27

自己也因为这个问题咨询了Intel的官方工作人员，以下是我的提问和他们的答复：

My ask

Before opening a new issue, we wanted to provide you with some useful suggestions (Click “Preview” above for a better view):
- Consider checking out SDK examples.
- Have you looked in our documentations?
- Is you question a frequently asked one?
- Try searching our GitHub Issues (open and closed) for a similar issue.
All users are welcomed to report bugs, ask questions, suggest or request enhancements and generally feel free to open new issue, even if they haven’t followed any of the suggestions above ?

Required Info
Camera Model	D435&D435i
Firmware Version	05.11.06.250
Operating System & Version	Win10
Kernel Version (Linux Only)	(e.g. 4.14.13)
Platform	PC
SDK Version	2.25.0
Language	python
Segment	Robot

Issue Description

We have obtained the pixel position of the target obtained from the recognition program, and also obtained the depth (Z) of the target through the alignment of the depth map to the color map. Next, how can we obtain the actual target through the pixel position of the target? That is, relative to the X and Y coordinates of the camera?

我们已经获得了从识别程序获得的目标的像素位置，并且还通过将深度图与颜色图对齐来获得了目标的深度（Z）。接下来，如何通过目标的像素位置获得实际目标？也就是说，相对于相机的X和Y坐标？

Best regards,

Dontla

Answer

@Dontla , converting a depth 2D pixel into 3D vertex is achieved by calling rs2_deproject_pixel_to_point API.
Note that if you’re using an “depth aligned to xxx” image then the intrinsic that you need pass to the function must be taken from the “aligned” and not the original depth frame.

@Dontla通过调用rs2_deproject_pixel_to_pointAPI来实现，将深度2D像素转换为3D顶点。
请注意，如果使用的是“与xxx对齐的深度”图像，则必须传递给函数的内在函数必须从“对齐”而不是原始深度框中获取。

评价

总的来说，他们给出的一大段C/C++代码我是没太看明白的，于是我参考了其他人的一些建议。

参考文章：How to get the actual coordinates of a specific target captured by the camera at a certain resolution relative to the camera？

参考文章1：win下使用realsense进行数据修正并获取三维坐标

参考文章2：RealSense D415 捕捉乒乓球运动

参考文章3：世界坐标系和相机坐标系,图像坐标系的关系

Intel Realsense D435 如何通过图像识别出的比例点（x, y）获得实际点相对于摄像机原点的三维坐标（x, y, z）?相关推荐

python Intel Realsense D435 多线程资源分配问题（卡住、卡死）
在使用python多线程调用Intel Realsense D435多个摄像头时,发现pyrealsense的例如pipeline.start().context.query_devices()函数会 ...
Tensorflow_yolov3 Intel Realsense D435奇怪的现象，多摄像头连接时一旦能检测到深度马上就会卡（卡住）
两个摄像头连接时一旦能检测到深度马上就会卡(小于30公分),,单个摄像头没事,这是使用了多线程传输后的现象,不知咋回事... 后来加了这句验证全局变量是否存在,好像好点了,有待验证 20200401 ...
20200314 SQ Intel Realsense D435 USB 线长、转接线个数测试数据表
测试名称 Intel Realsense D435 摄像头USB线支持最大线长.转接线个数测试测试参数 Platform:win10x64 系统内存:32G 测试程序:tensorflow_yolo ...
激光与红外线的区别？激光雷达与毫米波雷达区别？毫米波雷达无法感知行人吗？关于Intel Realsense D435有源红外技术猜想
文章目录激光与红外线的区别是什么呢? 激光雷达和毫米波雷达区别毫米波雷达无法感知行人吗? 关于Intel Realsense D435有源红外技术猜想阅读Intel Realsense文档的时候 ...
Intel Realsense D435 如何通过摄像头序列号重置hardware_reset()摄像头？
重置后没有必要去立即检测它是否重置完成的,继续重置其他的摄像头就可以了,因为如果不去访问刚刚重置的摄像头信息,就不会出问题,等全部摄像头重置完成后,直接执行连续验证机制就可以了相关代码: '''循环 ...
Intel Realsense D435 hardware_reset() 摄像头重置记录 context.query_devices()
摄像头重置后它自己不能马上恢复,如果我们重置后立即访问它们,就会出错,以下是一些问题记录: 之前是使用device=ctx.query_device(),后面重置后检测摄像头的时候直接用len(dev ...
tensorflow-yolov3 调试Intel Realsense D435摄像头所遇到的问题（USB自动检测并重置机制）hardware_reset() pyusb libusb devcon
文章目录 191126 191127 191128 191129 尝试第二种方案 Devcon 191130 191126 连接6摄像头运行,开始运行正常,能够正常识别,但不小心线动了一下,视频窗口卡 ...
python opencv cv.applyColorMap()函数（颜色映射）ColormapTypes【将Intel Realsense D435深度图的黑白图映射为彩色图】
文章目录 API ColormapTypes 完整应用代码[将深度图的黑白图映射为彩色图] map原理能否map CV_24UC3的? API def applyColorMap(src, colo ...
Intel Realsense D435 通过识别目标的像素坐标和深度值（使用内参intrinsics）获取目标点的真实坐标
Intel Realsense D435 通过识别目标的像素坐标和深度值(使用内参intrinsics)获取目标点的真实坐标图原理基本获取内参`intrinsics`代码实操代码1(在`tens ...

最新文章

热门文章