Kinect for Windows V2和V1对比开发___彩色数据获取并用OpenCV2.4.10显示

V1彩色分辨率：640x480

V2彩色分辨率：1920x1080

1，打开彩色图像帧的方式

对于V1: 使用NuiImageStreamOpen方法打开

hr = m_PNuiSensor->NuiImageStreamOpen(
NUI_IMAGE_TYPE_COLOR,NUI_IMAGE_RESOLUTION_640x480,0, 2,
m_hNextColorFrameEvent,&m_hColorStreamHandle);
if( FAILED( hr ) )
{
cout<<"Could notopen image stream video"<<endl;
return hr;
}
这种方式可以设置分辨率

对于V2：

首先使用 m_pKinectSensor->Open();//打开Kinect
if (SUCCEEDED(hr))
{
hr =m_pKinectSensor->get_ColorFrameSource(&pColorFrameSource);
}
方法get_ColorFrameSource打开彩色帧的源。
然后使用 if (SUCCEEDED(hr))
{
hr =pColorFrameSource->OpenReader(&m_pColorFrameReader);
}
SafeRelease(pColorFrameSource);
方法OpenReader打开彩色帧读取器。

2，更新彩色帧的方式

对于V1：使用NuiImageStreamGetNextFrame方法

NuiImageStreamGetNextFrame(m_hColorStreamHandle,0, &pImageFrame);//得到该帧数据

对于V2：使用AcquireLatestFrame方法

if (!m_pColorFrameReader)
{
return;
}
IColorFrame* pColorFrame = NULL;
HRESULT hr =m_pColorFrameReader->AcquireLatestFrame(&pColorFrame);

3，数据的处理方式

对于V1：这种数据获取方式比较明朗看到数据内部结构，

INuiFrameTexture *pTexture =pImageFrame->pFrameTexture;
NUI_LOCKED_RECT LockedRect;
pTexture->LockRect(0, &LockedRect,NULL, 0);//提取数据帧到LockedRect，它包括两个数据对象：pitch每行字节数，pBits第一个字节地址
if( LockedRect.Pitch != 0 )
{
cvZero(colorImage);
for (int i=0; i<480; i++)
{
uchar* ptr =(uchar*)(colorImage->imageData+i*colorImage->widthStep);
BYTE * pBuffer =(BYTE*)(LockedRect.pBits)+i*LockedRect.Pitch;//每个字节代表一个颜色信息，直接使用BYTE
for (int j=0; j<640; j++)
{
ptr[3*j] =pBuffer[4*j];//内部数据是4个字节，0-1-2是BGR，第4个现在未使用
ptr[3*j+1] =pBuffer[4*j+1];
ptr[3*j+2] =pBuffer[4*j+2];
}
}
//cvWriteFrame(wr_color,colorImage);
cvShowImage("colorImage", colorImage);//显示图像

得到的最终形式可以用OpenCV显示。

对于V2：这种数据的内部结构是神马样子呢？然后如何用OpenCV显示出图像数据呢？待查…

RGBQUAD* m_pColorRGBX;//彩色数据存储位置
m_pColorRGBX(NULL)//构造函数初始化
// create heap storage for color pixel data in RGBXformat
m_pColorRGBX = new RGBQUAD[cColorWidth *cColorHeight];
//下边就是AcquireLatestFrame之后处理数据
INT64 nTime = 0;
IFrameDescription* pFrameDescription =NULL;
int nWidth = 0;
int nHeight = 0;
ColorImageFormat imageFormat = ColorImageFormat_None;
UINT nBufferSize = 0;
RGBQUAD *pBuffer = NULL;
if (SUCCEEDED(hr))
{
if (imageFormat == ColorImageFormat_Bgra)
{
hr =pColorFrame->AccessRawUnderlyingBuffer(&nBufferSize, reinterpret_cast<BYTE**>(&pBuffer));
}
else if (m_pColorRGBX)
{
pBuffer = m_pColorRGBX;
nBufferSize = cColorWidth *cColorHeight * sizeof(RGBQUAD);
hr = pColorFrame->CopyConvertedFrameDataToArray(nBufferSize,reinterpret_cast<BYTE*>(pBuffer), ColorImageFormat_Bgra);
}
else
{
hr = E_FAIL;
}
}
if (SUCCEEDED(hr))
{
ProcessColor(nTime, pBuffer,nWidth, nHeight);
}

感觉目前得到的pBuffer就是存储的彩色数据，问题是如何用OpenCV来显示呢？

4，OpenCV显示

<span style="white-space:pre"> </span>int width = 0;
int height = 0;
pDescription->get_Width( &width ); // 1920
pDescription->get_Height( &height ); // 1080
unsigned int bufferSize = width * height * 4 * sizeof( unsigned char );
//创建尺寸为height x width 的4通道8位图像
Mat bufferMat( height, width, CV_8UC4 );
Mat colorMat( height / 2, width / 2, CV_8UC4 );
while( 1 ){
// 更新彩色帧
IColorFrame* pColorFrame = nullptr;
hResult = pColorReader->AcquireLatestFrame( &pColorFrame );
if( SUCCEEDED( hResult ) ){
hResult = pColorFrame->CopyConvertedFrameDataToArray( bufferSize, reinterpret_cast<BYTE*>( bufferMat.data ), ColorImageFormat::ColorImageFormat_Bgra );
if( SUCCEEDED( hResult ) ){
resize( bufferMat, colorMat, cv::Size(), 0.5, 0.5 );
}
}
SafeRelease( pColorFrame );
imshow( "Color", colorMat );

其中用到kinect的CopyConvertedFrameDataToArray函数，将图像帧转换为矩阵数据用来显示。

5，V2+VS2012+OpenCV代码

#include <Windows.h>
#include <Kinect.h>
#include <opencv2/opencv.hpp>
using namespace std;
using namespace cv;
//释放接口需要自己定义
template<class Interface>
inline void SafeRelease( Interface *& pInterfaceToRelease )
{
if( pInterfaceToRelease != NULL ){
pInterfaceToRelease->Release();
pInterfaceToRelease = NULL;
}
}
int main( int argc, char **argv[] )
{
//OpenCV中开启CPU的硬件指令优化功能函数
setUseOptimized( true );
// 打开kinect
IKinectSensor* pSensor;
HRESULT hResult = S_OK;
hResult = GetDefaultKinectSensor( &pSensor );
if( FAILED( hResult ) ){
cerr << "Error : GetDefaultKinectSensor" << std::endl;
return -1;
}
hResult = pSensor->Open();
if( FAILED( hResult ) ){
cerr << "Error : IKinectSensor::Open()" << std::endl;
return -1;
}
// 彩色帧源
IColorFrameSource* pColorSource;
hResult = pSensor->get_ColorFrameSource( &pColorSource );
if( FAILED( hResult ) ){
cerr << "Error : IKinectSensor::get_ColorFrameSource()" << std::endl;
return -1;
}
//彩色帧读取
IColorFrameReader* pColorReader;
hResult = pColorSource->OpenReader( &pColorReader );
if( FAILED( hResult ) ){
cerr << "Error : IColorFrameSource::OpenReader()" << std::endl;
return -1;
}
// Description
IFrameDescription* pDescription;
hResult = pColorSource->get_FrameDescription( &pDescription );
if( FAILED( hResult ) ){
cerr << "Error : IColorFrameSource::get_FrameDescription()" << std::endl;
return -1;
}
int width = 0;
int height = 0;
pDescription->get_Width( &width ); // 1920
pDescription->get_Height( &height ); // 1080
unsigned int bufferSize = width * height * 4 * sizeof( unsigned char );
//创建尺寸为height x width 的4通道8位图像
Mat bufferMat( height, width, CV_8UC4 );
Mat colorMat( height / 2, width / 2, CV_8UC4 );
while( 1 ){
// 更新彩色帧
IColorFrame* pColorFrame = nullptr;
hResult = pColorReader->AcquireLatestFrame( &pColorFrame );
if( SUCCEEDED( hResult ) ){
hResult = pColorFrame->CopyConvertedFrameDataToArray( bufferSize, reinterpret_cast<BYTE*>( bufferMat.data ), ColorImageFormat::ColorImageFormat_Bgra );
if( SUCCEEDED( hResult ) ){
resize( bufferMat, colorMat, cv::Size(), 0.5, 0.5 );
}
}
SafeRelease( pColorFrame );
imshow( "Color", colorMat );
if( waitKey( 30 ) == VK_ESCAPE ){
break;
}
}
SafeRelease( pColorSource );
SafeRelease( pColorReader );
SafeRelease( pDescription );
if( pSensor ){
pSensor->Close();
}
SafeRelease( pSensor );
return 0;
}

分辨率是大大的提高了啊~~

Kinect for Windows V2和V1对比开发___彩色数据获取并用OpenCV2.4.10显示相关推荐

Kinect for Windows v2.0安装教程
Kinect for Windows v2.0安装教程根据官方教程,Kinect v2.0支持Windows 8/8.1/10,本教程讲述在Windows 10上的安装. 打开浏览器,百度搜索--K ...
Kinect For Windows V2开发日志一：开发环境的配置
算是正式进军Kinect了,前段时间学的东西现在就忘了,于是从此开始记录一下. 目前为止大部分的学习资料来自于Heresy的博客,写的非常优秀,清晰明了,十分感谢.开发语言为C++,应该会一直使用,但 ...
Kinect For Windows V2开发日志九：侦测并绘制人体骨架
简介在上一篇<侦测.追踪人体骨架>里,介绍了关节点的使用办法,这一篇记录将关节点与OpenCV结合的绘图方法. 代码 #include <iostream> #include ...
Kinect for Windows V2 SDK+ VS2012 环境搭建
眼下使用的SDK版本号是KinectSDK-v2.0-PublicPreview1409-Setup.exe. 下载地址:http://www.microsoft.com/en-us/download ...
Kinect开发笔记之二Kinect for Windows 2.0新特性
这是本博客的第一篇翻译文档,笔者已经苦逼的竭尽全力的在翻译了,但无奈英语水平也是很有限,不对或者不妥当不准确的地方必然会有,还恳请大家留言或者邮件我以批评指正,我会虚心接受.谢谢大家. ...
搭建kinect for windows开发平台
网上有很多教程很繁琐,让人感觉搭建kinect开发环境特别麻烦,其实根本没那么复杂,下面给出最简洁的过程, 几步完成环境搭建. 首先,RT,你起码得是windows,而且只能是Win 7及以上. 内存 ...
MachineLN博客目录
MachineLN博客目录 https://blog.csdn.net/u014365862/article/details/78422372 本文为博主原创文章,未经博主允许不得转载.有问题可以加微 ...
Kinect for Windows SDK v2.0 开发笔记 (十) 高清面部帧(1) FACS 介绍
转载于:https://blog.csdn.net/dustpg/article/details/38892783 使用SDK: Kinect for Windows SDK v2.0 public ...
Kinect for Windows SDK v2.0 开发笔记 (十三) 高清面部帧(4) 面部模型构建器
(转载请注明出处) 使用SDK: Kinect for Windows SDK v2.0 public preview1409 同前面,因为SDK未完成,不附上函数/方法/接口的超链接. 这次让 ...

Kinect for Windows V2和V1对比开发___彩色数据获取并用OpenCV2.4.10显示

Kinect for Windows V2和V1对比开发___彩色数据获取并用OpenCV2.4.10显示相关推荐

最新文章

热门文章