1、说明

文章详细叙述了海康摄像头的两种实时显示方法——基于SDK 解码显示和基于数据流回调显示，并且讲述了这在两种显示方法下如何往画面添加字符和图像，最后比较了这两种方法的优劣。文章全程给以详细的程序说明，供各位开发者参考。

2 实时预览

2.1 实时预览模块流程

图中虚线框部分的模块不是必须部分，是与预览模块相关，必须在启动预览后才能调用，这些模块之间是并列的关系，各自完成相应的功能。

2.2 SDK 解码显示

在预览接口 NET_DVR_RealPlay_V40 中预览参数的播放窗口句柄赋成有效句柄，则由 SDK 实现解码功能。在初始化 SDK 和注册设备两步骤后，直接调用启动预览和停止预览接口。
SDK 直接解码显示代码：

#include <stdio.h>
#include <iostream>
#include “Windows.h”
#include “HCNetSDK.h”
#include <time.h>
using namespace std;
typedef HWND (WINAPI *PROCGETCONSOLEWINDOW)();
PROCGETCONSOLEWINDOW GetConsoleWindow;
void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser)
{char tempbuf[256] = {0};switch(dwType){case EXCEPTION_RECONNECT: //预览时重连printf(“----------reconnect--------%d\n”, time(NULL));break;default:break;}
}
void main() {
//---------------------------------------//初始化NET_DVR_Init();//设置连接时间与重连时间NET_DVR_SetConnectTime(2000, 1);NET_DVR_SetReconnect(10000, true);//---------------------------------------//---------------------------------------// 注册设备LONG lUserID;NET_DVR_DEVICEINFO_V30 struDeviceInfo;lUserID = NET_DVR_Login_V30(“192.0.0.64”, 8000, “admin”, “12345”, &struDeviceInfo);if (lUserID < 0){printf(“Login error, %d\n”, NET_DVR_GetLastError());NET_DVR_Cleanup();return;}//---------------------------------------//设置异常消息回调函数NET_DVR_SetExceptionCallBack_V30(0, NULL,g_ExceptionCallBack, NULL);//---------------------------------------//启动预览并设置回调数据流LONG lRealPlayHandle;HWND hWnd = GetDlgItem(hWnd, IDC_PIC); //获取MFC的pic控件句柄NET_DVR_PREVIEWINFO struPlayInfo = {0};struPlayInfo.hPlayWnd = hWnd; //需要 SDK 解码时句柄设为有效值，仅取流不解码时可设为空struPlayInfo.lChannel = 1; //预览通道号struPlayInfo.dwStreamType = 0; //0-主码流， 1-子码流， 2-码流 3， 3-码流 4，以此类推struPlayInfo.dwLinkMode = 0; //0- TCP 方式， 1- UDP 方式， 2- 多播方式， 3- RTP 方式， 4-RTP/RTSP， 5-RSTP/HTTPstruPlayInfo.bBlocked = 1; //0- 非阻塞取流， 1- 阻塞取流lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, NULL, NULL);if (lRealPlayHandle < 0){printf(“NET_DVR_RealPlay_V40 error\n”);NET_DVR_Logout(lUserID);NET_DVR_Cleanup();return;}Sleep(10000);//---------------------------------------//关闭预览NET_DVR_StopRealPlay(lRealPlayHandle);//注销用户NET_DVR_Logout(lUserID);//释放 SDK 资源NET_DVR_Cleanup();return;
}

2.3 实时流数据回调显示

实时流数据回调，用户需要在回调函数中自行处理码流数据。用户可以通过设置预览接口 NET_DVR_RealPlay_V40 中预览参数的播放窗口句柄为空值，并通过调用捕获数据的接口（即设置NET_DVR_RealPlay_V40 接口中的回调函数或调用NET_DVR_SetRealDataCallBack、NET_DVR_SetStandardDataCallBack 接口），获取码流数据进行后续解码播放处理。
实时流数据回调代码：

#include <stdio.h>
#include <iostream>
#include “Windows.h”
#include “HCNetSDK.h”
#include “plaympeg4.h”
#include <time.h>
using namespace std;
typedef HWND (WINAPI *PROCGETCONSOLEWINDOW)();
PROCGETCONSOLEWINDOW GetConsoleWindow;
LONG lPort; //全局的播放库 port 号HANDLE MainVectorhMutex; // 主互斥量
vector<IplImage*> MainImageVector; // 主视频图片容器void yv12toYUV(char *outYuv, char *inYv12, int width, int height, int widthStep)
{int col, row;unsigned int Y, U, V;int tmp;int idx;for (row = 0; row < height; row++){idx = row * widthStep;int rowptr = row*width;for (col = 0; col < width; col++){tmp = (row / 2)*(width / 2) + (col / 2);Y = (unsigned int)inYv12[row*width + col];U = (unsigned int)inYv12[width*height + width*height / 4 + tmp];V = (unsigned int)inYv12[width*height + tmp];outYuv[idx + col * 3] = Y;outYuv[idx + col * 3 + 1] = U;outYuv[idx + col * 3 + 2] = V;}}
}
// 主解码回调 视频为YUV数据(YV12)，音频为PCM数据
void CALLBACK DecCBFunMain(long nPort, char * pBuf, long nSize, FRAME_INFO * pFrameInfo, long nReserved1, long nReserved2)
{long lFrameType = pFrameInfo->nType;if (lFrameType == T_YV12){
#if USECOLOR  IplImage* pImgYCrCb = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);//得到图像的Y分量    yv12toYUV(pImgYCrCb->imageData, pBuf, pFrameInfo->nWidth, pFrameInfo->nHeight, pImgYCrCb->widthStep);//得到全部RGB图像  IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);cvCvtColor(pImgYCrCb, pImg, CV_YCrCb2RGB);
#else  IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 1);memcpy(pImg->imageData, pBuf, pFrameInfo->nWidth*pFrameInfo->nHeight);
#endif  // 将图像保存到容器中// 获取互斥量WaitForSingleObject(MainVectorhMutex, INFINITE);// 存入容器MainImageVector.push_back(pImg);// 容器容量大于5，则丢掉尾帧，以免造成延时if (MainImageVector.size() > 5){// 删除保存的最后一帧//IplImage *data = *(MainImageVector.end() - 1);//MainImageVector.erase(MainImageVector.end() - 1);IplImage *data = *MainImageVector.begin();MainImageVector.erase(MainImageVector.begin());// 释放cvReleaseImage(&data);}// 释放互斥量ReleaseMutex(MainVectorhMutex);#if USECOLOR  cvReleaseImage(&pImgYCrCb);// 由于将图像指针保存在容器中，此处不能释放// cvReleaseImage(&pImg);
#else  // cvReleaseImage(&pImg);
#endif}
}
// 主实时流回调
void CALLBACK fRealDataCallBackMain(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *pUser)
{DWORD dRet;switch (dwDataType){case NET_DVR_SYSHEAD:    //系统头  if (!PlayM4_GetPort(&nPort)) //获取播放库未使用的通道号  {break;}if (dwBufSize > 0){if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024)){dRet = PlayM4_GetLastError(nPort);break;}//设置解码回调函数 只解码不显示 ，设置回调函数DecCBFunMain if (!PlayM4_SetDecCallBack(nPort, DecCBFunMain)){dRet = PlayM4_GetLastError(nPort);break;}//打开视频解码  if (!PlayM4_Play(nPort, hWnd)){dRet = PlayM4_GetLastError(nPort);break;}}break;case NET_DVR_STREAMDATA:   //码流数据  if (dwBufSize > 0 && nPort != -1){BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);while (!inData){Sleep(10);inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);OutputDebugString(L"PlayM4_InputData failed \n");}}break;}
}
void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser)
{char tempbuf[256] = {0};switch(dwType){case EXCEPTION_RECONNECT: //预览时重连printf(“----------reconnect--------%d\n”, time(NULL));break;default:break;}
}// 主线程显示图像
UINT ThreadProc_MainPlay(LPVOID lParam)
{// TODO:  在此添加控件通知处理程序代码while (1){while (MainImageVector.size() <= 0){Sleep(20);continue;}// 获取互斥量WaitForSingleObject(MainVectorhMutex, INFINITE);// 获取头一帧IplImage *pImg;if (MainImageVector.size() > 0){pImg = *(MainImageVector.begin());}else{return 0;}// 删除头一帧MainImageVector.erase(MainImageVector.begin());// 释放互斥量ReleaseMutex(MainVectorhMutex);// 显示监控画面hWnd = AfxGetApp()->GetMainWnd()->GetSafeHwnd();HDC hDC = GetDC(GetDlgItem(hWnd, IDC_PIC));CRect rect;GetClientRect(GetDlgItem(hWnd, IDC_PIC), &rect);CvvImage cvvimg;cvvimg.CopyOf(pImg);cvvimg.DrawToHDC(hDC, &rect);// 释放图像cvReleaseImage(&pImg);}return 0;
}
void main() {//---------------------------------------// 初始化NET_DVR_Init();//设置连接时间与重连时间NET_DVR_SetConnectTime(2000, 1);NET_DVR_SetReconnect(10000, true);//---------------------------------------//---------------------------------------// 注册设备LONG lUserID;NET_DVR_DEVICEINFO_V30 struDeviceInfo;lUserID = NET_DVR_Login_V30(“172.0.0.100”, 8000, “admin”, “12345”, &struDeviceInfo);if (lUserID < 0){printf(“Login error, %d\n”, NET_DVR_GetLastError());NET_DVR_Cleanup();return;}//---------------------------------------//设置异常消息回调函数NET_DVR_SetExceptionCallBack_V30(0, NULL,g_ExceptionCallBack, NULL);//---------------------------------------//启动预览并设置回调数据流LONG lRealPlayHandle;NET_DVR_PREVIEWINFO struPlayInfo = { 0 };struPlayInfo.hPlayWnd =  GetDlgItem(hWnd, IDC_PIC); //需要 SDK 解码时句柄设为有效值，仅取流不解码时可设为空struPlayInfo.lChannel = 1; //预览通道号struPlayInfo.dwStreamType = 0; //0-主码流， 1-子码流， 2-码流 3， 3-码流 4，以此类推struPlayInfo.dwLinkMode = 1; //0- TCP 方式， 1- UDP 方式， 2- 多播方式， 3- RTP 方式， 4-RTP/RTSP， 5-RSTP/HTTPstruPlayInfo.bBlocked = 0; //0- 非阻塞取流， 1- 阻塞取流lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, fRealDataCallBackMain, NULL);if (lRealPlayHandle < 0){AfxMessageBox(_T("获取失败"));}ProcThread_MainPlay = AfxBeginThread(ThreadProc_MainPlay, this, THREAD_PRIORITY_NORMAL);  //开启视频显示线程Sleep(10000);//---------------------------------------//关闭预览NET_DVR_StopRealPlay(lRealPlayHandle);//注销用户NET_DVR_Logout(lUserID);NET_DVR_Cleanup();return;
}

程序主要思路是，从视频流中解码出图像数据pImg，然后存入图像容器MainImageVector中。在显示线程ThreadProc_MainPlay中再从图像容器MainImageVector中读取出图像数据，往MFC图片控件中显示；为了防止读写冲突，需要设立一读写互斥量MainVectorhMutex来保护MainImageVector。

3 图像字符叠加

很多时候，我们不仅要实时显示监控画面，还想在画面上显示一些字符、图像信息，比如在进行行人识别、跟踪时，我们往往需要在画面上框出目标，因此图像字符有很大的应用。

3.1 基于实时流数据的字符叠加

基于实时流数据回调显示方法的字符叠加方法比较简单，直接在显示前往图像中绘制字符、图像即可（用opencv实现），即：

// 主线程显示图像
UINT ThreadProc_MainPlay(LPVOID lParam)
{// TODO:  在此添加控件通知处理程序代码while (1){while (MainImageVector.size() <= 0){Sleep(20);continue;}// 获取互斥量WaitForSingleObject(MainVectorhMutex, INFINITE);// 获取头一帧IplImage *pImg;if (MainImageVector.size() > 0){pImg = *(MainImageVector.begin());}else{return 0;}// 删除头一帧MainImageVector.erase(MainImageVector.begin());// 释放互斥量ReleaseMutex(MainVectorhMutex);// 在左上角绘制一60*60的黄色正方形框cv::rectangle(Mat(pImg), CvRect(0,0,60,60), CV_RGB(255, 255, 0), 4, 8);// 显示监控画面hWnd = AfxGetApp()->GetMainWnd()->GetSafeHwnd();HDC hDC = GetDC(GetDlgItem(hWnd, IDC_PIC));CRect rect;GetClientRect(GetDlgItem(hWnd, IDC_PIC), &rect);CvvImage cvvimg;cvvimg.CopyOf(pImg);cvvimg.DrawToHDC(hDC, &rect);// 释放图像cvReleaseImage(&pImg);}return 0;
}

3.2 基于SDK解码的字符叠加

而基于SDK解码的方式，由于我没有直接操作图像，所以不能往图像上绘制东西。实际海康开发人员早就意识到了这一点，在SDK中留有叠加字符图像接口 NET_DVR_RigisterDrawFun。该接口主要完成注册回调函数，获得当前表面的设备上下文(Device Context，DC) 。用户可以在这个 DC 上画图或写字，就好像在窗口的客户区 DC 上绘图，但这个 DC 不是窗口客户区的 DC，而是播放器 DirectDraw里的 Off-Screen 表面的 DC。
我们在NET_DVR_RealPlay_V40函数后面添实现NET_DVR_RigisterDrawFun接口即可：

void main() {//---------------------------------------// 初始化NET_DVR_Init();...lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, fRealDataCallBackMain, NULL);if (lRealPlayHandle < 0){AfxMessageBox(_T("获取失败"));}//注册绘制回调函数if (!NET_DVR_RigisterDrawFun(lRealPlayHandle, fDrawFun, NULL))  {AfxMessageBox(_T("绘图失败"));}...
}
// 绘图回调函数
void CALLBACK fDrawFun(LONG lRealHandle, HDC hDc, DWORD dwUser)
{CDC dc;dc.Attach(hDc);CPen pen;    //生成画笔，黄色pen.CreatePen(PS_SOLID, 2, RGB(255, 255, 0));CPen* pOldPen = (CPen*)dc->SelectObject(&pen);dc->SelectStockObject(NULL_BRUSH);//选入空刷子dc->Rectangle(CRect(0, 0, 60, 60));  //在左上角绘制一60*60的黄色正方形框
}

4 总结

在我们的实验过程中，发现基于数据流回调的方法由于需要用户自行解码、绘制、显示，会占用电脑太多CPU，造成很严重的卡帧，并且由于读取不及时，造成显示延后，不顺畅等问题。而基于SDK解码的方式，毕竟这是人家公司提供的开发包，优化做得非常好，显示得非常顺畅和及时，所以建议大家用ＳＤＫ解码的方式。

经过测试，终于知道基于数据流的方法延迟问题出现在哪里了，其实因为用的是debug版本，把项目改成release版本就流畅好多了。

参考资料

1、海康摄像头设备(IPC)网络 SDK 编程指南：http://www.hikvision.com/cn/download_more_570.html
2、OpenCV+海康威视摄像头的实时读取：http://blog.csdn.net/lonelyrains/article/details/50350052

海康摄像头实时显示与字符叠加详解相关推荐

浏览器显示海康摄像头实时预览画面纯前端解决方案
浏览器显示海康摄像头实时预览画面纯前端解决方案将海康设备的 rtsp 协议视频流通过 ffmpeg 转码为 flv 实时视频流,并将实时视频流通过 express 服务生成 http 长链接或 ws ...
调用海康摄像头实时识别数字牌数字
项目场景: 调用海康摄像头实时识别数字牌数字前言项目所需,调用网络摄像头来完成对一个数字牌的识别,用模板匹配的方法分离出数字用VS2015+OPENCV3.4.3完成一.调用摄像头首先在VS ...
海康摄像头字符叠加详解
1.说明文章详细叙述了海康摄像头的两种实时显示方法--基于SDK 解码显示和基于数据流回调显示,并且讲述了这在两种显示方法下如何往画面添加字符和图像,最后比较了这两种方法的优劣.文章全程给以详细的程 ...
vue webRTC播放海康摄像头实时画面延迟1s内
最终效果主要参考地址,:https://blog.csdn.net/qq_45777115/article/details/118054927?spm=1001.2014.3001.5502 htt ...
前端如何显示服务器摄像头,浏览器显示海康摄像头实时预览画面纯前端解决方案...
php 实时输出内容到浏览器 php 实时输出内容到浏览器当你在处理一个过程需要耗时很长,但你又需要适时的知道程序当前的处理状况的时候,该怎么办呢?下面就分享一下如何使用php及时的输出当前结果到浏 ...
php显示当前访问人数,PHP与jquery实时显示网站在线人数实例详解
我们在一些应用中需要动态展示数据,比如当前在线人数,当前交易总额,当前汇率等等,前端页面需要实时刷新获取最新数据.本文将结合实例给大家介绍使用jQuery和PHP来实现动态数字展示效果. 本例假设要在 ...
海康摄像头视频实时监控
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 海康摄像 ...
使用海康摄像头实现实时监控
原文地址为: 使用海康摄像头实现实时监控 1. 基于RTSP协议的windows平台监控. 1.1 选取海康网络摄像头(支持RTSP,标准H.264 RTP封装的设备). 1.2. 按照摄像头的使用 ...
海康摄像头SDK开机启动第一个摄像头不显示问题
问题描述: 采用Qt调用海康摄像头SDK显示视频,开机软件自启动后第一个摄像头不显示. 原因分析: 第一个摄像头首次启动的时候,不显示视频.软件关闭然后重新打开,所有摄像头都正常显示.尝试发现采用bB ...

海康摄像头实时显示与字符叠加详解