Qt编写安防视频监控系统26-硬件加速

一、前言

硬件加速这个功能在一年多以前就已经具备，当时对两个内核一个是ffmpeg内核、一个是vlc内核都做了对应的接口函数，只是当时为了简单没有在系统设置中做出接口，vlc做硬件加速不用自己写代码实现，毕竟vlc是在ffmpeg基础上又增加了一层壳，硬件加速那块的功能都vlc自己内部实现了，只需要设置参数传进去即可，而ffmpeg需要自己根据对应的函数来实现解码，这个网上搜索能找到很多类似的答案的，推荐看雷神的博客，讲得非常详细，在国内ffmpeg的分析文章博客这块，神一般的存在。ffmpeg自带demo中有硬件加速的代码，根据他的代码直接抄过来就可以，ffmpeg支持qsv、vaapi、vdpau、dxva2、d3d11va几种，vlc支持auto、any、vdpau、dxva2、d3d11va这几种，推荐在windows上使用d3d11va。

对应硬件加速还有个叫硬件解码，一般都是专门的音视频硬件来处理，比如海思的芯片，这个在安防视频监控领域很常见，毕竟通过GPU也好硬件加速也好，要并发处理大量的视频流信息，大量占用系统资源不大好，还是直接专门的解码芯片处理更方便，速度也更快，而且丝毫不影响系统正常运行，这种专有的视频解码芯片都会提供对应的头文件给你调用，你只需要按照手册进行编写即可，这种不具有通用性，依赖具体的硬件芯片。

其实硬件加速也需要硬件支持，比如没有GPU的芯片，那就肯定没法搞硬件加速，一般现在的X86的芯片都会有GPU的，要支撑各种大型游戏的正常运行肯定要不错的GPU运算能力才行，所以后面才会出现独立显卡，专门用来显示加速，一套系统稳定性第一位，流畅性可能就是其次了，如果在使用软件系统的过程中一卡一卡的，相信没有几个用户心理舒服。

电脑硬件加速即是利用硬件模块来代替软件算法以补充利用硬件所固有的快速特性。简单的说就是利用显卡的GPU来代替CPU处理，显卡的GPU在处理速度上圆圆高于CPU，因此有很多人启用硬件加速来加速显卡的流畅度。由于中央处理器的结构使得它能够在短时间内完成各种各样不同的指令。它能够处理什么指令主要由软件限制。但是由于中央处理器的结构有些重复任务无法非常有效和迅速地被处理。通过使用专门为这样的重复任务设计的特殊硬件元件（芯片或者处理器，通常是用GPU完成）可以解决这个问题。这些特殊硬件元件不必像中央处理器那样灵活，因此它们的硬件设计就已经顾及了优化处理这些特殊问题的需要，这样一来中央处理器有时间去处理其它任务。

二、功能特点

软件模块

视频监控模块，各种停靠小窗体子模块，包括设备列表、图文警情、窗口信息、云台控制、预置位、巡航设置、设备控制、悬浮地图、网页浏览等。
视频回放模块，包括本地回放、远程回放、设备播放、图片回放、视频上传等。
电子地图模块，包括图片地图、在线地图、离线地图、路径规划等。
日志查询模块，包括本地日志、设备日志等。
系统设置模块，包括系统设置（基本设置、视频参数、数据库设置、地图配置、串口配置等）、录像机管理、摄像机管理、轮询配置、用户管理等。

基础功能

支持各种视频流（rtsp、rtmp、http等）、视频文件（mp4、rmvb、avi等）、本地USB摄像机播放。
支持多画面切换，包括1、4、6、8、9、13、16、25、36、64画面切换。
支持全屏切换，多种切换方式包括鼠标右键菜单、工具栏按钮、快捷键（alt+enter全屏，esc退出全屏）。
支持视频轮询，包括1、4、9、16画面轮询，可设置轮询分组（轮询预案）、轮询间隔、码流类型等。
支持onvif协议，包括设备搜索、云台控制、设备控制（图片参数、校对时间、系统重启，抓拍图片等）。
支持权限管理，不同的用户可以对应不同的模块权限，比如删除日志、关闭系统等。
数据库支持多种，包括sqlite、mysql、sqlserver、postgresql、oracle、人大金仓等。
本地USB摄像机支持设置分辨率、帧率等参数。
所有停靠模块都自动生成对应的菜单用来控制显示和隐藏，在标题栏右键可以弹出。
支持显示所有模块、隐藏所有模块、复位普通布局、复位全屏布局。
双击设备弹出实时预览视频，支持图片地图、在线地图、离线地图等。
摄像机节点拖曳到对应窗体播放视频，同时支持拖曳本地文件直接播放。
删除视频支持鼠标右键删除、悬浮条关闭删除、拖曳到视频监控面板外删除等多种方式。
图片地图上设备按钮可自由拖动，自动保存位置信息。百度地图上可以鼠标单击获取经纬度信息，用来更新设备位置。
视频监控面板窗体中任意通道支持拖曳交换，瞬间响应。
封装了百度地图，视图切换，运动轨迹，设备点位，鼠标按下获取经纬度等。
双击节点、拖曳节点、拖曳窗体交换位置等操作，均自动更新保存最后的播放地址，下次软件打开自动应用。
右下角音量条控件，失去焦点自动隐藏，音量条带静音图标。
支持视频截图，可指定单个或者对所有通道截图，底部小工具栏也有截图按钮。
支持超时自动隐藏鼠标指针、自动全屏机制。
支持onvif云台控制，可上下左右移动云台摄像机，包括复位和焦距调整等。
支持任意onvif摄像机，包括但不限于海康、大华、宇视、天地伟业、华为等。
可保存视频，可选定时存储或者单文件存储，可选存储间隔时间。
可设置视频流通信方式tcp+udp，可设置视频解码是速度优先、质量优先、均衡等。
可设置软件中文名称、英文名称、LOGO图标等。
存储的视频文件支持导出到指定目录，支持批量上传到服务器。

特色功能

主界面采用停靠窗体模式，各种组件以小模块的形式加入，可自定义任意模块加入。
停靠模块可拖动任意位置嵌入和悬浮，支持最大化全屏，支持多屏幕。
双重布局文件存储机制，正常模式、全屏模式都对应不同的布局方案，自动切换和保存，比如全屏模式可以突出几个模块透明显示在指定位置，更具科幻感现代化。
原创onvif协议机制，采用底层协议解析（udp广播搜索+http请求执行命令）更轻量易懂易学习拓展，不依赖任何第三方组件比如gsoap。
原创数据导入导出机制，跨平台不依赖任何组件，瞬间导出数据。
内置多个原创组件，宇宙超值超级牛逼，包括数据导入导出组件（导出到xls、pdf、打印）、数据库组件（数据库管理线程、自动清理数据线程、万能分页、数据请求等）、地图组件、视频监控组件、文件多线程收发组件、onvif通信组件、通用浏览器内核组件等。
自定义信息框+错误框+询问框+右下角提示框（包含多种格式）等。
精美换肤，高达17套皮肤样式随意更换，所有样式全部统一，包括菜单等。
视频控件悬浮条可以自行增加多个按钮，监控界面底部小工具栏也可自行增加按钮。
双击摄像机节点自动播放视频，双击节点自动依次添加视频，会自动跳到下一个，双击父节点自动添加该节点下的所有视频。可选主码流、子码流。
录像机管理、摄像机管理，可添加删除修改导入导出打印信息，立即应用新的设备信息生成树状列表，不需重启。
可选多种内核自由切换，ffmpeg、vlc、mpv等，均可在pro中设置。推荐用ffmpeg，跨平台最多，默认提供好了linux和mac平台上编译好的库。
支持硬解码，可设置硬解码类型（qsv、dxva2、d3d11va等）。
默认采用opengl绘制视频，超低的CPU资源占用，支持yuyv和nv12两种格式绘制，很牛逼。
高度可定制化，用户可以很方便的在此基础上衍生自己的功能，比如增加自定义模块，增加运行模式、机器人监控、无人机监控、挖掘机监控等。
支持xp、win7、win10、linux、mac、各种国产系统（UOS、中标麒麟、银河麒麟等）、嵌入式linux等系统。
注释完整，项目结构清晰，超级详细完整的使用开发手册，精确到每个代码文件的功能说明，不断持续迭代版本。

三、体验地址

体验地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_system.zip。
国内站点：https://gitee.com/feiyangqingyun
国际站点：https://github.com/feiyangqingyun
个人主页：https://blog.csdn.net/feiyangqingyun
知乎主页：https://www.zhihu.com/people/feiyangqingyun/

四、效果图

五、核心代码

int FFmpegThread::decode_packet(AVCodecContext *avctx, AVPacket *packet)
{
#ifndef gcc45int ret = 0;ret = avcodec_send_packet(avctx, packet);if (ret < 0) {qDebug() << TIMEMS << "Error during decoding";return ret;}while (ret >= 0) {ret = avcodec_receive_frame(avctx, avFrame);if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {break;} else if (ret < 0) {qDebug() << TIMEMS << "Error during decoding";break;}ret = av_hwframe_transfer_data(avFrame2, avFrame, 0);if (ret < 0) {qDebug() << TIMEMS << "Error transferring the data to system memory";av_frame_unref(avFrame2);av_frame_unref(avFrame);return ret;}}
#endifreturn 1;
}static AVPixelFormat get_qsv_format(AVCodecContext *avctx, const enum AVPixelFormat *pix_fmts)
{
#ifndef gcc45while (*pix_fmts != AV_PIX_FMT_NONE) {if (*pix_fmts == AV_PIX_FMT_QSV) {DecodeContext *decode = (DecodeContext *)avctx->opaque;avctx->hw_frames_ctx = av_hwframe_ctx_alloc(decode->hw_device_ref);if (!avctx->hw_frames_ctx) {return AV_PIX_FMT_NONE;}AVHWFramesContext *frames_ctx = (AVHWFramesContext *)avctx->hw_frames_ctx->data;AVQSVFramesContext *frames_hwctx = (AVQSVFramesContext *)frames_ctx->hwctx;frames_ctx->format = AV_PIX_FMT_QSV;frames_ctx->sw_format = avctx->sw_pix_fmt;frames_ctx->width = FFALIGN(avctx->coded_width, 32);frames_ctx->height = FFALIGN(avctx->coded_height, 32);frames_ctx->initial_pool_size = 32;frames_hwctx->frame_type = MFX_MEMTYPE_VIDEO_MEMORY_DECODER_TARGET;int ret = av_hwframe_ctx_init(avctx->hw_frames_ctx);if (ret < 0) {return AV_PIX_FMT_NONE;}return AV_PIX_FMT_QSV;}pix_fmts++;}
#endifqDebug() << TIMEMS << "The QSV pixel format not offered in get_format()";return AV_PIX_FMT_NONE;
}enum AVPixelFormat hw_pix_fmt;
static enum AVPixelFormat get_hw_format(AVCodecContext *ctx, const enum AVPixelFormat *pix_fmts)
{const enum AVPixelFormat *p;for (p = pix_fmts; *p != -1; p++) {if (*p == hw_pix_fmt) {return *p;}}qDebug() << TIMEMS << "Failed to get HW surface format";return AV_PIX_FMT_NONE;
}