SkeyePlayer RTSP/RTMP低延迟播放器源码解析系列之效率优化方案
测试发现,通过SkeyePlayer拉取网络摄像机的流, 其音频可能是G711,G726等,而写MP4或者转推RTMP等都不支持这些音频格式,那么我们就需要将其音频转码成AAC,可以使用libSkeyeAACEncoder库进行转码,然后写MP4或者推送;然而,在实际应用中,我们发现转码过程其实还是比较耗时的,它甚至会导致解码线程来不及从而使直播延时增大,所以,我们采用队列缓存+线程的方式来优化录像和抓图。
实现如下:
- 录像优化
1> 开启录像
if (pThread->manuRecording == 0x01 && NULL==pThread->m_pMP4Writer && frameinfo.type==Skeye_SDK_VIDEO_FRAME_I)//开启录制{//EnterCriticalSection(&pThread->critRecQueue); if (!pThread->m_pMP4Writer){pThread->m_pMP4Writer = new SkeyeMP4Writer();}unsigned int timestamp = (unsigned int)time(NULL);time_t tt = timestamp;struct tm *_time = localtime(&tt);char szTime[64] = {0,};strftime(szTime, 32, "%Y%m%d%H%M%S", _time);int nRecordPathLen = strlen(pThread->manuRecordingPath);if (nRecordPathLen==0 || (pThread->manuRecordingPath[nRecordPathLen-1] != '/' && pThread->manuRecordingPath[nRecordPathLen-1] != '\\') ){pThread->manuRecordingPath[nRecordPathLen] = '/';}char sFileName[512] = {0,};sprintf(sFileName, "%sch%d_%s.mp4", pThread->manuRecordingPath, pThread->channelId, szTime);if (!pThread->m_pMP4Writer->CreateMP4File(sFileName, ZOUTFILE_FLAG_FULL)){delete pThread->m_pMP4Writer;pThread->m_pMP4Writer = NULL;//return -1;} else{}//LeaveCriticalSection(&pThread->critRecQueue);}
2> 录像数据写缓存
if (NULL != pThread->pRecAVQueue){SSQ_AddData(pThread->pRecAVQueue, channelid, MEDIA_TYPE_VIDEO, (MEDIA_FRAME_INFO*)&frameinfo, pbuf);}
3> 录像线程处理
LPTHREAD_START_ROUTINE CChannelManager::_lpRecordThread( LPVOID _pParam )
{PLAY_THREAD_OBJ *pThread = (PLAY_THREAD_OBJ*)_pParam;if (NULL == pThread) return 0;pThread->recordThread.flag = 0x02;#ifdef _DEBUG_TRACE("录像线程[%d]已启动. ThreadId:%d ...\n", pThread->channelId, GetCurrentThreadId());
#endifSkeyeAACEncoder_Handle m_pAACEncoderHandle = NULL;int buf_size = 1024*1024;char *pbuf = new char[buf_size];if (NULL == pbuf){pThread->recordThread.flag = 0x00;return 0;}char* m_pAACEncBufer = new char[buf_size];memset(m_pAACEncBufer, 0x00, buf_size);//#define AVCODEC_MAX_AUDIO_FRAME_SIZE (192000)
#define AVCODEC_MAX_AUDIO_FRAME_SIZE (64000)int audbuf_len = (AVCODEC_MAX_AUDIO_FRAME_SIZE * 3) / 2;unsigned char *audio_buf = new unsigned char[audbuf_len+1];memset(audio_buf, 0x00, audbuf_len);MEDIA_FRAME_INFO frameinfo;unsigned int channelid = 0;unsigned int mediatype = 0;while (1){if (pThread->recordThread.flag == 0x03) break;int ret = SSQ_GetData(pThread->pRecAVQueue, &channelid, &mediatype, &frameinfo, pbuf);if (ret < 0){_VS_BEGIN_TIME_PERIOD(1);__VS_Delay(1);_VS_END_TIME_PERIOD(1);continue;}long long nTimeStamp = frameinfo.timestamp_sec*1000+frameinfo.timestamp_usec/1000;byte*pdata=NULL;int datasize=0;bool keyframe=false;try{ if (mediatype == MEDIA_TYPE_VIDEO){pdata = (byte*)pbuf;//获取到的编码数据datasize = frameinfo.length;int nVideoWidth = frameinfo.width;int nVideoHeight = frameinfo.height;keyframe = frameinfo.type==Skeye_SDK_VIDEO_FRAME_I?true:false;if (pThread->m_pMP4Writer){pThread->m_pMP4Writer->WriteMp4File((unsigned char*)pdata, datasize, keyframe, nTimeStamp, nVideoWidth, nVideoHeight);}}else //音频{pdata = (byte*)pbuf;//获取到的编码数据datasize = frameinfo.length;int bits_per_sample = frameinfo.bits_per_sample;int channels = frameinfo.channels;int sampleRate = frameinfo.sample_rate;if (Skeye_SDK_AUDIO_CODEC_G711U == frameinfo.codec|| Skeye_SDK_AUDIO_CODEC_G726 == frameinfo.codec || Skeye_SDK_AUDIO_CODEC_G711A == frameinfo.codec ) {if (!m_pAACEncoderHandle){InitParam initParam;initParam.u32AudioSamplerate=frameinfo.sample_rate;initParam.ucAudioChannel=frameinfo.channels;initParam.u32PCMBitSize=frameinfo.bits_per_sample;if (frameinfo.codec == Skeye_SDK_AUDIO_CODEC_G711U){initParam.ucAudioCodec = Law_ULaw;} else if (frameinfo.codec == Skeye_SDK_AUDIO_CODEC_G726){initParam.ucAudioCodec = Law_G726;}else if (frameinfo.codec == Skeye_SDK_AUDIO_CODEC_G711A){initParam.ucAudioCodec = Law_ALaw;}m_pAACEncoderHandle = Skeye_AACEncoder_Init( initParam);}unsigned int out_len = 0;int nRet = Skeye_AACEncoder_Encode(m_pAACEncoderHandle, (unsigned char*)pbuf, frameinfo.length, (unsigned char*)m_pAACEncBufer, &out_len) ;if (nRet>0&&out_len>0){pdata = (byte*)m_pAACEncBufer;datasize = out_len;frameinfo.codec = Skeye_SDK_AUDIO_CODEC_AAC;} else{continue;}}if (pThread->m_pMP4Writer){if (pThread->m_pMP4Writer->CanWrite()){pThread->m_pMP4Writer->WriteAACToMp4File((unsigned char*)pdata, datasize, nTimeStamp, sampleRate, channels, bits_per_sample);}}}}catch (...){continue;}}pThread->recordThread.flag = 0x00;#ifdef _DEBUG_TRACE("录像线程[%d]已退出 ThreadId:%d.\n", pThread->channelId, GetCurrentThreadId());
#endifreturn 0;
}
- 抓图优化
抓图原理同录像,唯一区别是直接数据传入线程,进行jpg编码存文件,详见代码。
SkeyePlayer RTSP/RTMP低延迟播放器源码解析系列之效率优化方案相关推荐
- SkeyePlayer RTSP/RTMP流媒体超低延迟播放器源码解析系列之H264一帧多NAL写MP4录像花屏问题解决方案
接上一篇[SkeyePlayer源码解析系列之录像写MP4]之续篇,我们来讲解一下关于H264编码格式中的一帧多nal(Network Abstract Layer, 即网络抽象层),关于H264和N ...
- TiKV 源码解析系列 - Raft 的优化
这篇文章转载TiDB大牛 唐刘 的博客:https://mp.weixin.qq.com/s?__biz=MzI3NDIxNTQyOQ==&mid=2247484544&idx=1&a ...
- 超美响应式自适应引导页带音乐播放器源码
介绍: 超美响应式自适应引导页带音乐播放器源码,纯html源码,右键记事本修改即可~自带音乐播放器,自带自动打字特效,自带网站存活时间,自带随机ACG背景,自适应响应式网页 网盘下载地址: http: ...
- html5 mp3播放器源码,HTML5自定义mp3播放器源码
audio对象 src兼容.ogg .wav .mp3 width autoplay loop muted静音 播放play() var myAudio = new Audio(); myAudio. ...
- 最新哔哩哔哩视频弹幕播放器源码+带后台/亲测无错误
正文: 最新哔哩哔哩视频弹幕播放器源码+带后台/亲测无错误,此款播放器源码添加及修复了很多功能,且所有源码均本地化,不存在外链的情况,测试环境:PHP7.0+MySQL5.6 安装教程: 1,访问/d ...
- 一步步实现windows版ijkplayer系列文章之三——Ijkplayer播放器源码分析之音视频输出——音频篇
https://www.cnblogs.com/harlanc/p/9693983.html 目录 OpenSL ES & AudioTrack 源码分析 创建播放器音频输出对象 配置并创建音 ...
- Discuz论坛web网页mp3音频播放器源码下载
最近在做一个DZ论坛的搭建,在前几天的时候遇到Flash+Js的幻灯片的问题,特写了一篇<JS+Flash焦点图轮播源代码(2屏,3屏,多屏)>来记录论坛搭建过程遇到的一些技术性问题,以便 ...
- 321影音代码(万能播放器)源码
321影音代码(万能播放器)源码已经分享,点击链接进入直接可以下载: http://www.atguigu.com/online.shtml#online12 转载于:https://www.cnbl ...
- 【Qt 开源音视频框架模块QtAV】03:QTAV主要接口展示以及播放器源码分享
介绍 QtAV 是一个基于 Qt 和 FFmpeg 的跨平台.高性能多媒体播放框架,能够帮助你轻而易举地编写出一个播放器. [Qt 开源音视频框架模块QtAV]01:介绍.编译以及简单使用 因为网上使 ...
- android swf 播放器代码,Android Flash swf播放器源码(2016),技术稳定可以商用—— BY softboy...
Android Flash swf播放器源码(2016) 为什么说标题加上2016? 其实不是什么新技术,因为android4.1之后的android 浏览器内核版本发生了变化导致 Adobe 的Fl ...
最新文章
- golang 发送get和post示例
- 浙江大学计算机保研条件_【如何将保研成功率提至100%】来自取得浙大等五所顶尖院校保研资格学长的干货分享(联系导师章节已更)...
- 数据库 事务隔离级别之可重复读
- bit java实验2_2018-2019-2 20175120 实验五《Java网络编程》实验报告
- 摄像机成像公式、外参、内参(转载)
- 二进制文本编辑器_Textadept for mac(文本编辑) v10.5免费版
- JAVA导入gpx文件_用于Java的GPX解析器?[关闭]
- Tomcat重启命令
- python zemax_最新Python中文版发布,跨界程序员零压力学Python之道!(附下载)
- TCP粘包以及UDP丢包问题
- 泛微OA-流程存储数据说明(表单主表+明细表)
- 中关村刀片机服务器销售,刀片服务器
- OFDM学习笔记(一)(OFDM技术简介)
- ArcGIS小知识(五)——arcmap锁定图层-编辑时只选择唯一图层
- Qt LINK : fatal error LNK1104: 无法打开文件“xxx.lib”
- vue项目中如何设置ico图标
- bzoj3811 玛里苟斯
- 计算机产业能否迅速发展,工业计算机得到了迅速的发展和全面的普及
- svn拉取文件合并_svn常用命令——-自用——-持续更新中 | 学步园
- 南达科他州立大学计算机科学,南达科他州立大学最新入学要求快来看!