SkeyePlayer RTSP播放器源码解析系列之H264一帧多NAL写MP4录像花屏问题解决方案

接上一篇[SkeyePlayer源码解析系列之录像写MP4]之续篇，我们来讲解一下关于H264编码格式中的一帧多nal(Network Abstract Layer, 即网络抽象层)，关于H264和NAL，这里引用一段话来科普一下：

【转】在H.264/AVC视频编码标准中，整个系统框架被分为了两个层面：视频编码层面（VCL）和网络抽象层面（NAL）。其中，前者负责有效表示视频数据的内容，而后者则负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。因此我们平时的每帧数据就是一个NAL单元（SPS与PPS除外）。在实际的H264数据帧中，往往帧前面带有00 00 00 01 或 00 00 01分隔符，一般来说编码器编出的首帧数据为PPS与SPS，接着为I帧……

一般情况下，一个H264帧直接以00 00 00 01开头作为一个NAL作为网络传输单元，而在有些H264的编码器则编码出来的H264帧包含了多个NAL，这个时候每个分片的NAL（注意是分片的）则是是以00 00 01开头作为网络传输单元，经过分片的NAL数据量更小，从而更加方便进行网络；但是，我们在接收到带有多个NAL的H264帧的时候进行写MP4则不能简单是只通过将头部的00 00 00 01标志转换从AVC的长度标识，而需要将所有的00 00 00 01和00 00 01都需要转换成该NAL单元的长度，否则就会出现视频解码只能播放头部一小部分，其他部分全部花屏的情况，如下图所示：

说了这么多，大家是否明白了呢，如果不明白的（文字描述比较虚），我们直接看SkeyePlayer代码实现:

int SkeyeMP4Writer::WriteMp4File(unsigned char* pdata, int datasize, bool keyframe, long nTimestamp, int nWidth, int nHeight)
{if (nTimestamp==0||(pdata==NULL)||datasize<=0){return -1;}int inlen=datasize;unsigned char*pin=pdata;int outlen=0;unsigned char*pout=NULL;bool bend = false;int datalen=0;bool bSPSOrPPS = false;int iOutLen = datasize;unsigned char* pRealData = new unsigned char[datasize<<1];int nRealDataSize = 0;memset(pRealData,0x00, datasize+4);do {int nal_start = 0;int nal_end = 0;outlen = find_nal_unit(pin,inlen, &nal_start, &nal_end );if (outlen<=0){break;}pout = pin+nal_start;if(pout!=NULL){unsigned char naltype = ( pout[0] & 0x1F);if (naltype==0x07)//0x67{
//              m_psps=pout;
//              m_spslen=outlen;//pout[0] = 0x67;if(m_bwritevideoinfo==false){m_psps = new unsigned char[outlen];memcpy(m_psps, pout, outlen);m_spslen=outlen;}bSPSOrPPS = true;}else if (naltype==0x08)//0x68{//              m_ppps=pout;//                 m_ppslen=outlen;//pout[0] = 0x68;if(m_bwritevideoinfo==false){m_ppps = new unsigned char[outlen];//outlenmemcpy(m_ppps, pout, outlen);m_ppslen = outlen;}bSPSOrPPS = true;}
//          else if (pout[0] == 0x06)//SEI
//          {
//
//          }
//          else{memcpy(pRealData+nRealDataSize, &outlen, 4);//写入头4个字节==nal内容的长度(H264数据的长度)unsigned char byte0 = pRealData[nRealDataSize+3];unsigned char byte1 = pRealData[nRealDataSize+2];pRealData[nRealDataSize+3] = pRealData[nRealDataSize+0];pRealData[nRealDataSize+2] = pRealData[nRealDataSize+1];pRealData[nRealDataSize+1] = byte1;pRealData[nRealDataSize+0] = byte0;nRealDataSize += 4;memcpy(pRealData+nRealDataSize, pout, outlen);nRealDataSize += outlen;}inlen=inlen-outlen-(pout-pin);pin=pout+outlen;}} while (bend!=true);if (m_bwritevideoinfo==false&&m_ppps&&m_psps){// PPS末尾的0过滤,否则VLC可能播放不出来 [12/22/2015 Dingshuai]int nPPSSize = m_ppslen;int nZeroCount = 0;for (int nI = nPPSSize-1; nI>=0; nI--){if (m_ppps[nI] == 0x00){nZeroCount++;}else{break;}}m_ppslen = m_ppslen-nZeroCount;WriteH264SPSandPPS(m_psps,m_spslen,m_ppps,m_ppslen,nWidth,nHeight);m_bwritevideoinfo = true;}if (m_bwritevideoinfo==false||nRealDataSize<=0 ){return 0;//获取sps pps失败}//   if(/*bSPSOrPPS*/pout[0]==0x67 || pout[0]==0x68)
//  {
//      return 0;
//  }WriteH264Frame(pRealData, nRealDataSize, keyframe, nTimestamp);//左移4单位，加上数据长度头？if (pRealData){   delete []pRealData;pRealData = NULL;}return true;
}

其中find_nal_unit（）函数是从H264帧中分析出以00 00 00 01和00 00 01开头的NAL单元，然后直接填充成该NAL单元的长度，注意字节顺序为大端顺序：
//写入头4个字节==nal内容的长度(H264数据的长度)
unsigned char byte0 = pRealData[nRealDataSize+3];
unsigned char byte1 = pRealData[nRealDataSize+2];
pRealData[nRealDataSize+3] = pRealData[nRealDataSize+0];
pRealData[nRealDataSize+2] = pRealData[nRealDataSize+1];
pRealData[nRealDataSize+1] = byte1;
pRealData[nRealDataSize+0] = byte0;
（这段代码是不是看起来很2B?其实不然，我就喜欢这样写，简单，直接，明了，一眼就能看懂！）

将NAL长度拷贝到AVC的缓冲区内，紧接着数据部分拷贝：
memcpy(pRealData+nRealDataSize, pout, outlen);

最后，组装成完成的avc帧之后写入MP4，播放的时候就不会有花屏，马赛克的情况出现了。

SkeyePlayer RTSP播放器源码解析系列之H264一帧多NAL写MP4录像花屏问题解决方案相关推荐

SkeyePlayer RTSP/RTMP流媒体超低延迟播放器源码解析系列之H264一帧多NAL写MP4录像花屏问题解决方案
接上一篇[SkeyePlayer源码解析系列之录像写MP4]之续篇,我们来讲解一下关于H264编码格式中的一帧多nal(Network Abstract Layer, 即网络抽象层),关于H264和N ...
一步步实现windows版ijkplayer系列文章之二——Ijkplayer播放器源码分析之音视频输出——视频篇...
一步步实现windows版ijkplayer系列文章之一--Windows10平台编译ffmpeg 4.0.2,生成ffplay 一步步实现windows版ijkplayer系列文章之二--Ijkpl ...
一步步实现windows版ijkplayer系列文章之三——Ijkplayer播放器源码分析之音视频输出——音频篇
https://www.cnblogs.com/harlanc/p/9693983.html 目录 OpenSL ES & AudioTrack 源码分析创建播放器音频输出对象配置并创建音 ...
Tomcat源码解析系列二：Tomcat总体架构
Tomcat即是一个HTTP服务器,也是一个servlet容器,主要目的就是包装servlet,并对请求响应相应的servlet,纯servlet的web应用似乎很好理解Tomcat是如何装载serv ...
openGauss数据库源码解析系列文章--openGauss简介（一）
openGauss数据库是华为深度融合在数据库领域多年经验,结合企业级场景要求推出的新一代企业级开源数据库.此前,Gauss松鼠会已经发布了openGauss数据库核心技术系列文章,介绍了openGa ...
Redux 源码解析系列(一) -- Redux的实现思想
文章来源: IMweb前端社区黄qiong(imweb.io) IMweb团队正在招聘啦,简历发至jayccchen@tencent.com Redux 其实是用来帮我们管理状态的一个框架,它暴露给 ...
TiKV 源码解析系列文章（二）raft-rs proposal 示例情景分析
作者:屈鹏本文为 TiKV 源码解析系列的第二篇,按照计划首先将为大家介绍 TiKV 依赖的周边库 raft-rs .raft-rs 是 Raft 算法的 Rust 语言实现.Raft 是分布式领域 ...
prometheus变量_TiKV 源码解析系列文章（四）Prometheus（下）
本文为 TiKV 源码解析系列的第四篇,接上篇继续为大家介绍 rust-prometheus.上篇主要介绍了基础知识以及最基本的几个指标的内部工作机制,本篇会进一步介绍更多高级功能的实现原理. 与上篇 ...
TiKV 源码解析系列 - Raft 的优化
这篇文章转载TiDB大牛唐刘的博客:https://mp.weixin.qq.com/s?__biz=MzI3NDIxNTQyOQ==&mid=2247484544&idx=1&a ...
超美响应式自适应引导页带音乐播放器源码
介绍: 超美响应式自适应引导页带音乐播放器源码,纯html源码,右键记事本修改即可~自带音乐播放器,自带自动打字特效,自带网站存活时间,自带随机ACG背景,自适应响应式网页网盘下载地址: http: ...

SkeyePlayer RTSP播放器源码解析系列之H264一帧多NAL写MP4录像花屏问题解决方案

SkeyePlayer RTSP播放器源码解析系列之H264一帧多NAL写MP4录像花屏问题解决方案相关推荐

最新文章

热门文章