从nginx-rtmp中提取一帧h264帧

摘要：一为什么要提取h264帧? 因为我们经常需要从事实流中截取一些画面,用于变动的封面,安全,鉴黄等用处。二从nginx_rtmp中怎么提取一帧h264帧呢? 前面我们讲过如何提取sps和pps,这里只需要提取一个nalu,如果是I帧就手动把sps和pps添加到帧前面就可以了。三提取实现代码可以参照前面sps和pps提取, 从ngx_rtmp_live_av(ngx_rtmp_session
一为什么要提取h264帧?
因为我们经常需要从事实流中截取一些画面,用于变动的封面,安全,鉴黄等用处。
二从nginx_rtmp中怎么提取一帧h264帧呢?
前面我们讲过如何提取sps和pps,这里只需要提取一个nalu,如果是I帧就手动把sps和pps添加到帧前面就可以了。
三提取实现代码
可以参照前面sps和pps提取,
从ngx_rtmp_live_av(ngx_rtmp_session_t *s, ngx_rtmp_header_t *h,
ngx_chain_t *in)函数入手
(1)首先我们合并ngx_chain_t *in 数据。
ngx_str_t tmp_str = {0};
tmp_str.data = (u_char*)ngx_palloc(s->connection->pool,MAX_TAG_SIZE);
if(tmp_str.data == NULL)
{
return NGX_ERROR;
}
ngx_chain_t *tmp_in = NULL;
int in_len = 0;
int parse_offset = 0;
for(tmp_in = in;tmp_in;tmp_in = tmp_in->next)
{
memcpy(tmp_str.data + in_len,tmp_in->buf->pos,(int)(tmp_in->buf->last - tmp_in->buf->pos));
in_len += (int)(tmp_in->buf->last - tmp_in->buf->pos);
}
tmp_str.len = in_len;
这里内存申请,统一用nginx自带的内存池,这样方便管理,当连接结束的时候,nginx会自动释放这个内存池。
s->connection->pool。
但是由于我们这个一个tag占用内存太多,因此最好是用一次申请完就释放掉,或者最好直接保存到会话中,一次申请,永久使用。

(2) 接下看看合并后的数据格式,
17 01 00 00 50 00 00 8E 72 65 88 82
这是开头的几个字节的数据,从数据看就比较直观了。这个直接是rtmp video message的内容,去掉了messgae头的。也就是对应的flv文件的
video tag的body。17 1 表示keyframe,7表示AVC 。接下来的字节01是 AVCPacketType,然后是3个字节的CompositionTime,
然后是4个字节的nalu数据的长度。后面接着的是nalu数据体
(3) 实现代码
int nalu_type = tmp_str.data[9]&;0x1f;
if(nalu_type != 5)
{
return NGX_ERROR;
}//先得到nalu type 这里我们只提取I帧,

parse_offset += 5;
int nalu_len = ntohl(*(unsigned int *)((char *)tmp_str.data + parse_offset));
//解析nalu数据长度

memcpy(nalu->data + nalu->len,s->mjpeg_info.sps.data,s->mjpeg_info.sps.len);
nalu->len += s->mjpeg_info.sps.len;//追加sps到帧前面
memcpy(nalu->data + nalu->len,s->mjpeg_info.pps.data,s->mjpeg_info.pps.len);
nalu->len += s->mjpeg_info.pps.len;//追加pps到帧前面

memcpy(nalu->data + nalu->len,nalu_head,4);
nalu->len += 4;//追加nalu 头到前面 0x00000001
memcpy(nalu->data + nalu->len,&;tmp_str.data[9],tmp_str.len - 9);
nalu->len += (tmp_str.len - 9);//加上刚解析出来的nalu数据体
注意:sps和pps也都是一种nalu。

四如何提取aac音频的这里就不详细描述了,与上面类似

更多开源流媒体技术,请关注我们的微信:EasyDarwin

从nginx-rtmp中提取一帧h264帧相关推荐

使用ffmpeg从mp4文件中提取视频流到h264文件中
注释: -i 2018.mp4: 是输入的MP4文件 -codec copy: 从mp4中拷贝 -bsf: h264_mp4toannexb: 从mp4拷贝到annexB封装 -f h264: 采用 ...
【Android音视频开发】【032】Android从RTMP流中提取H264和AAC数据进行播放
前篇在上篇博客中,我们已经讲解过,如何从RTMP流中提取H264和AAC数据,并保存为FLV,AAC,H264等文件这篇博客我们讲解,怎么通过Android多媒体框架播放这些数据上篇博客的重点在 ...
gstreamer读取USB摄像头H264帧并用rtmp推流
文章目录 gstreamer命令行实现rtmp推流 gstreamer代码实现rtmp推流因为要在嵌入式端使用rtmp推流,目前我知道的有三种办法,ffmpeg.gstreamer.librtmp, ...
wireshark提取视频数据之RTP包中提取H264和H265
wireshark提取视频数据之RTP包中提取H264和H265 文章目录 wireshark提取视频数据之RTP包中提取H264和H265 1 背景 2 提取前工作 3 H264视频从RTP包中提取 ...
【流媒體】H264—MP4格式及在MP4文件中提取H264的SPS、PPS及码流
原文地址为: [流媒體]H264-MP4格式及在MP4文件中提取H264的SPS.PPS及码流 [流媒體]H264-MP4格式及在MP4文件中提取H264的SPS.PPS及码流 SkySeraph A ...
[转]【流媒體】H264—MP4格式及在MP4文件中提取H264的SPS、PPS及码流
[流媒體]H264-MP4格式及在MP4文件中提取H264的SPS.PPS及码流 SkySeraph Apr 1st 2012 Email:skyseraph00@163 .com 一.MP4格式基 ...
流媒體】H264—MP4格式及在MP4文件中提取H264的SPS、PPS及码流
源地址:http://www.cnblogs.com/skyseraph/archive/2012/04/01/2429384.html [流媒體]H264-MP4格式及在MP4文件中提取H264的S ...
【转载】H264—MP4格式及在MP4文件中提取H264的SPS、PPS及码流
[流媒體]H264-MP4格式及在MP4文件中提取H264的SPS.PPS及码流 SkySeraph Apr 1st 2012 Email:skyseraph00@163.com 一.MP4格式基本概 ...
服务器搭建和使用 ubuntu_Ubuntu中使用Nginx+rtmp搭建流媒体直播服务
一.背景本篇文章是继上一篇文章<Ubuntu中使用Nginx+rtmp模块搭建流媒体视频点播服务>文章而写,在上一篇文章中我们搭建了一个点播服务器,在此基础上我们再搭建一个直播服务器, ...

从nginx-rtmp中提取一帧h264帧

从nginx-rtmp中提取一帧h264帧相关推荐

最新文章

热门文章