H264视频传输、编解码----RTP协议对H264数据帧拆包、打包、解包过程
H264帧需要通过RTP协议进行传输，这其中就涉及到H264数据帧的封包、拆包和解包等过程。
RTP协议格式
下面是 RFC 3550 中规定的 RTP 头的结构：
0 1 2 3 40 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+|V=2|P|X| CC |M| PT | sequence number |+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| timestamp |+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| synchronization source (SSRC) identifier |+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+-+| contributing source (CSRC) identifiers || .... |+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
RTP协议头部共12字节，在每一个RTP packet中都会存在，头部之后就是RTP payload部分，也即是H264数据；这里只关注RTP payload部分。由于H264帧数据打包进入RTP packet时会把start code（00 00 00 01 或者00 00 01）去掉，所以RTP payload部分第一字节就是H264 NALU Header部分；
H264 NALU
H264帧是由一系列的NALU组成，NALU Header由一个字节组成,它的语法如下:
+---------------+|0|1|2|3|4|5|6|7|+-+-+-+-+-+-+-+-+|F|NRI| Type |+---------------+F: 1个比特. forbidden_zero_bit. 在 H.264 规范中规定了这一位必须为 0.禁止位，0表示正常，1表示错误，一般都是0；
NRI: 2个比特. nal_ref_idc. 取00~11,表示这个NALU的重要性,如00的NALU解码器可以丢弃它而不影响图像的回放.
Type: 5个比特，重要 nal_unit_type. 这个NALU单元的类型.简述如下:
Type Packet Type name ---------------------------------------------------------0 undefined -1-23 NAL unit Single NAL unit packet per H.264 24 STAP-A Single-time aggregation packet 25 STAP-B Single-time aggregation packet 26 MTAP16 Multi-time aggregation packet 27 MTAP24 Multi-time aggregation packet 28 FU-A Fragmentation unit 29 FU-B Fragmentation unit 30-31 undefined 之前提到过，单个H264仅用1-23类型，24以及以后的用在RTP协议中 H264数据的头部，用于标识传输过程中H264的类型。
H264打包过程
对于一个原始的 H.264 NALU 单元常由 [Start Code] [NALU Header][NALU Payload] 三部分组成, 其中 StartCode 用于标示这是一个NALU 单元的开始, 必须是 "00 00 00 01" 或 "00 0001", NALU 头仅一个字节, 其后都是NALU 单元内容.打包时去除 "00 0001" 或 "00 00 00 01" 的开始码, 把其他数据封包的 RTP 包即可.
根据H264 NALU的数据长度和MTU进行比较的结果，RTP有三种打包模式：单一NALU模式、组合封包模式、分片封装模式。
1、单一NALU模式
对于NALU的长度小于MTU大小的包，一般采用单一NALU模式：
下面就是相应的格式示意：
0 1 2 3 40 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+|F|NRI| type | |+-+-+-+-+-+-+-+ || || Bytes 2..n of a Single NAL unit || || +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| :...OPTIONAL RTP padding |+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+如有一个 H.264 的 NALU 是这样的:
[00 0000 01 67 42 A0 1E 23 56 0E 2F ... ]
这是一个序列参数集 NAL 单元. [00 00 00 01] 是四个字节的开始码, 67 是 NALU 头, 42 开始的数据是 NALU 内容.封装成 RTP 包将如下:
[ RTPHeader ] [ 67 42 A0 1E 23 56 0E 2F ]
2、组合封包模式
当多个NALU长度特别小时，可以将多个NALU一起封装在一个RTP包中。这里就对应着NALU Type为24 、 25 、26 、27.下面就是相应的格式示意：
0 1 2 3 40 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| RTP Header |+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+|STAP-A NAL HDR | NALU 1 Size | NALU 1 HDR |+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| NALU 1 Data |: :+ +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| | NALU 2 Size | NALU 2 HDR |+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| NALU 2 Data |: :| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| :...OPTIONAL RTP padding |+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+例如： 如有一个 H.264 的 NALU 是这样的:
[00 00 00 01 67 42 A0 1E 23 56 0E 2F...]
[00 00 00 01 68 42 12 2B 6A D6 FF E4...]
封装成RTP包，结果如下：
[RTP Header] [78(STAP-A头，一个字节)] [第一个NALU长度，两个字节] [67 42 A0 1E 23 56 0E 2F...] [第二个NALU长度，两个字节] [68 42 12 2B 6A D6 FF E4...]
3、分片封包模式
当 NALU 的长度超过 MTU 时, 就必须对 NALU 单元进行分片封包. 也称为Fragmentation Units (FUs).
0 1 2 3 40 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| FU indicator | FU header | |+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ || || FU payload || || +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| :...OPTIONAL RTP padding |+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+FU indicator有以下格式：
+---------------+|0|1|2|3|4|5|6|7|+-+-+-+-+-+-+-+-+|F|NRI| Type |+---------------+
FU指示字节的类型域Type=28表示FU-A。。NRI域的值必须根据原分片NAL单元的NRI域的值设置。
FU header的格式如下：
+---------------+|0|1|2|3|4|5|6|7|+-+-+-+-+-+-+-+-+|S|E|R| Type |+---------------+
S: 1 bit 当设置成1,开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始，开始位设为0。
E: 1 bit 当设置成1, 结束位指示分片NAL单元的结束，即, 荷载的最后字节也是分片NAL单元的最后一个字节。 当跟随的FU荷载不是分片NAL单元的最后分片,结束位设置为0。
R: 1 bit 保留位必须设置为0，接收者必须忽略该位。
Type: 5 bits 取1-23的那个值，也就是原被分片的H264帧的原始NALU Type
NAL单元荷载类型定义见下表:
分片模式举例：一帧H264为：
00 00 00 01 21 42 0A DE DF FF AD 5D ...(需要第一个RTP Packet)...A5 00 0F 08 56 78 DA ...（需要第二个RTP Packet）...DE D6 D8 89 09 00 0F...(需要第三个RTP Packet)... 则按照分片封包模式，分为三个包，依次为：
第一个包：[RTP Header] [FU Indicator =3C ] [FU Header = 81] [21(去掉) 42 0A DE DF FF AD 5D ...][...]
第二个包：[RTP Header] [FU Indicator =3C ] [FU Header = 01] [A5 00 0F 08 56 78 DA ...][...]
第三个包：[RTP Header] [FU Indicator =3C ] [FU Header = 41] [DE D6 D8 89 09 00 0F...][...]
然后，总共三个RTP Packet发出去。
解包过程：
当接收端接收到一个一个的RTP Packet，就需要将其中的H264数据取出，并还原原始的H264帧，交由解码器解码。
单一NALU模式和组合封包模式解包过程其实比较简单，主要看一下分片封包模式：
1、当接收到接收到FU-A类型的RTP Packet时，需要看FU Header中的S / E两位：
- 如果时10，表示时一帧数据的开头部分；
- 如果是00，表示一帧数据的中间部分，有可能多个00的分片；
- 如果是01，表示一帧数据的结尾。
2、把之前所有的数据都暂时保存、拼接成完成的一帧H264数据，然后加上start code：00 00 00 01即可，然后就可以交由解码器解码；
3、还原后的NAL头的八位是由FU indicator的前三位加FU header的后五位组成，即：
nal_unit_type = (fu_indicator & 0xe0) | (fu_header & 0x1f)
接下来，看代码
//This method is used to get the NAL unit from the RTP packet//Then translate the NAL unit to the decoderpublic void H264PacketRecombine(byte[] data,int length) {nalType = data[0] & 0x1F;switch (nalType) {//Single-timeaggregation packetcase NAL_UNIT_TYPE_STAP_A:break;//Single-timeaggregation packetcase NAL_UNIT_TYPE_STAP_B:break;//Multi-time aggregationpacketcase NAL_UNIT_TYPE_MTAP16:break;//Multi-time aggregationpacketcase NAL_UNIT_TYPE_MTAP24:break;//Fragmentationunitcase NAL_UNIT_TYPE_FU_A:packFlag = data[1] & 0xC0;switch (packFlag) {//NAL Unit start packetcase 0x80://一帧的开头NALUnit[4] = (byte) ((data[0] & 0xE0) | (data[1] & 0x1F));System.arraycopy(data, 2, NALUnit, 5, length - 2);tmpLen = length + 5 - 2;break;//NAL Unit middle packetcase 0x00:System.arraycopy(data, 2, NALUnit, tmpLen, length - 2);tmpLen +=length - 2;break;//NAL Unit end packetcase 0x40:System.arraycopy(data, 2, NALUnit, tmpLen, length - 2);tmpLen +=length - 2;if (SquareApplication.getInstance().getH264Stream()!=null) {SquareApplication.getInstance().getH264Stream().decodeH264Stream(Arrays.copyOfRange( NALUnit,0,tmpLen));//开始解码}tmpLen =0;break;}break;//Fragmentationunitcase NAL_UNIT_TYPE_FU_B:break;//Single NAL unit per packetdefault:if (SquareApplication.getInstance().getH264Stream()!=null) {System.arraycopy(data, 0, BaseNALUnit, 4, length);SquareApplication.getInstance().getH264Stream().decodeH264Stream(Arrays.copyOfRange( BaseNALUnit,0,(4 + length)));//开始解码tmpLen =0;}break;}}接下来就是使用MediaCodec进行硬解码。
H264视频传输、编解码----RTP协议对H264数据帧拆包、打包、解包过程相关推荐
- iOS8系统H264视频硬件编解码说明
iOS8系统H264视频硬件编解码说明 转载自:http://www.tallmantech.com/archives/206#more-206 公司项目原因,接触了一下视频流H264的编解码知识,之 ...
- iOS系统H264视频硬件编解码说明
公司项目原因,接触了一下视频流H264的编解码知识,之前项目使用的是FFMpeg多媒体库,利用CPU做视频的编码和解码,俗称为软编软解.该方法比较通用,但是占用CPU资源,编解码效率不高.一般系统都会 ...
- android player通过rtp协议接收h264视频数据播放
android recorder通过rtp发送h264视频数据给vlc播放 android player通过rtp协议接收h264视频数据播放 Android recorder通过rtp发送aac数据 ...
- ffmpeg / avconv是通用的视频/音频编解码命令行工具
转载自:http://blog.openlg.net/index.php/archives/767 ffmpeg / avconv是通用的视频/音频编解码命令行工具. 通用是既指他们可以处理各种各样的 ...
- 嵌入式Linux下基于FFmpeg的视频硬件编解码[图]
转自:http://tech.c114.net/167/a674033.html 摘要: 对FFmpeg多媒体解决方案中的视频编解码流程进行研究.结合对S3C6410处理器视频硬件编解码方法的分析,阐 ...
- 嵌入式Linux下基于FFmpeg的视频硬件编解码
嵌入式Linux下基于FFmpeg的视频硬件编解码[图] http://www.c114.net ( 2012/3/1 15:41 ) 摘要: 对FFmpeg多媒体解决方案中的视频编解码流程进行研究. ...
- Java做rtp解包封包_基于RTP的H视频数据打包解包类DoubleLi博客园.pdf
基于RTP的H视频数据打包解包类DoubleLi博客园 15- 10-30 基于RTP的H264视频数据打包解包类 - DoubleLi - 博客园 DoubleLi 博客园 :: 首页 :: 博问 ...
- H264视频传输、编解码----RTP/RTCP协议
RTSP对流媒体提供了控制方法,使得实时流数据变得可控.但是它并不负责实时流数据的传输.实时流数据的传输和传输过程的同步.优化由RTP/RTCP来负责. 实时传输协议RTP( Real-time Tr ...
- H264视频传输、编解码----FFmpeg软解码
记录一下之前项目的实际使用过程. 将按照Java层------>JNI接口------>JNI代码中使用FFmpeg解码. 首先Java层: public class CodecWrapp ...
最新文章
- android 多用户管理UserManager
- 北风设计模式课程---深入理解［代理模式］原理与技术
- C++使用链表实现queue之一(附完整源码)
- lldb 调试 linux下 .net Core 总结及开源扩展 yinuo
- tf.placeholder()
- 郑州升达经贸管理学院计算机专业学费,郑州升达经贸管理学院学费
- 【HEVC】目前H265分析软件推荐
- Zookeeper的一致性协议：Zab
- 用友u8怎么导出凭证_CASE11 用友U8导入期初档案凭证批量作废编辑自动现流(5/5)...
- iis php日志查看工具,教你如何查看IIS日志
- plecs中以RLC为例介绍c-scripe建立微分方程的过程
- 你的Android HTTPS真的安全吗？（转载）
- react引入本地mp4视频
- Basic 语言发展史
- ps切图后 JAVA开发_ps切图抠图详解-web前端（转）
- MATLAB与信号处理课程手册
- 三星s8升级到android9相机,三星S8拍照怎么样?S8相机官方详解
- 屏幕录制专家，如何上传到优酷的高清视频？
- 高等数学学习笔记——第六十讲——向量值函数的导数与积分
- 病毒性感冒和细菌性感冒怎样区分