H.264NLU和RTSP协议理解

h.264分为两部分组成：VCL 和 NAL
VCL：是指如何进行视频压缩算法的纯视频流的部分，这里不做说明（这里是大公司给完成的部分）
NAL：是指网络抽象层部分（Network Abstraction Layer Units）,说白了是给每个序列加入一个头信息；方便网络传输。
举个例子：比如我们寄快递一样，VCL指你要邮寄的东西，NAL是你的包装盒和邮寄单信息，而这里的RTSP好比是快递公司。
小结：做编码器的人关心的是VCL部分，做视频传输和解码播放的人关心的是NAL部分。
一些概念：
I帧：非参考帧，一般为第一帧
B帧：前后帧都做参考
P帧：只参考前一帧
像素->码流：像素—宏块—片（slice）—帧 — 序列 — 码流
序列（seqence）：LSPS（14字节） + LPPS（4字节） + Lsei （5字节）+ 1I帧 + 若干P帧
一个序列的数目好比是帧率；比如帧率是30Hz，那么这个序列就是 1I帧 + 29个P帧。
一段H.264的码流其实就是多个seqence组成的，SPS,PPS和sei描述的是sequence的图像信息，I帧是关键，丢了I帧这个sequence就废了，每个sequence只有一个I帧。
分隔符：在NAL中序列参数集和图像参数集开头都会有个00 00 00 01这个的分割符；
Profile：在psp中包含了这个参数，主要是定义了编码工具的集合（使用的哪种算法）
Level：主要是对码流的关键参数，取值范围。比如分辨率
RTSP概述
RTSP（Real Time Streaming Protocol），参考标准为 RFC2326，RTSP 协议是基于文本的实时流传输协议，是 TCP/一个应用层协议。
图解

传输过程

RTSP 消息格式

1 请求格式（Request）

2 回应消息格式（Response）

RTSP中的 C（Client）与 S（Server）交互流程图解

4、RTSP 关键字段说明

4.1 关键字：OPTIONS
得到服务器提供的可用方法（OPTION、DESCRIBE、SETUP、TEARDOWN、PLAY、PAUSE、SCALE、GET_PARAMETER、SET_PARAMETER）。

4.2 关键字：DESCRIBE
请求流的 SDP 信息。
注解：此处需要了解 H264 Law Data 如何生成 SPS PPS 信息。

4.3 关键字：SETUP
客户端提醒服务器建立会话，并建立传输模式。
注解：此处确定了 RTP 传输交互式采用 TCP（面向连接）还是 UDP（无连接）模式。

4.4 关键字：PLAY
客户端发送播放请求。
注解：此处引入 RTP 协议及 RTCP 协议。

4.5关键字：PAUSE
播放暂停请求。
注解：此关键字经常用在录像回放当中，实时视频流几乎用不到。

4.6 关键字:TEARDOWN
客户端发送关闭请求

4.7 关键字:GET_PARAMETER
从服务器获取参数，目前主要获取时间参数（可扩展）

4.8 关键字：SET_PARAMETER
给指定的 URL 或者流设置参数（可扩展）

从流程图的第4步PLAY以下是RTSP对编码好的H.264的传输，采取分包发送的方法，这里的RTSP每包发送的最大是1400（nalu_sent_len）个字节，
首先要调用VENC_Sent的时候，要传参给它一个一帧的长度（nAvFrmLen），其中有个timestamp_increse，在同一帧的数据timestamp_increse是相同的，两帧的间隔算法：
timestamp_increse=(unsigned int)(90000.0 / 25)这里的90000.0是h.264的时钟频率，25是帧
率。这两帧的间隔是3600；
在一包数据头的部分有个rtp_hedr:有个marker是用来做标记的，在一帧中是分为多包发送的，只有最后一包marker=1，前面的其他包都是等于0；

H.264NLU和RTSP协议理解相关推荐

个人对rtsp协议的理解
由于业务需求,要实现rtsp协议下的视频流代理功能,此前对rtsp协议不了解,搜索了很多关于rtsp的文章,一点点的弄明白了,现在项目开发完成了,打算把自己总结的知识点分享给有需要的人,第一次在csd ...
RTSP协议-中文定义
转自:http://blog.csdn.net/arau_sh/article/details/2982914 E-mail:bryanj@163.com 译者: Bryan.Wong(王晶,宁夏固原 ...
音视频之RTSP协议简介
音视频之RTSP协议简介 RTSP简介 RTSP协议以客户端/服务器方式工作,如:暂停/继续.后退.前进等.它是一个多媒体播放控制协议,用来控制用户在播放从因特网下载的实时数据,因此 RTSP 又称为 ...
RTSP 协议详细介绍
RTSP协议分析收藏 Network Working Group H. Schulzrinne Request for Comments: 2326 Columbia U. Category: ...
RTSP 协议漫谈，揭秘 RTSP 协议内幕
RTSP(Real Time Streaming Protocol)实时流传输协议,定义在 RFC2326,是 TCP/IP 协议体系中的一个应用层协议,由哥伦比亚大学.网景和 RealNetwork ...
国标28181：什么是RTSP协议
前言 RTSP出现之前,最热的大概就是HTTP协议.想象一下,当你需要欣赏网络中的某一段视频,通过HTTP协议访问其URL.开始下载.下载完成之后播放.对于早期的视频采集设备.网络带宽或是负责渲染的显 ...
海康大华等安防摄像机采用通用RTSP协议流转RTMP推送至Web无插件播放展示的流程方法
行业现状中国互联网化的进程已经越来越快了,各个行业都在进行着互联网化的改造,流媒体.音视频,作为跑在互联网上最大量级的数据类型,其从编码方式到传输协议到终端兼容都成为各家标准抢占的高点,RTMP.H ...
最详细的流媒体传输协议-rtsp协议详解
流媒体传输协议-rtsp协议详解参阅:RTSP协议详解和分析从零开始写一个RTSP服务器(一)RTSP协议讲解关于RTSP_RTP_RTCP协议的深刻初步介绍 rtsp RTSP出现以前,最热的大概 ...
RTSP协议详解（转载）
流媒体传输协议介绍一.RTSP协议介绍什么是rtsp? RTSP协议以客户服务器方式工作,,如:暂停/继续.后退.前进等.它是一个多媒体播放控制协议,用来使用户在播放从因特网下载的实时数据时能够进 ...

H.264NLU和RTSP协议理解

H.264NLU和RTSP协议理解相关推荐

最新文章

热门文章