h264和h265视频流SDP描述详解

文章目录

h264和h265视频流SDP描述详解
- 1 SDP概述
- 2.SDP媒体描述极其扩展属性
- - 2.1 m属性介绍
  - 2.2 a=control附加属性介绍
  - 2.3 a=rtpmap附加属性介绍
  - 2.4 a=fmtp附加属性介绍

SDP（Session Description Protocol）会话描述协议，是一种用来描述信息格式的标准，它不是一种用于传输的协议而是由 ITEF 组织下的 MMusic 工作组设计的一种会话描述格式，其他的传输协议通过sdp来交换必要的信息,常用在实时音视频中用来交换信息;比如GB28181视频交互（SIP-INVITE)、RTSP（DESCRIBE)、WEBRTC等音视频交换协议中，用作描述音视频信息。

1 SDP概述

首先看一个海康摄像头，通过RTSP协议交换获得SDP信息，客户端发送DESCRIBE时的响应，如下：

RTSP/1.0 200 OK
CSeq: 3
Content-Type: application/sdp
Content-Base: rtsp://10.45.12.141/h264/ch1/main/av_stream/
Content-Length: 593v=0
o=- 1658575881396804 1658575881396804 IN IP4 10.45.12.141
s=Media Presentation
e=NONE
b=AS:5050
t=0 0
a=control:rtsp://10.45.12.141/h264/ch1/main/av_stream/
m=video 0 RTP/AVP 96
c=IN IP4 0.0.0.0
b=AS:5000
a=recvonly
a=x-dimensions:1920,1080
a=control:rtsp://10.45.12.141/h264/ch1/main/av_stream/trackID=1
a=rtpmap:96 H264/90000
a=fmtp:96 profile-level-id=420029; packetization-mode=1; sprop-parameter-sets=Z00AKpY1QPAET8s3AQEBQAABwgAAV+QB,aO48gA==
a=Media_header:MEDIAINFO=494D4B48010300000400000100000000000000000000000000000000000000000000000000000000;
a=appversion:1.0

Content-Type: application/sdp标识RTSP响应携带的消息类型是SDP，下面对SDP消息体进行详细介绍

SDP协议包含会话层和媒层，具体字段释义如下表：

属性名	描述	是否必选	备注
v	SDP协议版本号，默认为0	是	版本一般默认是0
o	会话所有者标识（originator and session identifier）	是	`o=<用户名> <session id> <会话版本> <网络类型><地址类型> <地址>`
s	会话名称	是	本次会话的名称
e	email地址	否	一般不用
b	b=AS:可用贷款	否	参数说明服务端本次流最大可用带宽
t	会话活动时间	否	(time the session is active) 会话的起始时间和结束时间，无起止时间要求，可都赋值为0，如果是录像回放，可赋值npt时间
c	数据连接描述	否	`c=<networktype> <address type> <connection address>`,如果在媒体描述中存在，会话层可不用
r	重复次数	否	一般不用
z	时区适配	否	一般不用
k	密钥	否	一般不用
a	会话附件属性，根据附件内容确定其意义	否	媒体描述层有很多附件属性定义
m	媒体描述，此属性后直到下一个m出现都属于m的属性描述	是	视频会话时，必选

在视频流中，SDP的媒体描述层标识流媒体服务器流的属性，对于客户端拉流和解码有着重要的意义，媒体描述层属性如果出现错误，可能导致客户端无法解析，下面对SDP中m属性极其附加属性进行详细介绍。

2.SDP媒体描述极其扩展属性

SDP媒体描述极其扩展属性，在不同的协议中有定义有所不同，需要参照不同协议的协议规范来看，这里介绍的是比较通用的定义，以RTSP协议中SDP的媒体描述定义。媒体描述扩展属性中有关c、b等属性不在做介绍，主要介绍m极其扩展属性a=control\a=rtpmap\a=fmtp进行详细介绍。

2.1 m属性介绍

m属性的格式如下：
m=<media> <port> <proto> <fmt> ...
实例如下：
m=video 0 RTP/AVP 96
每个字段代表的含义如下：

media：媒体类型，目前应用到的有video/audio/application等表示视频/音频/元数据等类型，根据不通协议规范，可扩展其他类型
port：流媒体服务器发送数据的传输端口号，表示服务器从本端口发送流，0表示随机端口发送，如果是RTSP协议，一般为0，后继协议SETUP时确定传输端口
proto：传输的协议类型， RTP/AVP表示支持UDP传输，RTP/AVP/TCP支持TCP传输，主流交互协议中，也用RTP/AVP表示既支持UDP又支持TCP
<fmt>：媒体格式描述，RTP中用payloadtype来赋值，表示流的类型，这里会和后面"a=rtpmap:"、“a=fmtp:”相关联，具体对媒体进行描述。

2.2 a=control附加属性介绍

在m属性之前，一般会有如下格式的扩展属性，例如
a=control:rtsp://10.45.12.141/h264/ch1/main/av_stream/
如果在m之前出现，则标识后面的多媒体流控制地址是由此rtsp://10.45.12.141/h264/ch1/main/av_stream/前缀的，如果前缀为*，则标识无前缀，这在SDP解析的时候可以作为查找依据。

SDP描述中可以包含多个流媒体描述，每个流媒体都是以m开头，到遇到下个m为止，媒体流选择是通过媒体描述的附加属性a=control:来区分，比如如下SDP信息

v=0
o=- 1387444157003239 1 IN IP4 10.45.149.105
s=LIVE555 Streaming Media v2013.07.03
i=000100
t=0 0
a=tool:LIVE555 Streaming Media v2013.07.03
a=type:broadcast
a=control:*
a=range:npt=0-
a=x-qt-text-nam:LIVE555 Streaming Media v2013.07.03
a=x-qt-text-inf:000100
m=video 0 RTP/AVP 96
c=IN IP4 0.0.0.0
b=AS:8000
a=rtpmap:96 H264/90000
a=control:track1
m=audio 0 RTP/AVP 0
c=IN IP4 0.0.0.0
b=AS:512
a=control:track2
a=rtpmap:0 PCMU/8000
a=recvonly
m=audio 0 RTP/AVP 0
c=IN IP4 0.0.0.0
b=AS:512
a=control:track3
a=rtpmap:0 PCMU/8000
a=sendonly

其中包含了三个流的描述，分别为视频、下行语音、上行语音组成，通过a=control:附加属性的值来区分，track1标识视频，track2表示下行预研、track3表示上行语音，在客户端建立连接阶段（RTSP-SETUP)根据自己的需求去建立连接并播放

2.3 a=rtpmap附加属性介绍

附加属性的格式如下：
a=rtpmap:<payload type><encoding name>/<clock rate>[/<encodingparameters>]

实例如下：
a=rtpmap:96 H264/90000

详解如下：

payloadtype:负载类型在多路复用技术中表示一个流通道，这里与媒体信息中的fmt对应
扩展描述媒体打包信息
encodingname：编码方式，表示流的编码方式，比如H264、H265等
clock rate：采样的时钟频率，这里视频流一般为90000，如果为RTP流，时钟频率将作为RTP帧间隔的衡量，例如帧间隔为40ms，则RTP包的时间戳间隔为（40/1000）*90000=3600

2.4 a=fmtp附加属性介绍

附件属性的格式，H264和H265有一定的区别，这里分开来说明，首先看下H264格式：
a=fmtp:<payload type> profile-level-id=<xxx>; packetization-mode=1;sprop-parameter-sets=xxx,xxx

实例如下：

a=fmtp:96 profile-level-id=420029; packetization-mode=1; sprop-parameter-sets=Z00AKpY1QPAET8s3AQEBQAABwgAAV+QB,aO48gA==

详解如下：

payload type：负载类型在多路复用技术中表示一个流通道，这里与媒体信息中的fmt对应
profile-level-id：为三个十六进制表示的字节，第一个字节表示profile_idc（编码规格），第二个字节表示profile-iop，第三个字节表示level_idc编码等级，profile_idc一般有三个取值0x42(66)-baseline profile,0x4D(77)-main profile,0x58(88)-extened profile;profile-iop, 0x64(100)-high profile;profile-iop每个字段对应一个含义，主要是区分是否严格按照编码规范，这里一般取00；第三个字节level_idc编码水平，其等于编码等级*10，上例中的编码等级为4.1
packetization-mode：表示封装方式，0或不存在时, 必须使用单一NALU 单元模式；1-必须使用非交错(non-interleaved)封包模式；2-必须使用交错(interleaved)封包模式，一般采用非交错模式
sprop-parameter-sets：sps,pps;SPS和PPS的数据的base64编码，序列参数集和图像参数NAL单元，采用 Base64 进行编码. 不同的参数集间用","号隔开

H265的fmtp格式不通通信协议中有很多方式，也有与h264统一的格式，即sprop-parameter-sets=VPS,SPS,PPS,这里介绍一种较为常用的格式，如下：

a=fmtp:96 sprop-vps=xxx;sprop-sps=xxx; sprop-pps=xxx

实例如下：
a=fmtp:96 sprop-vps=QAEMAf//AIAAAAMAAAMAAAMAAAMAALUCQA==;sprop-sps=QgEBAWAAAAMAsAAAAwAAAwB7oAPAgBDlja5JMvTcBAQEAg==; sprop-pps=RAHA8vA8kAA=

sprop-vps：VPS的base64编码
sprop-sps：SPS的base64编码
sprop-pps: PPS的base64编码

有关fmtp还可以自定义其他属性，类似方式a= fmtp:96 xxx=xxx;，具体扩展含义，可以自定义，只要客户端和服务器规定一致即可。