MP4文件的组成

MP4文件的格式遵循ISO/IEC 14496-12标准，即ISO base media file format。所有数据都封装在被称为Box的数据结构中，一个MP4文件，是由多个Box组成的。

MP4文件的最外层Box

如上图所示，该MP4文件由ftype、free、mdat和moov四个Box组成。

其中moov Box属于container box，它又可以包含有其他的Box。它里面保存的数据如下图所示

moov box

在这里moov box及其子box包含了该MP4文件的元数据，用于指定音视频数据的存储位置，数据类型，时间戳之类的信息。

mdat box为长度最大的box，该文件中的音视频数据都包含在该box中，可以通过解析moov box来获取每帧音视频数据具体保存的位置。

moov box包含有每帧音视频数据在文件中的偏移量信息，所以一般都是位于文件尾，用于方便保存文件时记录偏移量信息。但是也可以通过其他方式将其移动到文件前面的位置(MP4box和ffmpeg都可以做到)，这样做的好处是播放器在播放网络上的MP4文件时，可以直接读取到文件的索引信息，使得开播更快。

Box结构的定义

box

full box

size字段表示该Box的长度，如果size值为1，则表示box的长度超过了32位的表示范围，需要由type之后的64位用于表示实际的长度。

type字段表示该Box的类型，一般使用4个可打印的字符组合表示，也称为FOURCC，如ftyp、moov、meta、mdat等。

大部分box除了包含有size和type字段外，还包含有version和flag字段，用于处理在标准升级时产生的box内容定义不一致的问题。

除去以上数据后box剩余的数据为该box的实际数据，根据type不同，表示的含义也各不相同。

moov box

如上图所示，moov box中会包含有一个mvhd box和一个或多个trak box，每个trak box表示一个音视频的流。

mvhd box

定义如下：

mvhd box

mvhd box中的duration和timescale字段用来指定该文件的播放时长，duration/timescale的值即为单位为秒的时长。如果文件中多个流的时长不一致，该位置为最大时长。如下图所示，该文件的播放时长为189167/1000=189.167秒。

mvhdbox

trak box

每个trak box表示一路单独的流，可能是音频也可能是视频。

mdia box下的hdlr box用来指定该流是音频还是视频

stsd box的子box用于保存该流的编码类型

avcC

上图中avcC box指定了该流的编码类型为H264，且存储了解码所需的SPS、PPS信息。

stsc stsz stco三个box用于保存没帧视频或音频数据在文件中的保存位置。

stts stss ctts三个box用于保存媒体数据和时间戳的对应关系。

Sample(音视频帧)保存位置的计算

stsz(SampleSizeBox)用于保存每个sample对应的大小

stsz

sample_count字段指明sample的个数；

如果每个sample大小都相等的话，则sample_size字段为sample的大小。否则sample_size设置为0，每个sample的大小由后续的一个数组来指定。

stsc (SampleToChunkBox)

多个sample组成一个chunk，stsc box保存了sample和chunk之间的对应关系。

stsc

每个chunk可以有一个或多个sample，如果相邻的chunk含有相同的sample数量，则first_count字段用于指明第一个chunk的索引，sample_per_chunk指明该组chunk中每个chunk中sample的数量。

sample

如上图

index为1的chunk含有3个sample；

index为2的chunk含有1个sample；

然后下一个first_chunk值为4，则表明index为3的chunk含有和2相同数量的sample，也是1个；

继续，index为4的chunk含有2个sample；

index为5和6的chunk含有1个sample；7有2个sample；8有1个sample；9含有2个sample；

stco(ChunkOffsetBox)

stco box指明了每个chunk在文件中的存储位置

stco

entry_count指明了总的chunk的数量

chunk_offset指明了该chunk在文件中的偏移量

以上三个box结合起来，即可计算每个sample在文件中保存的位置和大小

void mp4Parser::GetSamplePosition(Stream* s)

{

int sample_count = s->stsz_count;

int chunk_count = s->stco_count;

if(sample_count > 0)

{

s->sample_position = new uint64_t[sample_count];

}

int remain_chunk_count = chunk_count;

int sample_index = 0;

for(int i=0;istsc_count;i++)

{

int c_count = 0;

if (i != s->stsc_count - 1)

{

c_count = s->stsc_data[i + 1].first_chunk - s->stsc_data[i].first_chunk;

remain_chunk_count -= c_count;

}

else

{

c_count = remain_chunk_count;

}

for (int j = 0; j < c_count; j++)

{

int chunk_index = s->stsc_data[i].first_chunk + j;

uint64_t offset = s->stco_data[chunk_index - 1];

for (int k = 0; k < s->stsc_data[i].samples_per_chunk; k++)

{

s->sample_position[sample_index] = offset;

offset += s->stsz_data[sample_index];

sample_index++;

if (sample_index > sample_count)

return;

}

}

}

}

PTS和DTS的计算

I P B 帧的概念

在视频压缩中，为了提高压缩率，会将每帧画面压缩为不同类型的视频帧数据。

I帧表示关键帧，包含有一帧画面的完整信息，解码时只需要本帧数据就可以解码出完整的一帧画面。

P帧表示前向参考帧，它保存了本帧与上一帧的差异信息，它不能单独解码，需要根据上一帧的画面加上本帧保存的差值来获取本帧的完整画面。

B帧为双向参考帧，它解码时需要依赖它之前和之后的帧来获取最终的画面

因为B帧需要依赖它后面的帧来进行解码，所以它的解码顺序就必然和显示顺序不能保持一致，这是就需要解码时间戳(DTS)和显示时间戳(PTS)来共同决定一帧视频数据何时解码，然后何时显示了。

stts(TimeToSampleBox)

stts

根据stts box可以计算出每个sample的dts，其中sample_delta为该sample的dts相对于上一个smaple的差值，比如entry_count=1，sample_count=5，sample_delta=1024时，5个sample的dts将依次为0 1024 2048 3072 4096。

ctts(CompositionOffsetBox)

ctts

cttsbox保存了每个sample的composition time和decode time之间的差值，这里CompositionTime就直接理解成PTS吧。

如果不存在ctts box，则代表该流不存在B帧，那么PTS就直接等于DTS，例如音频数据就不存在ctts box。

根据stts和ctts两个box可以计算出sample的DTS和PTS

stss(SyncSampleBox)

stss

stss box保存了哪些帧是关键帧(即I帧)，做seek跳转时，视频需要从关键帧开始解码，否则解码会出现异常。

示例

这里我们选择一个只有5帧画面的MP4文件进行分析

stsz内容：

sample_count = 5

index = 1, size = 919

index = 2, size = 39

index = 3, size = 36

index = 4, size = 36

index = 5, size = 36

stsc内容：

entry_count = 2

first_chunk = 1, samples_per_chunk = 3, sample_description_index = 1

first_chunk = 2, samples_per_chunk = 1, sample_description_index = 1

stco内容

entry_count = 3

index = 1, chunk_offset = 48

index = 2, chunk_offset = 1051

index = 3, chunk_offset = 1096

index为1、2、3的三帧组成为chunk1

chunk1的起始地址为48，则sample1的起始地址为48，sample2的起始地址为48+919=967(919为sample1的大小)，sample3的起始地址为967+39=1006(39为sample2的大小)。

chunk2和chunk3只包含有1个sample，分别为sample4和sample5

chunk2的起始地址为1051，则sample4的起始地址为1051

chunk3的起始地址为1096，则sample5的起始地址为1096

stts内容：

stts_count = 1

count:5, delte:512

ctts内容：

ctts_count = 5

count:1, offset:1024

count:1, offset:2560

count:1, offset:1024

count:1, offset:0

count:1, offset:512

根据stts可知，5个sample的DTS分别为 0、512、1024、1536、2048

与ctts内容相加，可得PTS分别为1024、3072、2048、1536、2560

即实际显示的顺序应该是按照PTS从小到大的顺序(1、4、3、5、2)

DTS和PTS值转换为时间

以上计算出来的DTS和PTS为一个整形的数值，但是他们如何转换为以秒为单位的实际时间呢？

参看上面第二幅图，moov/trak/mdia/mdhd这个顺序下的mdhd box

mdhd

此box中有和mvhd中同样的timesacle和duration字段，两处并不一定一致，mdhd box中的timescale和duration表示当前流的时长，duration/timescale的值即为当前流的时长。

同样，PTS和DTS除以timescale即为相应的以秒为单位的时间

上面那个例子中，视频流的timescale=15360，则相应的DTS和PTS应该为(0、0.033、0.067、0.1、0.133)(0.067、0.2、0.133、0.1、0.167)。

elst(EditListBox)

moov/trak/edts/elst box同样对PTS会产生影响，它可以是实际时间戳产生偏移

elst

segment_duration：表示该edit段的时长，以Movie Header Box(mvhd)中的timescale为单位。

media_time：表示该edit段的起始时间，以track中Media Header Box(mdhd)中的timescale为单位。如果值为-1，表示是空edit，一个track中最后一个edit不能为空。

media_rate：edit段的速率为0的话，edit段相当于一个”dwell”，即画面停止。画面会在media_time点上停止segment_duration时间。否则这个值始终为1。

为使PTS从0开始，media_time字段一般设置为第一个CTTS的值，计算PTS和DTS的时候，他们分别都减去media_time字段的值就可以将PTS调整为从0开始的值

如果media_time是从一个比较大的值，则表示要求PTS值大于该值时画面才进行显示，这时应该将第一个大于或等于该值的PTS设置为0，其他的PTS和DTS也相应做调整

如果elst box中有多个设置，表示会有多段的显示，具体用法这里不再说明，可以查询elst box用法。