DASH：简介及使用方法（本文）
DASH：FFmpeg muxer参数说明

引入XXXX后，（对照竞品）网页端的视频观看体验存在以下问题：
1. 切换画质（1080P/高清/标清）时，播放器会黑屏，并回退到关键帧重新播放。
2. 不能根据网络状况自适应调整码率（YouTube默认启用自适应码率，对照画质选项中的“Auto”）

要解决以上问题，需要引入流媒体解决方案。

DASH

为什么选择DASH

YouTube采用DASH！其网页端及移动端APP都使用了DASH。DASH的其他采用者包括：Netflix, Hulu, …

什么是DASH

一种服务端、客户端的流媒体解决方案：
服务端：
将视频内容分割为一个个分片，每个分片可以存在不同的编码形式（不同的codec、profile、分辨率、码率等）；
播放器端：
就可以根据自由选择需要播放的媒体分片；可以实现adaptive bitrate streaming技术。不同画质内容无缝切换，提供更好的播放体验。

DASH中的重要概念

MPD
媒体文件的描述文件（manifest），作用类似HLS的m3u8文件。MPD文件以XML格式组织，其层次结构参图1。
Representation
对应一个可选择的输出（alternative）。如，480p video，720p video, 44100采样 audio，22050采样audio，都使用Representation描述。
Segment（分片）
每个Representation会划分为多个Segment。Segment分为4类，其中，最重要的是：Initialization Segment（每个Representation都包含1个Init Seg），Media Segment（每个Representation的媒体内容包含若干Media Seg）！

图1. MPD的层次示意图 (每个Rrepresentation使用fMP4文件格式）

fMP4

fMP4（fragmented MP4），可以简单理解为分片化的MP4，是DASH采用的媒体文件格式，文件扩展名通常为（.m4s或直接用.mp4）。

图2. 普通MP4与fMP4组织结构对比，fMP4与DASH 分片概念对照

图2说明：

普通MP4 由索引文件头文件moov box和媒体数据mdat box组成。

fMP4 由分片组成，可以按整个文件存储，也可以按分片存储：

如果按照单个文件存储，每个输出是一个m4s文件。完整的fMP4视频可以描述为如下形式：
moov + (moof + mdat) * N
其中moof box是分片（fragment）的标识， mdat box存放的是当前分片的媒体数据；
如果按照分片存储，每个分片是一个m4s文件，输出对应了多个m4s。

fMP4中的第一个分片，对应了DASH协议中Initialization Segment；其后的分片，则对应Media Segment。

YouTube调研

一段15’ 720分辨率视频，YouTube有如下Representation:
1. audio1 id:139 codec:HE-AAC 采样率22050 分片:5
2. audio2 id:140 codec:AAC-LC 采样率44100 分片:5
3. video1 id:133 codec:264 main profile level1.2 240p 分片:4
4. video2 id:134 codec:264 main profile level2.0 360p 分片:4
5. video3 id:135 codec:264 main profile level2.0 480p 分片:4
6. video4 id:160 codec:264 main profile level1.1 144p 分片:4
7. video5 id:136 codec:264 main profile level3.0 720p 分片:4

关注视频部分，4个分片包含：1个Init Seg，3个Media Seg，视频内容部分分别为5.12s 5.12s 4.76s。

正常顺序播放

图3. 正常顺序播放的时序图

下载MPD
下载Init Seg
下载Media Seg（s）
在第6s已经完成所有视频分片的下载。

切换行为

图4. 发生switch的时序图

切换前，Representation 0的所有分片已经下载完成，交互流程同上，
第8s进行画质切换：
1. 下载Representation 1的Init Seg # 每次切换都会先下载Init Seg
2. 下载Representation 1 当前所在分片！Seg2
3. 下载后续分片。

说明：YouTube在播放Rep0 Seg2期间发生切换，会下载Repr1的Seg2，这属于YouTube的播放策略。很多DASH播放器，此时会直接请求Repr1的Seg3。

DASH应用

1）FFmpeg 转码

FFmpeg支持DASH封装，仿YouTube格式的命令：

ffmpeg -hide_banner -y -threads 0 -i INPUT_VIDEO -filter_complex 'split=2[s0][s1];[s0]scale=480:-2[480s];[s1]scale=360:-2[360s]' -map '[480s]' -c:v:0 libx264 -crf 25 -preset veryslow -map '[360s]' -c:v:1 libx264 -crf 27 -preset veryslow -map a -c:a:0 libfdk_aac -ar:a:0 22050 -map a -c:a:1 libfdk_aac -ar:a:1 44100 -g 150 -sc_threshold 0 -b_strategy 0 -min_seg_duration 5000 -use_timeline 0 -use_template 1 -single_file  1 -window_size 5 -adaptation_sets "id=0,streams=v id=1,streams=a" -f dash OUTPUT.mpd

输出：

mpd描述文件
m4s 输出文件
视频两个文件分别是480p crf25 和360p crf 27。
音频两个文件分别是22050采样率和44100采样率。
独立文件内部每个分片时长5s。

2）FFmpeg 转封装

若存在兼容普通mp4转码的需求，可以直接对已编码视频转封装得到DASH文件，避免重复编码。
要点在于保证编码命令中的GOP length与DASH要求匹配，否则会发生卡顿问题，需要在播放器端做额外处理。

3) MP4Box 转封装

mp4box -dash 5000 -frag 5000 -rap -frag-rap -profile dashavc264:onDemand ld.mp4 hd.mp4 audio.m4a -out OUTPUT.mpd

4）DASH播放

使用开源的网页端DASH player dash.js可以播放，如下图。

图5. 后台转码的实际播放效果

DASH简介及使用方法(FFmpeg, MP4Box)相关推荐

Database之SQL：SQL之over partition by开窗函数的简介、使用方法(求各班级内各自排名/求各班级内第一名/求各班级内分数递增和等案例解析)之详细攻略
Database之SQL:SQL之over partition by开窗函数的简介.使用方法(求各班级内各自排名/求各班级内第一名/求各班级内分数递增和等案例解析)之详细攻略目录 over part ...
Python编程语言学习：包导入和模块搜索路径简介、使用方法之详细攻略
Python编程语言学习:包导入和模块搜索路径简介.使用方法之详细攻略目录包导入和模块搜索路径简介 1.Pyhon搜索模块路径的机制 2.自定义配置搜索路径
ML之ME/LF：机器学习之风控业务中常用模型评估指标PSI(人群偏移度指标)的的简介、使用方法、案例应用之详细攻略
ML之ME/LF:机器学习之风控业务中常用模型评估指标PSI(人群偏移度指标)的的简介.使用方法.案例应用之详细攻略目录 PSI(稳定度指标)的简介 1.如何计算PSI? (1).PSI计算过程
Python编程学习：让函数更加灵活的*args和**kwargs(设计不同数量参数的函数)的简介、使用方法、经典案例之详细攻略
Python编程学习:让函数更加灵活的*args和**kwargs(设计不同数量参数的函数)的简介.使用方法.经典案例之详细攻略目录 *args和**kwargs(设计不同数量的参数函数)的简介 1 ...
Python之 sklearn：sklearn.preprocessing中的StandardScaler函数的简介及使用方法之详细攻略
Python之 sklearn:sklearn.preprocessing中的StandardScaler函数的简介及使用方法之详细攻略目录 sklearn.preprocessing中的Stand ...
Py之seaborn：数据可视化seaborn库(二)的组合图可视化之密度图/核密度图分布可视化、箱型图/散点图、小提琴图/散点图组合可视化的简介、使用方法之最强攻略(建议收藏)
Py之seaborn:数据可视化seaborn库(二)的组合图可视化之密度图/核密度图分布可视化.箱型图/散点图.小提琴图/散点图组合可视化的简介.使用方法之最强攻略(建议收藏) 目录二.组合图可视 ...
Py之matplotlib.pyplot：matplotlib.pyplot的plt.legend函数的简介、使用方法之详细攻略
Py之matplotlib.pyplot:matplotlib.pyplot的plt.legend函数的简介.使用方法之详细攻略目录 matplotlib.pyplot的plt.legend函数的简 ...
Python编程语言学习：sklearn.manifold的TSNE函数的简介、使用方法、代码实现之详细攻略
Python编程语言学习:sklearn.manifold的TSNE函数的简介.使用方法.代码实现之详细攻略目录 Manifold简介 TSNE简介-数据降维且可视化 TSNE使用方法 TSNE代码 ...
Python语言学习之lambda：lambda函数的简介、使用方法、案例大全之详细攻略
Python语言学习之lambda:lambda函数的简介.使用方法.案例大全之详细攻略目录 lambda函数的简介 1.lambda匿名函数的格式 2.lambda函数特点 3.lambda函数与 ...

DASH简介及使用方法(FFmpeg, MP4Box)