音视频开发编程技术（一）：视频编码格式

1、视频是什么

所谓视频，其实就是将一张一张的图片连续的放出来，类似于播放放幻灯片一样。由于人眼的常规可视帧数是每秒24帧，也就是说当每秒播放的图片数量大于24张时，人眼反馈回大脑的画面就是连续的动作。所以，将多张图片保存下来并连续快速播放就可以构成一个视频了。

然而，由于目前网络带宽以及存储空间的限制，直接存储图片显然不可行。例如：在视频聊天中，假定摄像头每秒钟采集发送大概15帧(张)图片，图片每张大小200KB，这样每秒钟需要的流量为3M（即24M的宽带），这样对带宽资源的要求以及占用就太大了。为了解决这个问题，有人想到将这些图片进行压缩来减少大小。由于视频连续的两帧图像几乎没有差别，因此，在记录下第一张完整的图像之后，后续的每张图像都是只记录下和上一帧图像不一样的地方，直到出现了差别很大的图像，才重新记录一帧完整的图像（这个完整的图像就叫做关键帧），这样就可以很大程度上减小图片的占用空间了。

2、视频格式

视频容器将视频的所有元素捆绑并存储到一个包中。元素包括视频和音频流，字幕，视频元数据，编解码器等。每种视频容器类型都与某些视频编解码器兼容。你的视频编辑软件应该只允许你选择兼容的配对，尝试提前规划你想要使用的编解码器和容器，以避免在你渲染最终视频时遇到问题。

容器可能是最接近当前存在的通用标准的容器。它可以使用所有版本的MPEG-4和H.264，并与众多播放器兼容。使用.MP4容器的视频可以具有相对较小的文件大小，同时保持高质量。许多最大的流媒体服务，包括YouTube和Vimeo，都更喜欢.MP4。

常见视频文件格式有：avi、wmv、mpeg、mp4、m4v、mov、asf、flv、f4v、rmvb、rm、3gp、vob等等。

avi格式
AVI这个由微软公司发布的视频格式，在视频领域可以说是最悠久的格式之一。AVI格式调用方便、图像质量好，压缩标准可任意选择，是应用最广泛、也是应用时间最长的格式之一。
wmv格式
一种独立于编码方式的在Internet上实时传播多媒体的技术标准，Microsoft公司希望用其取代QuickTime之类的技术标准以及WAV、AVI之类的文件扩展名。WMV的主要优点在于：可扩充的媒体类型、本地或网络回放、可伸缩的媒体类型、流的优先级化、多语言支持、扩展性等。
mpeg格式
MPEG是包括了MPEG-1,MPEG-2和MPEG-4在内的多种视频格式。MPEG系列标准已成为国际上影响最大的多媒体技术标准，其中MPEG-1和MPEG-2是采用相同原理为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术;MPEG-4(ISO/IEC 14496)则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，以实现数字视音频、图形合成应用及交互式多媒体的集成。MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视(DTV&&HDTV)、多媒体通信等信息产业的发展产生了巨大而深远的影响。
mp4格式
MP4是一套用于音频、视频信息的压缩编码标准,MPEG-4格式的主要用途在于网上流、光盘、语音发送(视频电话)，以及电视广播。
m4v格式
M4V是一种应用于网络视频点播网站和移动手持设备的视频格式，是MP4格式的一种特殊类型，其后缀常为.MP4或.M4V，其视频编码采用H264，音频编码采用AAC。
mov格式
MOV即QuickTime影片格式，它是Apple公司开发的一种音频、视频文件格式，用于存储常用数字媒体类型。用于保存音频和视频信息,甚至WINDOWS7在内的所有主流电脑平台支持。
asf格式
ASF 是MICROSOFT 为了和的Real player 竞争而发展出来的一种可以直接在网上观看视频节目的文件压缩格式。ASF使用了MPEG4 的压缩算法，压缩率和图像的质量都很不错。因为，ASF 是以一个可以在网上即时观赏的视频“流”格式存在的，所以，它的图像质量比VCD 差一点点并不出奇，但比同是视频“流”格式的RAM 格式要好。
flv格式
FLV是FLASH VIDEO的简称，FLV流媒体格式是一种新的视频格式。由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上很好的使用等缺点。
F4V格式
F4V作为一种更小更清晰，更利于在网络传播的格式，F4V已经逐渐取代了传统FLV，也已经被大多数主流播放器兼容播放，而不需要通过转换等复杂的方式。F4V是Adobe公司为了迎接高清时代而推出继FLV格式后的支持H.264的F4V流媒体格式。它和FLV主要的区别在于，FLV格式采用的是H263编码，而F4V则支持H.264编码的高清晰视频，码率最高可达50Mbps。也就是说F4V和FLV在同等体积的前提下，能够实现更高的分辨率，并支持更高比特率，就是我们所说的更清晰更流畅。另外，很多主流媒体网站上下载的F4V文件后缀却为FLV，这是F4V格式的另一个特点，属正常现象，观看时可明显感觉到这种实为F4V的FLV有明显更高的清晰度和流畅度。
rmvb格式
RMVB是一种视频文件格式，其中的VB指Variable Bit Rate(可变比特率)。较上一代RM格式画面要清晰很多，原因是降低了静态画面下的比特率。
rm格式
RM格式是RealNetworks公司开发的一种流媒体视频文件格式，可以根据网络数据传输的不同速率制定不同的压缩比率，从而实现低速率的Internet上进行视频文件的实时传送和播放。
3gp格式
3GP是一种3G流媒体的视频编码格式，主要是为了配合3G网络的高传输速度而开发的，也是目前手机中最为常见的一种视频格式。3GP是“第三代合作伙伴项目”(3GPP)制定的一种多媒体标准，使用户能使用手机享受高质量的视频、音频等多媒体内容。其核心由包括高级音频编码(AAC)、自适应多速率(AMR)和MPEG-4 和H.263视频编码解码器等组成，目前大部分支持视频拍摄的手机都支持3GPP格式的视频播放。
vob格式
VOB是DVD视频媒体使用的容器格式，VOB将数字视频、数字音频、字幕、DVD菜单和导航等多种内容复用在一个流格式中。VOB格式中的文件可以被加密保护。VOB常用于DVD视频对象，是DVD影碟上的关键文件，内含影碟视频的实际数据。实际上VOB文件是一种基本的MPEG-2数据流，包含了多路复合的MPEG-2视频数据流、音频数据流(通常以AC3格式编码)以及字幕数据流。VOB文件用来保存所有MPEG-2格式的音频和视频数据，这些数据不仅包含影片本身，而且还有供菜单和按钮用的画面以及多种字幕的子画面流。

3、视频编码

上面提到的压缩专业术语叫做视频编码，目前主流的编码格式有国际电联的H.261、H.263、H.264、H.265，运动静止图像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准，此外在互联网上被广泛应用的还有Real-Networks的RealVideo、微软公司的WMV以及Apple公司的QuickTime等。

视频编码格式，是一种内容表示格式用于存储或传输数字视频内容（例如，在一个数据文件或比特流）。它通常使用标准化的视频压缩算法，通常基于离散余弦变换（DCT）编码和运动补偿。视频编码格式的示例包括H.262（MPEG-2第2部分）、MPEG-4第2部分、H.264（MPEG-4第10部分）、HEVC（H.265）、Theora、RealVideo RV40、VP9和AV1。能够将特定视频编码格式压缩或解压缩的特定软件或硬件实现称为视频编解码器；Xvid是视频编解码器的一个示例，它是几种不同的编解码器之一，该编解码器以软件的形式实现以MPEG-4 Part 2视频编码格式对视频进行编码和解码。

那么编码格式这么多，我们应该选择哪种呢？经过查阅资料目前比较好的选择是H.264，因此，只需要了解H.264就行。这里就介绍下H.264有哪些优势：

1．低码率（Low Bit Rate）：和MPEG2和MPEG4 ASP等压缩技术相比，在同等图像质量下，采用H.264技术压缩后的数据量只有MPEG2的1/8，MPEG4的1/3。
2．高质量的图像：H.264能提供连续、流畅的高质量图像（DVD质量）。
3．容错能力强：H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。
4．网络适应性强：H.264提供了网络抽象层（Network Abstraction Layer），使得H.264的文件能容易地在不同网络上传输（例如互联网，CDMA，GPRS，WCDMA，CDMA2000等）。
5．高压缩率，H.264的压缩比达到惊人的102∶1。

H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。举个例子，原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB，压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB，从88GB到879MB，H.264的压缩比达到惊人的102∶1。
低码率（Low Bit Rate）对H.264的高的压缩比起到了重要的作用，和MPEG-2和MPEG-4 ASP等压缩技术相比，H.264压缩技术将大大节省用户的下载时间和数据流量收费。尤其值得一提的是，H.264在具有高压缩比的同时还拥有高质量流畅的图像，正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。