关于H.264编码原理以及IPB帧

压缩比：压缩后的数据量与压缩前的数据量之比

预测编码：主要是利用图像相邻的帧之间的相似性来实现编码的；

I帧是基本帧，完整保留；压缩率10

P帧，前向预测编码，是在I 帧的基础上取与I 帧的差异，压缩率20

B帧是双向预测内插编码帧，也就是B帧记录的是本帧与前后帧的差别，B帧的压缩率高，但是解码时CPU会比较累；压缩率50

1、预测编码

压缩算法的本质就是去除信号间的冗余，什么是信号的冗余呢？信号之间的相关性就是冗余，人类听觉或视觉系统感觉不到的或者掩蔽的也可以当做冗余成分。今天谈谈预测编码的概念，这是一种非常直观和简单易行的方法。说它直观，以图像为例，前后两帧或者同一图像的相邻像素都存在着相似性、相关性，我们完全可以通过当前帧和一组预测系数，推测出下一帧图像，当然也可以从当前像素推测出周围像素的变化。通过实际值与预测值的差，去除了一部分冗余，使得信号的动态范围变小了，表示这些信号的比特数减少了，从而达到压缩的目的。

对于视频信号的预测编码分成两种，一个是帧间预测编码，一个是帧内预测编码。帧内预测是从空间上去除同一帧图像内宏块之间的冗余。H264中，有4x4亮度预测模式、16x16亮度预测模式、8x8色度块预测模式以及一种I_PCM编码模式，如何选择最优的编码模型是一个不太容易的问题。

帧间预测编码效率比帧内编码要高，它是从时间上去除图像帧与帧之间的冗余，分为单向预测、双向预测。一般双向预测会增加编码延时，所以在实时通信中用的不多。在帧间预测中，就不得不提运动估计这个概念，在活动图像邻近帧中的景物会发生空间上的位移，得到这个运动偏移的过程就是运动估计，涉及到各种搜索算法，同时这一部分的复杂度也是H264的重点。

2、变换编码

变换编码是指将空间域的图像变换到频域，这样会产生相关性很小的一些变换系数，并对其进行压缩编码。通常采用DCT变换，因为它的性能接近K-L变换，同时具有快速算法，非常适合图像变换编码。变换编码比预测编码要复杂，但是各种误差（量化、信道误差）不会向后面扩展，对视觉影响不大。

3、熵编码

利用信源的统计特性进行码率压缩的编码称为熵编码。特点是无损编码，但是压缩率比较低，一般用在变换编码后面作进一步压缩。常用的有变长编码（huffman编码）和算术编码。

1）变长编码

对出现概率大的符号分配短字长的二进制码，对出现概率小的符号分配长字长的二进制码，得到符号平均码长最短的码。也称为最佳编码。

2）算术编码

与huffman编码不同，不采用码字表示输入符号的方法，而是采用一个浮点数来代替一串输入符号，经算术编码后输出一个小于1，大于等于0的浮点数，在解码端在进行唯一的解码，恢复原符号序列。

这两种编码方法实际应用中都有受硬件精度的问题，即如何定点化表示小数的问题。

转自http://blog.csdn.net/yangzhongxuan/article/details/8003504

H264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称，在编码方面，我理解的他的理论依据是：参照一段时间内图像的统计结果表明，在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内。所以对于一段变化不大图像画面，我们可以先编码出一个完整的图像帧A，随后的B帧就不编码全部图像，只写入与A帧的差别，这样B帧的大小就只有完整帧的1/10或更小！B帧之后的C帧如果变化不大，我们可以继续以参考B的方式编码C帧，这样循环下去。这段图像我们称为一个序列（序列就是有相同特点的一段数据），当某个图像与之前的图像变化很大，无法参考前面的帧来生成，那我们就结束上一个序列，开始下一段序列，也就是对这个图像生成一个完整帧A1，随后的图像就参考A1生成，只写入与A1的差别内容。

在H264协议里定义了三种帧，完整编码的帧叫I帧，参考之前的I帧生成的只包含差异部分编码的帧叫P帧，还有一种参考前后的帧编码的帧叫B帧。

H264采用的核心算法是帧内压缩和帧间压缩，帧内压缩是生成I帧的算法，帧间压缩是生成B帧和P帧的算法。

----------------------

序列的说明

----------------------

在H264中图像以序列为单位进行组织，一个序列是一段图像编码后的数据流，以I帧开始，到下一个I帧结束。

一个序列的第一个图像叫做 IDR 图像（立即刷新图像），IDR 图像都是 I 帧图像。H.264 引入 IDR 图像是为了解码的重同步，当解码器解码到 IDR 图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。这样，如果前一个序列出现重大错误，在这里可以获得重新同步的机会。IDR图像之后的图像永远不会使用IDR之前的图像的数据来解码。

一个序列就是一段内容差异不太大的图像编码后生成的一串数据流。当运动变化比较少时，一个序列可以很长，因为运动变化少就代表图像画面的内容变动很小，所以就可以编一个I帧，然后一直P帧、B帧了。当运动变化多时，可能一个序列就比较短了，比如就包含一个I帧和3、4个P帧。

-----------------------

三种帧的说明

-----------------------

I帧:帧内编码帧，I帧表示关键帧，你可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成（因为包含完整画面）

I帧特点:
1.它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输;
2.解码时仅用I帧的数据就可重构完整图像;
3.I帧描述了图像背景和运动主体的详情;
4.I帧不需要参考其他画面而生成;
5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);
6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;
7.I帧不需要考虑运动矢量;
8.I帧所占数据的信息量比较大。

P帧:前向预测编码帧。P帧表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）

P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。
P帧特点:
1.P帧是I帧后面相隔1~2帧的编码帧;
2.P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);
3.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;
4.P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧;
5.P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;
6.由于P帧是参考帧,它可能造成解码错误的扩散;
7.由于是差值传送,P帧的压缩比较高。

B帧:双向预测内插编码帧。B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别（具体比较复杂，有4种情况，但我这样说简单些），换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累。

B帧的预测与重构
B帧以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中“找出(算出)”预测值并与差值求和,得到B帧“某点”样值,从而可得到完整的B帧。
B帧特点
1.B帧是由前面的I或P帧和后面的P帧来进行预测的;
2.B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量;
3.B帧是双向预测编码帧;
4.B帧压缩比最高,因为它只反映丙参考帧间运动主体的变化情况,预测比较准确;
5.B帧不是参考帧,不会造成解码错误的扩散。

注:I、B、P各帧是根据压缩算法的需要，是人为定义的,它们都是实实在在的物理帧。一般来说，I帧的压缩率是7（跟JPG差不多），P帧是20，B帧可以达到50。可见使用B帧能节省大量空间，节省出来的空间可以用来保存多一些I帧，这样在相同码率下，可以提供更好的画质。

--------------------------------

压缩算法的说明

--------------------------------

h264的压缩方法:

1.分组:把几帧图像分为一组(GOP，也就是一个序列),为防止运动变化,帧数不宜取多。
2.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;
3.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;
4.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。

帧内（Intraframe）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩是编码一个完整的图像，所以可以独立的解码、显示。帧内压缩一般达不到很高的压缩，跟编码jpeg差不多。　　

帧间（Interframe）压缩的原理是：相邻几帧的数据有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息,根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩（Temporal compression），它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。

顺便说下有损（Lossy ）压缩和无损（Lossy less）压缩。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息,而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩,这样才能达到低数据率的目标。丢失的数据率与压缩比有关,压缩比越小，丢失的数据越多,解压缩后的效果一般越差。此外,某些有损压缩算法采用多次重复压缩的方式,这样还会引起额外的数据丢失。

编解码时候，如果丢失了I 帧，那么就会造成严重的马赛克现象；如果丢失了P帧或者B帧，丢一帧都会出现马赛克现象；如果帧丢失了，也有办法进行掩盖的，

差错掩盖：利用自然景物的低频特性尽可能恢复受损图像，使差错在视觉上尽量不被察觉将误码的损害降低到最低，在实时通信中；

差错掩盖技术分为频域，空域，时域3种掩盖方法以及这三种方法相结合的混合法和自适应差错掩盖法

基于频域的差错掩盖技术是指视频传输出错后，解码端利用邻近图像块在频谱上的相关信息进行差错掩盖，根据宏块中已正确解码的DCT(discrete cosine transform)系数，利用邻近块DCT系数插值加边界平滑约束条件对受损的DCT系数进行恢复计算，后面扩展到二阶平滑，可以明显减少模糊效应，能够获得较好质量的图像，但是该方法实现困难，算法复杂，运算时间大；

空域差错掩盖：根据正确接收到的图像信息以及内在的相关性，用空间相邻的数据来恢复受损区域，利用相邻像素进行双向内插，这种利用图像受损区域连续性方法的缺点是在具有特殊纹理的运动区域以及物体边界处，容易造成掩盖失败；

时域差错掩盖：利用视频序列的时间相关性，对受损区域用相关帧的数据替代，其难点是必须正确的估算出丢失的运动向量；

对于帧内编码模式的宏块，或场景变换的宏块，如I帧中宏块，可分别在空域和频域插值以恢复其纹理信息，视频序列中非场景切换的I帧，可尝试将时域或时空域结合的办法恢复受损宏块的纹理信息；帧间编码模式的宏块，如P帧或B帧中的宏块，采用时域运动补偿替代的掩盖方法，对于那些无法得知编码模式的宏块，采用时域掩盖方法，效果要好于其他方法，

关于H.264编码原理以及IPB帧相关推荐

利用FFmpeg编码器将JPG图片进行H.264编码原理
利用FFmpeg编码器将JPG图片进行H.264编码原理文章目录利用FFmpeg编码器将JPG图片进行H.264编码原理整体的编码流程将JPG或BMP编码为YUV 利用FFmpeg将YUV格式 ...
H.264编码相关概念
概念目录一.H.264 格式特征 1.H.264 的层次 2.H.264档次 3.H.264的采样格式 4.H.264的编解码原理二.H.264 的编解码框架 1.编码器结构 2.解码器结构三. ...
iOS RTMP 视频直播开发笔记（3）- 了解 H.264 编码
iOS RTMP 视频直播开发笔记(3)- 了解 H.264 编码本节内容整理自:H264–1–编码原理以及I帧B帧P帧,作者:dxpqxb H264是一种高压缩率的编码标准,如何压缩嘞?一般的视频 ...
H.264编码系统几个比较重要的算法
H.264编码系统比较复杂,这里是它的几个比较重要的算法: 1. Configure()函数,用于解析命令行参数,读取配置文件,其中,ac表示命令行参数数量,av表示命令行参数.void Config ...
视频基础知识：浅谈视频会议中H.264编码标准的技术发展
浅谈视频会议中H.264编码标准的技术发展浅谈视频会议中H.264编码标准的技术发展数字视频技术广泛应用于通信.计算机.广播电视等领域,带来了会议电视.可视电话及数字电视.媒体存储等一系列应用,促 ...
H.265编码和H.264编码的区别
目前很多摄像机采用了H.265的编码标准,H.264编码的摄像机逐渐减少,为什么H.265会流行?H.264和H.265有何不同? 一.什么是H.265 H.265是ITU-TVCEG继H.264之后 ...
视频编码：H.264编码
本文参考毕厚杰老师<新一代视频压缩编码标准-----H.264/AVC>一书以及雷霄骅博客<视音频编解码技术零基础学习方法>整理. 1.概念部分: H.264编码: 视频编解码 ...
流媒体解码及H.264编码推流
简介相关理论程序流程 Opencv解析视频流像素格式转换 FFmpeg进行H.264编码 FFmpeg进行格式封装和推流这里我们使用了FFmpge的sdk和Opencv的sdk.为了方便测试, ...
H.264编码基础知识详解
一.编码基础概念 1.为什么要进行视频编码? 视频是由一帧帧图像组成,就如常见的gif图片,如果打开一张gif图片,可以发现里面是由很多张图片组成.一般视频为了不让观众感觉到卡顿,一秒钟至少需要16帧 ...
H.264编码四种画质级别
H.264编码四种画质级别 D1是数字电视系统显示格式的标准,共分为以下5种规格: D1:480i格式(525i):720×480(水平480线,隔行扫描),和NTSC模拟电视清晰度相同,行频为15. ...

关于H.264编码原理以及IPB帧

关于H.264编码原理以及IPB帧相关推荐

最新文章

热门文章