H.264编码基础知识详解
一、编码基础概念
1、为什么要进行视频编码?
视频是由一帧帧图像组成,就如常见的gif图片,如果打开一张gif图片,可以发现里面是由很多张图片组成。一般视频为了不让观众感觉到卡顿,一秒钟至少需要16帧画面(一般是30帧),假如该视频是一个1280x720分辨率的视频,那么不经过编码一秒钟的大小:
结果:1280x720x60≈843.75M
所以不经过编码的视频根本没法保存,更不用说传输了。
2、视频压缩编码标准
视频中存在很多冗余信息,比如图像相邻像素之间有较强的相关性,视频序列的相邻图像之间内容相似,人的视觉系统对某些细节不敏感等,对这部分冗余信息进行处理的过程就是视频编码。
H.26X系列(由ITU[国际电传视讯联盟]主导)H.261:主要在老的视频会议和视频电话产品中使用H.263:主要用在视频会议、视频电话和网络视频上H.264:H.264/MPEG-4第十部分,或称AVC(Advanced Video Coding,高级视频编码),是一种视频压缩标准,一种被广泛使用的高精度视频的录制、压缩和发布格式。H.265:高效率视频编码(High Efficiency Video Coding,简称HEVC)是一种视频压缩标准,H.264/MPEG-4 AVC的继任者。可支持4K分辨率甚至到超高画质电视,最高分辨率可达到8192×4320(8K分辨率),这是目前发展的趋势,尚未有大众化编码软件出现MPEG系列(由ISO[国际标准组织机构]下属的MPEG[运动图象专家组]开发)MPEG-1第二部分:MPEG-1第二部分主要使用在VCD上,有些在线视频也使用这种格式MPEG-2第二部分(MPEG-2第二部分等同于H.262,使用在DVD、SVCD和大多数数字视频广播系统中MPEG-4第二部分(MPEG-4第二部分标准可以使用在网络传输、广播和媒体存储上
3、编码流程;预测的方式:
时间上的预测(interprediction),亦即使用先前帧的信号做预测空间上的预测 (intra prediction),亦即使用同一张帧之中相邻像素的信号做预测
得到预测信号后,编码器会将当前信号与预测信号相减得到残余信号(residual signal),并只对残余信号进行编码,如此一来,可以去除一部份时间上或是空间上的冗余信息。
编码器并不会直接对残余信号进行编码,而是先将残余信号经过变换(通常为离散余弦变换)然后量化以进一步去除空间上和感知上的冗余信息。量化后得到的量化系数会再透过熵编码,去除统计上的冗余信息。
二、H.264编码详解(AVC)
1、H.264是新一代的编码标准,以高压缩高质量和支持多种网络的流媒体传输著称
相关理解:在相邻几幅图像画面中,一般有差别的像素只有10%以内的点,亮度差值变化不超过2%,而色度差值的变化只有1%以内所以对于一段变化不大图像画面,我们可以先编码出一个完整的图像帧A,随后的B帧就不编码全部图像,只写入与A帧的差别,这样B帧的大小就只有完整帧的1/10或更小!B帧之后的C帧如果变化不大,我们可以继续以参考B的方式编码C帧,这样循环下去。这段图像我们称为一个序列:序列就是有相同特点的一段数据当某个图像与之前的图像变化很大,无法参考前面的帧来生成,那我们就结束上一个序列,开始下一段序列也就是对这个图像生成一个完整帧A1,随后的图像就参考A1生成,只写入与A1的差别内容
2、H.264三种帧
在H.264中定义了三种帧:
I帧:完整编码的帧叫I帧
P帧:参考之前的I帧生成的只包含差异部分编码的帧叫P帧
B帧:参考前后的帧编码的帧叫B帧
H264采用的核心算法是帧内压缩和帧间压缩:
帧内压缩是生成I帧的算法
帧间压缩是生成B帧和P帧的算法
压缩方法:
分组:把几帧图像分为一组(GOP,也就是一个序列),为防止运动变化,帧数不宜取多
定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;
预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;
数据传输:最后将I帧数据与预测的差值信息进行存储和传输。
GOP序列:
在H264中图像以序列为单位进行组织,一个序列是一段图像编码后的数据流。
一个序列的第一个图像叫做 IDR 图像(立即刷新图像),IDR 图像都是 I 帧图像:
a、H.264 引入 IDR 图像是为了解码的重同步,当解码器解码到 IDR 图像时,立即将参考帧队列清空,将已解码的数据全部输出或抛弃,重新查找参数集,开始一个新的序列。
b、这样,如果前一个序列出现重大错误,在这里可以获得重新同步的机会。
c、IDR图像之后的图像永远不会使用IDR之前的图像的数据来解码。
一个序列就是一段内容差异不太大的图像编码后生成的一串数据流:
a、当运动变化比较少时,一个序列可以很长,因为运动变化少就代表图像画面的内容变动很小,所以就可以编一个I帧,然后一直P帧、B帧了。
b、当运动变化多时,可能一个序列就比较短了,比如就包含一个I帧和3、4个P帧。
在视频编码序列中,GOP即Group of picture(图像组),指两个I帧之间的距离。
I帧、P帧、B帧实际顺序&&编码顺序:
三、H.264分层设计
H264算法在概念上分为两层:
VCL:(Video Coding Layer)视频编码层,负责高效的内容表示。
NAL:(Network Abstraction Layer)网络提取层,负责以网络所要求的恰当的方式对数据进行打包和传送。
上面所学习的知识都是VCL层。
NAL设计的目的,是根据不同的网络把数据打包成相应的格式,将VCL产生的比特字符串适配到各种各样的网络和多元环境中。
NAL的封装方式:
NAL是将每一帧数据写入到一个NAL单元中,进行传输或存储的
NALU分为NAL头和NAL体
NALU头通常为00 00 00 01,作为一个新的NALU的起始标识
NALU体封装着VCL编码后的信息或者其他信息
NAL的封装过程:
I帧、P帧、B帧都是被封装成一个或者多个NALU进行传输或者存储的
每一个I帧开始之前也有非VCL的NAL单元,用于保存其他信息,它们是PPS、SPS
PPS(Picture Parameter Sets):图像参数集
SPS(Sequence Parameter Set):序列参数集
在实际的H264数据帧中,往往帧前面带有00 00 00 01 或 00 00 01分隔符,一般来说编码器编出的首帧数据为PPS与SPS,接着为I帧,后续是B帧、P帧等数据
H.264编码基础知识详解相关推荐
- 直播一:H.264编码基础知识详解
一.编码基础概念 1.为什么要进行视频编码? 视频是由一帧帧图像组成,就如常见的gif图片,如果打开一张gif图片,可以发现里面是由很多张图片组成.一般视频为了不让观众感觉到卡顿,一秒钟至少需要16帧 ...
- Python基础知识详解 从入门到精通(八)魔法方法
目录 Python基础知识详解 从入门到精通(八)魔法方法 什么是魔法方法 基础魔法方法(较为常用) 比较操作符 算数运算符 反运算(类似于运算方法) 增量赋值运算 一元操作符 类型转换 上下文管理( ...
- 网络管理之基础知识详解
网络管理之基础知识详解 目录 3.1 网络的特征 3.2 拓扑结构 4.1 OSI简介 4.2 数据传输过程 4.3 分层作用 4.4 PDU 5.1 单播 5.2 多播 5.3 广播 5.4 三种通 ...
- 小白入门!网络安全基础知识详解(附知识问答)
小白入门!网络安全基础知识详解(附知识问答) 一.引论 提到网络安全,一般人们将它看作是信息安全的一个分支,信息安全是更加广义的一个概念:防止对知识.事实.数据或能力非授权使用.误用.篡改或拒绝使用所 ...
- 【BLE】OTA基础知识详解
[BLE]OTA基础知识详解 一. 概念 1. 缩写 BIM Boot Image Manager , the software bootloader CRC cyclic redundancy ch ...
- R语言基础知识详解及概括
R语言基础知识详解及概括 目录 R语言基础知识详解及概括 R数据可视化示例 R语言进行数据创建
- R语言可视化绘图基础知识详解
R语言可视化绘图基础知识详解 图形参数:字体.坐标.颜色.标签等: 图像符号和线条: 文本属性: 图像尺寸及边界: 坐标轴.图例自定义等: 图像的组合: #install.packages(c(&qu ...
- 计算机网络相关知识 参考博客 子网掩码怎么理解 网关及网关的作用 路由器基础知识详解
子网掩码怎么理解 https://blog.csdn.net/farmwang/article/details/64132723 网关及网关的作用 https://blog.csdn.net/zhao ...
- RabbitMQ基础知识详解
RabbitMQ基础知识详解 2017年08月28日 20:42:57 dreamchasering 阅读数:41890 标签: RabbitMQ 什么是MQ? MQ全称为Message Queue, ...
最新文章
- python爬虫流程-Python爬虫流程
- android 安装步骤
- JAVA Bean和XML之间的相互转换 - XStream简单入门
- Cocos2d-x内置粒子系统
- 用C++实现十进制转二进制【个人思想】
- 【读书笔记0101】Beginning linux programming-3rd
- FTP服务器搭建及操作(一)
- 哈理工c语言,哈理工C语言试题.doc
- java 五角星十个坐标_五角星十个点坐标计算
- 弹球打砖块游戏java,Unity 弹球打砖块游戏(简易)
- 昨夜“星城”昨夜“疯”
- 阿里云Centos系统下部署静态前端页面
- 极速办公(word)如何添加文字水印
- 省时省力,高速收费站无线组网解决方案
- js 计算两个日期之间相差的天数,并适配 Ios
- TCP协议发送SKB时ip_summed成员的设置 http://blog.csdn.net/justlinux2010/article/details/8508455
- 方差分析 可汗学院统计学 笔记
- BNET创始人刘建军:BNET破解当今通信网络三大痛点
- PL/SQL 入门学习(二)
- servicecomb-pack
热门文章
- 产品经理 - 原型图设计软件
- 这款 MySQL、Oracle、HDFS 数据同步工具,有点牛逼!
- 如何为 Exchange 用户添加联系人头像
- 浙江正高级计算机职称,大事!浙江将停止评审教授级高工!
- [Flink on yarn]Please check if you store classloaders directly or indirectly in static fields.
- 中缀表达式转为前缀表达式,然后根据前缀表达式计算结果
- 这些城市都有哪些互联网公司?一文全知道!
- 小白从零开始在jetson nano上进行YOLOV3-Tiny 与 tensorrt加速检测
- 判断日期是月末java_判断一个日期是否为月末 | 学步园
- ARMv7的Cortex系列微处理器技术特点