即时通讯音视频开发(二):视频编解码之数字视频介绍
前言
即时通讯应用中的实时音视频技术,几乎是IM开发中的最后一道高墙。原因在于:实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体,而公共互联网不是为了实时通信设计的。
系列文章
本文是系列文章中的第2篇,本系列文章的大纲如下:
- 《即时通讯音视频开发(一):视频编解码之理论概述》
- 《即时通讯音视频开发(三):视频编解码之编码基础》
1. 什么是图像?什么是视频?
图像:
是人对视觉感知的物质再现。三维自然场景的对象包括:深度,纹理和亮度信息。二维图像:纹理和亮度信息。
视频:
连续的图像。视频由多幅图像构成,包含对象的运动信息,又称为运动图像。
2. 何为数字视频?
数字视频可以理解为自然场景空间和时间的数字采样表示。
空间采样的主要技术指标为:解析度(Resolution)
时间采样的主要技术指标为:帧率(帧/秒)
3. 数字视频系统的构成和运行原理
- 采集:照相机,摄像机。
- 处理:编解码器,传输设备
- 显示:显示器。
5. 人类视觉系统HVS
HVS的构成:
- 眼睛
- 神经
- 大脑、
HVS特点:
- 对高频信息不敏感
- 对高对比度更敏感
- 对亮度信息比色度信息更敏感
- 对运动的信息更敏感
6. 针对HVS的特点,数字视频系统的设计应该考虑哪些因素?
- 丢弃高频信息,只编码低频信息
- 提高边缘信息的主观质量
- 降低色度的解析度
- 对感兴趣区域(Region of Interesting,ROI)进行特殊处理
7. 什么是RGB色彩空间?
三原色分别是红(R),绿(G),蓝(B)。任何颜色都可以通过按一定比例混合三原色产生。
RGB色度空间:
- 由RGB三原色组成
- 广泛用于BMP,TIFF,PPM等
- 每个色度成分通常用8bit表示[0,255]
8. 什么是YUV色彩空间?
YUV色彩空间是指,Y:亮度分量,UV:两个色度分量。YUV能更好的反映HVS特点。
9. RGB如何转化到YUV空间?
亮度分量Y与三原色有如下关系:
经过大量实验后ITU-R给出了:
主流的编解码标准的压缩对象都是YUV图像。
10. 何为YUV图像分量采样?
YUV图像可以根据HVS的特点,对色度进行分量采样,可以降低视频数据量。
根据亮度和色度分量的采样比率,YUV图像通常有以下几种分量方式:
11. 通用的YUV图像格式有哪些?
根据YUV图像的亮度、分辨率定义了如下图像格式:
12. 如何理解帧和场图像?
一帧图像包括两场——顶场,底场:
13. 逐行与隔行图像
逐行图像是指:一帧图像的两场在同一时间得到,ttop=tbot。
隔行图像是指:一帧图像的两场在不同时间得到, ttop≠tbot。
网易云信,你身边的即时通讯和音视频技术专家,了解我们,请戳网易云信官网
想要行业洞察和技术干货,请关注网易云信博客
本文转载自52im,作者:JackJiang
即时通讯音视频开发(二):视频编解码之数字视频介绍相关推荐
- 音视频开发系列--H264编解码总结
一.概述 H264,通常也被称之为H264/AVC(或者H.264/MPEG-4 AVC或MPEG-4/H.264 AVC) 对摄像头采集的每一帧视频需要进行编码,由于视频中存在空间和时间的冗余,需要 ...
- 音视频开发基础(2):数字视频技术简介
数字视频技术是指以数字形式捕捉.记录.处理.存储.传输.复现动态彩像的一系列相关技术.例如通过数字摄像机直接产生数字视频信号,压缩成MPEG-2格式存储在视频数据库.在被检索到后通过因特网传输到远端的 ...
- 视频编解码之数字视频介绍
本文主要讲解实时音视频技术中视频技术的数字视频知识. 1. 什么是图像?什么是视频? 图像: 是人对视觉感知的物质再现.三维自然场景的对象包括:深度,纹理和亮度信息.二维图像:纹理和亮度信息. 视频: ...
- 即时通讯音视频开发(三):视频编解码之编码基础
前言 即时通讯应用中的实时音视频技术,几乎是IM开发中的最后一道高墙.原因在于:实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体,而公共互联网不是为了实时通信设计的. 系列文 ...
- 即时通讯音视频开发(一):视频编解码之理论概述
前言 即时通讯应用中的实时音视频技术,几乎是IM开发中的最后一道高墙.原因在于:实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体,而公共互联网不是为了实时通信设计的. 系列文 ...
- 即时通讯音视频开发(十八):详解音频编解码的原理、演进和应用选型
1.引言 大家好,我是刘华平,从毕业到现在我一直在从事音视频领域相关工作,也有一些自己的创业项目,曾为早期Google Android SDK多媒体架构的构建作出贡献. 就音频而言,无论是算法多样性, ...
- 即时通讯音视频开发(0):零基础,史上最通俗视频编码技术入门
[来源申明]本文引用了微信公众号"鲜枣课堂"的<视频编码零基础入门>文章内容.为了更好的内容呈现,即时通讯网在引用和收录时内容有改动,转载时请注明原文来源信息,尊重原作 ...
- 即时通讯音视频开发(十):实时语音通讯的回音消除技术详解
前言 即时通讯应用中的实时音视频技术,几乎是IM开发中的最后一道高墙.原因在于:实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体,而公共互联网不是为了实时通信设计的.有关实时 ...
- 即时通讯音视频开发(十四):实时音视频数据传输协议介绍
概述 随着移动互联网的快速发展以及智能终端性能的逐步提高,智能终端间进行实时音视频通讯成为移动互联网发展的一个重要方向.那么如何保证智能终端之间实时音视频数据通讯成为一个很现实的问题. 实际上,实时音 ...
最新文章
- SAP MM ME1P查询采购订购订单价格历史
- PowerShell收发TCP消息包
- React Native组件开发指南
- JVM 常用的基本配置有哪些?
- JavaScript 常用函数
- Github issue里MVP和Stretch label的区别
- .NET简谈组件程序设计之(上下文与同步域)
- colorpix取色小工具_我发现一款神器!它集合了 60 多个超实用的工具
- Spring-beans-BeanFactoryPostProcessor
- 【bzoj2759】一个动态树好题
- 【NOIP2006】【Luogu1060】开心的金明(01背包模板)
- div+css完成首页布局
- 花瓣网爬虫Python
- 电脑远程软件TeamViewer
- Java调用IE浏览器
- 不动产登记工作统计难 要靠三维不动产管理系统
- 接到个商城任务需要接入个微信或者QQ客服,找到了两篇解决文章
- 静态URL和动态URL有什么区别呢?
- WAV音频信号文件的相关知识
- type_traits 类型萃取
热门文章
- PuTTY 命令行改进 有效解决 中文乱码
- ganglia+nagiosrhel6.5
- DropDownList的常用属性和事件
- 08年哈弗校长Faust给毕业生的演讲
- Cochrane系统综述注册的具体流程
- 耳机使用说明书 jbl ua_用过JBL耳机后,才知道在运动领域BOSE和BO原来只是个弟弟...
- visionpro定位不跟随图像_机器视觉应用越来越多!不懂怎么办?在线公开课免费学...
- 移动机器人平台-ROS和GitHub链接
- 算法 | 尺度不变特征变换匹配算法 Scale Invariant Feature Transform (SIFT)
- ajax异步传输代码,Ajax同步与异步传输的示例代码