何为音视频流媒体,音视频基础概念(建议收藏)
一.音频
1、采样率
是指在每个声道上的采样速率,而不是所有声道的采样速率
例如:16000Hz 表示1s中在连续信号中采集16000次,每一次叫做一个采样点
2、采样位宽(位数)
例如:16bit 表示每一个采样点采集2个byte的数据,也就是2个字节
3、声道
常见的声道有单声道与立体声
立体声有L,R两个声道组成,我们可以在L,R中分别填充相同的数据或者不同的数据,以达到更强的音质和可以同时在L,R听到不同的声音,排列顺序:L,R,L,R,L,R…
声道通常只有一个L,或者R的数据,排列顺序为:L,L,L… R,R,R…
4、音频数据大小计算
例如:采样率为16kHz,采用位宽为16bit,单声道,在1分钟中采集数据的大小为多少?
16000*2*60/1024/1024~=1.83MB
5、PCM
声音裸数据,量化格式
二.视频
1、帧率fps
每秒显示的图像帧数,或者说图形处理器每秒更新的次数
大于等于24fps 电影基本这个帧率
2、码率:
又称比特率,指每秒传送的比特(bit)数,音频也有码率
单位:bps(Bit Per Second),bit单位太小,所以有kbps, Mbps, Gbps…
音视频文件大小计算
文件大小 = bps *dur (bits) /8 (字节数) /1024 (KB) / 1024 (MB)
如时长4分钟,码率为128kpbs的MP3 ,size = 128460/(8*1024) = 3MB , 视频文件大小计算方式一样
3、辨率
8k: 7680×4320
4k: 4096×2160
2k: 2048×1080
1080P: 1920×1080
4、刷新率Hz
垂直刷新率指的是屏幕上的图像每秒重绘的次数,刷新率越高,图像越稳定,越好点,对眼睛越好,不容易疲劳。75Hz以上不易觉察闪烁和抖动
5、YUV颜色空间
是一种颜色编码方法,对于视频帧的裸数据的表示方式,其主要应用于优化彩色视频信号的传输,向后兼容老式黑白电视机。
Y:明亮度,UV:色度、饱和度
人对色度相对不敏感,所以视频编码时,会适当降低色度的宽带
三.音视频几个码
编码(encode)
通过特定的压缩技术,将某个视频的视频流格式转换成另一种视频格式的视频流方式,一种减少字节的算法
1、视频编码:YUV420/422->H264 RGB888->H264(针对图片序列,一张图片的编码是没有意义的)
2、音频编码:PCM(原始)->AAC PCM(原始)->G726 PCM(原始)->G711
解码(decode)
- 通过特定的解压缩技术,将某个视频格式的视频流转换成另一种视频格式的视频流方式
- 硬解:依靠硬件进行解码,通过显卡的视频加速功能对视频进行解码,可以理解为有一个专门的电路板来进行视频的解码工作,是依靠GPU,减少CPU消耗
- 软解:不依赖专门的硬件解码模块,依靠cpu运算来进行解码,因为不是独立模块,所有的程序都在用cpu,所以会增加cpu的运算
转码(transcode)
视频转码技术将视频信号从一种格式转换成另一种格式
视频转码
1、分辨率切换
2、改变帧率(frame rate)
3、改变比特率 等编码参数
音频转码
1、采样率切换:输出和输出采样率发生变化时
2、通道数改变
3、位宽改变
时间戳
- PTS Decode TimeStamp: 解码时间戳
- DTS Presentation Time Stamp: 显示时间戳
- 由于IPB中B帧的存在导致下一帧被解码的时间会比显示的时间提前,导致PTS和DTS输出顺序不一致
扫盲概念
实时流:
Real Time stream 实时传输的音视频流
录像回放:
与实时流对应,录下来播放
*服务端:
是为客户端服务的,像客户端提供资源,保存客户端数据。
例如:摄像机记录的视频,可能多个ap查看,所以需要将视频保存到一个公共的地方供大家访问
客户端:
也可以称为用户端,与服务器相对应,为客户提供本地服务的程序。
流媒体:
下面这些都叫流媒体业务
转发:
将数据流传输到别的网络中
存储:
将数据存在本地
转码:
推模式:
当通知消息来之时,把所有相关信息都通过参数的形式“推给”观察者。(服务端可客户端推流,如手机拍了视频,放到服务端)
拉模式:
当通知消息来之时,通知的函数不带任何相关的信息,而是要观察者主动去“拉”信息。(客户端直接从某个链接读取数据,如摄像机通过web拉流查看本地视频)
音视频的流概念
ES流:
原始流,直接从编码器出来的数据流。
PES流:
ES形成的分组称为PES分组,是用来传递ES的一种数据布局。
TS流:
ES形成的分组称为TS分组,是用来传递ES的种数据布局。
rtsp流:
RTSP(Real Time Streaming Protocol)
RFC2326,实时流传输协议,是TCP/IP协议体系中的一个 应用层协议。(摄像机通过web显示)
rtmp流:
Real Time Messaging Protocol (实时消息传输协议),是adobe公司的协议(网络直播)
hls流:
HLS 是Apple的动态码率自适应技术。主要用于PC和Apple终端的音视 频服务。包括一个 m3u8索引文件,TS媒体分片文件
封装(mux): 复用,按一定格式组织原视音视频流,加入文件头和文件尾
解封装(demux): 解复用,按一定格式解析出原始音视频流
何为音视频流媒体,音视频基础概念(建议收藏)相关推荐
- 《音视频开发进阶指南》读书笔记(一) —— 音视频基础概念
前言 最近要学音视频,在图书馆借到这本<音视频开发进阶指南>,读了一段时间觉得挺好就在某宝买了. 以后一段时间应该都会沉浸在研究音视频中,开个专题记录哈每一章的读书笔记吧(以iOS开发的角 ...
- 音视频基础概念(6)——视频基础
网上冲浪时,我们会接触到网络流媒体和本地视频文件.常见的视频文件格式有MP4.MKV.AVI等.在流媒体网站上看见视频常用的协议有HTTP.RTSP.RTMP.HLS等.视频技术较为复杂,包括视频封装 ...
- 视频 --- 基础概念
https://www.jianshu.com/p/c2b4f65895b9?utm_campaign=maleskine&utm_content=note&utm_medium=se ...
- 音视频基础概念(5)——音频基础说明
现实生活中,音频(Audio)主要用在两大场景中,包括语音(Voice)和音乐(Music).语音主要用于沟通,如打电话等.目前由于语音识别技术的发展,人机语音交互也是语音的一个应用方向,很多大厂推出 ...
- 音视频开发一:音视频基础概念
文章目录 基础概念 音频 声音介绍 种类 音质 声音存储的发展 采样频率 信号频率 声道 声道布局 音帧 帧时长 采样数 采样位数 存储空间 码流(比特率) 采样格式 音频编码(音频压缩) 音频解码 ...
- 音视频基础概念(2)——音频
目录 1. 基本知识 2.采样率和采样位数 3.音频编码 4. 声道数 5. 码率 6. 音频格式 日常生活中,音视频随处可见,包括视频.音频.编解码.封装容器.音视频等概念. 1. 基本知识 音频数 ...
- 音视频基础概念(1)——视频
目录 1.1 动画书 1.2 视频 1.3 视频帧 1.4 帧率 1.5 色彩空间 RGB与YUV YUV优势 RGB与YUV的换算 日常生活中,音视频随处可见,包括视频.音频.编解码.封装容器.音视 ...
- 【音频播放】自制音频播放器—音视频基础概念,未完待续。。。
近期用Electron制作了一个简易版客户端,未完待补充,重点在播放,引用凯教,先说几点.(图片禁止搬运,不得允许不准转载) 研究音频的数字化技术之前,必须对声音和图像的的物理性质有基本的了解. 如下 ...
- 音视频篇 - 音视频基础概念
本文章是阅读<音视频开发进阶指南基于android与ios平台的实践>一书的学习笔记. 目录: 什么是声音 声波的三要素 数字音频 音频编码 图像的物理现象 YUV 视频编码 视频编码的相 ...
最新文章
- Moodle的qq登录版块的使用
- jQuery对象与DOM对象的区别
- IA-32系统编程指南 - 第三章 保护模式的内存管理【2】
- python socket多线程 获取朋友列表_python socket多线程通讯实例分析(聊天室)
- java传.net datetime_.net调java写的webService传过去的datetime,int等非string类型为null的问题...
- 好程序员分享大数据入门教程:Hadoop和spark的性能比较
- LINUX修改主机名称(立即永久生效)
- android 360开机启动,手机360设置开机启动项
- 签证管理系统 签证软件
- 【CV】MobileNet:使用深度可分离卷积实现用于嵌入式设备的 CNN 架构
- php判断无理数,如何快速判断一个数的开方是不是无理数?
- Python 时间序列预测:Hot-winters
- 什么是代码?code?
- 不知道起什么标题 03
- Java猿社区—Redis一篇系列—第三章、Redis数据类型
- Linux命令行修改配置(待续)
- 式创新:移动互联网时代的生存法则 读后感
- 银河麒麟设置默认ROOT账号登录
- DIV布局——人电影网站(5页) HTML+CSS+JavaScript 学生DW网页设计作业成品
- 单片机移频防啸叫_麦克风的啸叫怎么用移频电路进行啸叫抑制?
热门文章
- at命令无法启动远程计算机程序,at 指令设置电脑自动关机不成功?
- 连上wifi设置里显示未连接服务器,连上wifi没网如何解决_为什么连接到wifi却上不了网-win7之家...
- 行业看点 | 若干年后,量子计算机将对我们的生活产生什么样天马行空的影响?...
- VMware 12 Pro 软件包下载 安装教程——超详细
- WS2812和homeassistant握手
- form表单(自用)
- PS 套索选区工具(2) 多边形套索工具 磁性套索工具使用技巧
- Java:重载的理解
- 微信小程序调定定位常见错误解决
- 一图读懂丨「云信派对」一站式娱乐社交解决方案