本文只是进阶的科普篇,不了解也不影响你的开发。

欢迎关注个人博客

由上一章我们可清楚的了解到,摄像头捕捉的核心类是 AVCaptureSession
对于摄像头及麦克风对采集到的信息如何被数字化的呢?这就是本章要说的。

因为在这里我们谈论的对象就是 数字媒体

我们可能都知道对媒体进行数字化主要有两种方式。

  • 时间采样
  • 空间采样
再细点说时间采样的对象一般是对声音的处理,空间采样一般用在图片数字化及其他可视化媒体内容数字化的过程。我们对视频进行采样的时候这两样就不可避免的需要使用,视频信号既有空间属性也有时间属性。

既然进行采样就必须知道 模拟信号数字信号 的转换:
我们知道 声音,图像肯定都是模拟量,而对于处理器而言是无法直接操作模拟量的,这就牵扯到需要将模拟量转换为 数字量 的一个过程。
模拟量 可能是标准的正弦波,也可能是不规则的任何波形 等等....什么方波,三角波

数字量: 就是用一系类0与1组成的二进制代码表示某个信号大小的量。
比如我们用一个 00000~11111的5位二进制量表示一个正弦波如图:

5位二进制最低只能表示32种组合形式,故要把这个正弦波最大值与最小值之间分为32等份,每一等分用一组5位二进制来表示 。

读到这里你就会发现一个问题:任意相邻的之间的模拟量我们是无法表示出了的。
哈哈没错!这里就牵扯到量化误差。
这里也要说明把 这个转换为二进制的过程称为 编码

麦克风对音频的采集:
麦克风内部含有一个振动,当年对着麦克风讲话的时候,膜片就会根据感受到的声波进行振动,推动里边的磁铁形成变化的电流,这样变化的电流送到后面的声音处理电路进行放大处理。

这里就涉及模数的转换 A/D(Analog to Digital)
在A/D转换中,因为输入的模拟信号在时间上是连续的,而输出的数字信号代码是离散的。故在转换的过程中必须在一系列选定的瞬间(坐标上一些规定的点上)对输入的模拟信号进行采样,在把这些采样的值转换为数字量。

由此:一般的 A/D 转换过程是通过 采样保持量化编码 这三个过程来完成的。

首先对输入的模拟电压信号采样,采样结束后进入保持时间,在这段时间将采样的电压量转换为数字量,按照一定的编码形式给出转换结果,继续下一次采样

上面说过数字信号在时间上是离散的,在数值上的变化也不是连续的,这样就说明了: 任何一个数字量的大小,都得以某个最小数量单位的整数倍来表示的。故在用数字表示采样时,必须把它换成这个最小单位的整数倍,该过程即:量化

其最小单位就是 量化单位用 △ 表示,显然数字信号最低有效位中的1表示的数量大小,就是量化单位 △。把量化的数值用二进制代码表示,就是 编码

既然信号是连续的,那么它就不一定能被△整除,这里就不可避免的会引入误差,即量化误差。上面的说到 数字量的时候,划分了若干份数,就是划分不同的量化等级。故不同的划分可以得到不同的量化误差。

音频数字化的过程包含编码过程。该过程也称为:线性脉冲编码调制(linear pulse-code modulation)

采样定理:

我们定义 采样信号为 $v_s$,模拟信号为$v_I$
为了将模拟信号转为数字信号,音频的 线性脉冲编码调制 过程采样或者测量一个固定的音频信号,过程的周期率称为采样率。
用 $f_s $为采样频率, $f_imax$为输入信号的最高频率分量的频率
在满足采样定理的条件下,用一个低通滤波器将信号$v_s$还原为$v_I$,这个低通滤波器的电压传输系数 |A($f$)| 在低于$f_imax$的范围内应保存不变,而在 $f_s $-$f_imax$以前迅速下降为零,故采样定理规定了A/D转换的频率下限。

采样频率提高以后A/D转换器每次进行转换的时间也相应缩短了,这里就要去转换电路必须具备更快的工作速度。所以不能无限制的提高采样频率,通常取 $f_s$=(3~5)$f_imax$ 就满足了需求。

上面只是给出了一个范围

那么我们如何知道一个最优的采样频率用于生成足够好的数组呈现效果呢?
话说站在巨人的肩膀上的现代人还是非常幸运的!

尼奎斯特频率(Nyquist rate)

这位工程师已经帮我们捕捉到了一个特定的频率,该频率为需要采样的对象的最高频率的2倍。看吧上面说是3~5通常就满足了需求...。这里我们向 这位 工程师 致敬.

如果你还想了解A/D内部的转换原理,请留言!
我会详细说明 转换器内部的 电压比较器寄存器代码转换器的原理

必然的还有一篇讲(视频)

敬请期待 ?

AVFoundation 之数字媒体(音频)相关推荐

  1. 数字媒体播放器音频格式

    数字媒体播放器音频格式 有数字媒体播放器和这些仍在扩大多种音频格式,可今天.您可能会看到对这些文件类型的编解码器.该编解码器是指需要进行编码和解码(编码解码简称为编码器)的算法. 在过去的数字音频播放 ...

  2. [数字媒体] PR视频剪辑之自定义音频、视频加速转场和特显停顿

    这篇博客是作者数字媒体系列的笔记,仅作为在线笔记供大家学习.在剪辑视频中,我们会遇到自定义音频.视频加速转场.特显停顿.画面调整等技巧,这篇文章将详细介绍.希望对您有所帮助,后续有时间会深入分享视频制 ...

  3. AVFoundation – AVAssetTrack 获取视频 音频信息

    目录 一.前言 1.AVAsset 2.AVAssetTrack 3.AVComposition / AVMutableComposition 4.AVMutableVideoComposition ...

  4. 动画专业艺术里最懂计算机的,美国数字媒体艺术专业了解一下!

    分类 数字媒体专业可以分为数字媒体艺术和数字媒体技术,前者偏艺术,后者偏理学. 定义 数字媒体艺术是一个宽口径的以技术为主,艺术为辅,技术与艺术相结合的新专业.旨在培养具有良好的科学素养以及美术修养. ...

  5. 数字图像处理技术详解程序_大学专业详解系列135——数字媒体技术(工学学士)...

    数字媒体技术(工学学士) 毕业生应具备的知识和能力 (1)系统掌握数字媒体技术专业的基本理论.基础知识和基本技能: (2)掌握数字影视技术.数字影视制作技术的理论与方法,能熟练运用拍摄.编辑.特效制作 ...

  6. AVFoundation – AVMetadataItem 获取媒体属性元数据

    目录 一.前言 1.AVAsset 2.AVAssetTrack 3.AVComposition / AVMutableComposition 4.AVMutableVideoComposition ...

  7. 开源数字媒体资产管理系统:Razuna

    Razuna以一个使用Java语言编写的开源的数字媒体资产管理(Digital Asset Management)系统.功能很强大,可以用于管理各种格式的数字媒体资源. Razuna在本机的安装配置还 ...

  8. 女生双修计算机科学与技术,浙江大学计算机科学与技术学院数字媒体技术专业毕业作品展...

    2018年6月11-12号,浙江大学计算机科学与技术学院数字媒体技术专业14级毕业作品展在紫金港校区月牙楼元空间前成功举办. 开幕式上,计算机学院主管本科教学副院长陈为老师表达了对数字媒体技术毕业作品 ...

  9. 数字媒体技术考点整理

    一.前言概述部分 1.数字媒体包含哪些类型,涉及哪些研究领域 数字媒体包括了文字.图形.图像.音频.视频影像和动画等各种形式,以及传播形式和传播内容中采用数字化,即信息的采集.存取.加工和分发的数字化 ...

最新文章

  1. 【Whalepaper】CV论文研读 - OneNet:Towards End-to-End One-Stage Object Detection
  2. CentOS LAMP一键安装网站环境及添加域名
  3. matlab mex路径,使用matlab进行mex编译时的路径问题mexopts
  4. 如何构建自己的SIP SERVER!
  5. pycharm cpu占用低_AMD的CPU游玩2077提升帧数的办法
  6. Python问题记录
  7. 对python的意思_python的意思
  8. 京东商城涉足电子书的醉翁之意
  9. VS2019+CUDA编程(流程)
  10. 高考数学圆锥曲线知识点:解题技巧
  11. Python tkinter库窗口化爬虫
  12. 原生js实现循环精灵图
  13. 2013上半年,Google Chrome正式版最新版本,又增加什么小功能!
  14. 女子发现前夫外遇索要2000万
  15. 彻底搞懂Lab 颜色空间
  16. 找回生命本源的力量,走上生命觉醒的旅程
  17. arm linux 指纹识别,基于ARM—Linux指纹识别系统的设计.pdf
  18. 笔记本 数学计算机,Windows计算器大更新 这功能真是太有用了
  19. 中兴EPON OLT-C300开局配置
  20. 工作流系统之三十五 自由流的实现

热门文章

  1. mysql yog中文版下载_SQLyog 12
  2. python add_argument()用法解析
  3. linux 文本 编辑 软件下载,文本编辑软件 Atom 1.5.0 已经发布下载
  4. 查询表授权给谁了_SQL Server 全局临时表竞争条件漏洞利用
  5. linux查看进程中的线程名,linux 怎么样查看一个进程的线程
  6. python的os库_os库(python)—总结
  7. linux rmp命令安装包在哪里_一文带你了解阿里云Linux服务器的基本操作
  8. MobaXterm中修改服务器ip,如何使用mobaxterm登录云服务器
  9. 一个简单的EJB-Session Bean实例
  10. ORACLE基本配置