iOS音频播放 (一):概述 转
2019独角兽企业重金招聘Python工程师标准>>>
基础
先来简单了解一下一些基础的音频知识。
目前我们在计算机上进行音频播放都需要依赖于音频文件,音频文件的生成过程是将声音信息采样、量化和编码产生的数字信号的过程,人耳所能听到的声音,最低的频率是从20Hz起一直到最高频率20KHZ,因此音频文件格式的最大带宽是20KHZ。根据奈奎斯特的理论,只有采样频率高于声音信号最高频率的两倍时,才能把数字信号表示的声音还原成为原来的声音,所以音频文件的采样率一般在40~50KHZ,比如最常见的CD音质采样率44.1KHZ。
对声音进行采样、量化过程被称为脉冲编码调制(Pulse Code Modulation),简称PCM
。PCM数据是最原始的音频数据完全无损,所以PCM数据虽然音质优秀但体积庞大,为了解决这个问题先后诞生了一系列的音频格式,这些音频格式运用不同的方法对音频数据进行压缩,其中有无损压缩(ALAC、APE、FLAC)和有损压缩(MP3、AAC、OGG、WMA)两种。
目前最为常用的音频格式是MP3,MP3是一种有损压缩的音频格式,设计这种格式的目的就是为了大幅度的减小音频的数据量,它舍弃PCM音频数据中人类听觉不敏感的部分,从下面的比较图我们可以明显的看到MP3数据相比PCM数据明显矮了一截(图片引自imp3论坛)。
上图为pcm数据上图为mp3数据
MP3格式中的码率(BitRate)代表了MP3数据的压缩质量,现在常用的码率有128kbit/s、160kbit/s、320kbit/s等等,这个值越高声音质量也就越高。MP3编码方式常用的有两种固定码率(Constant bitrate,CBR)和可变码率(Variable bitrate,VBR)。
MP3格式中的数据通常由两部分组成,一部分为ID3用来存储歌名、演唱者、专辑、音轨数等信息,另一部分为音频数据。音频数据部分以帧(frame)为单位存储,每个音频都有自己的帧头,如图所示就是一个MP3文件帧结构图(图片同样来自互联网)。MP3中的每一个帧都有自己的帧头,其中存储了采样率等解码必须的信息,所以每一个帧都可以独立于文件存在和播放,这个特性加上高压缩比使得MP3文件成为了音频流播放的主流格式。帧头之后存储着音频数据,这些音频数据是若干个PCM数据帧经过压缩算法压缩得到的,对CBR的MP3数据来说每个帧中包含的PCM数据帧是固定的,而VBR是可变的。
iOS音频播放概述
了解了基础概念之后我们就可以列出一个经典的音频播放流程(以MP3为例):
读取MP3文件
解析采样率、码率、时长等信息,分离MP3中的音频帧
对分离出来的音频帧解码得到PCM数据
对PCM数据进行音效处理(均衡器、混响器等,非必须)
把PCM数据解码成音频信号
把音频信号交给硬件播放
重复1-6步直到播放完成
在iOS系统中apple对上述的流程进行了封装并提供了不同层次的接口(图片引自官方文档)。
CoreAudio的接口层次
下面对其中的中高层接口进行功能说明:
Audio File Services:读写音频数据,可以完成播放流程中的第2步;
Audio File Stream Services:对音频进行解码,可以完成播放流程中的第2步;
Audio Converter services:音频数据转换,可以完成播放流程中的第3步;
Audio Processing Graph Services:音效处理模块,可以完成播放流程中的第4步;
Audio Unit Services:播放音频数据:可以完成播放流程中的第5步、第6步;
Extended Audio File Services:Audio File Services和Audio Converter services的结合体;
AVAudioPlayer/AVPlayer(AVFoundation):高级接口,可以完成整个音频播放的过程(包括本地文件和网络流播放,第4步除外);
Audio Queue Services:高级接口,可以进行录音和播放,可以完成播放流程中的第3、5、6步;
OpenAL:用于游戏音频播放,暂不讨论
可以看到apple提供的接口类型非常丰富,可以满足各种类别类需求:
如果你只是想实现音频的播放,没有其他需求AVFoundation会很好的满足你的需求。它的接口使用简单、不用关心其中的细节;
如果你的app需要对音频进行流播放并且同时存储,那么AudioFileStreamer加AudioQueue能够帮到你,你可以先把音频数据下载到本地,一边下载一边用NSFileHandler等接口读取本地音频文件并交给AudioFileStreamer或者AudioFile解析分离音频帧,分离出来的音频帧可以送给AudioQueue进行解码和播放。如果是本地文件直接读取文件解析即可。(这两个都是比较直接的做法,这类需求也可以用AVFoundation+本地server的方式实现,AVAudioPlayer会把请求发送给本地server,由本地server转发出去,获取数据后在本地server中存储并转送给AVAudioPlayer。另一个比较trick的做法是先把音频下载到文件中,在下载到一定量的数据后把文件路径给AVAudioPlayer播放,当然这种做法在音频seek后就回有问题了。);
如果你正在开发一个专业的音乐播放软件,需要对音频施加音效(均衡器、混响器),那么除了数据的读取和解析以外还需要用到AudioConverter来把音频数据转换成PCM数据,再由AudioUnit+AUGraph来进行音效处理和播放(但目前多数带音效的app都是自己开发音效模块来坐PCM数据的处理,这部分功能自行开发在自定义性和扩展性上会比较强一些。PCM数据通过音效器处理完成后就可以使用AudioUnit播放了,当然AudioQueue也支持直接使对PCM数据进行播放。)。下图描述的就是使用AudioFile + AudioConverter + AudioUnit进行音频播放的流程(图片引自官方文档)。
下篇预告
下一篇将讲述iOS音频播放中必须面对的难(da)题(keng),AudioSession。
参考资料
音频文件格式
脉冲编码调制
采样率
奈奎斯特频率
MP3
ID3
Core Audio Essential
Common Tasks in OS X
转载于:https://my.oschina.net/starmier/blog/405548
iOS音频播放 (一):概述 转相关推荐
- iOS音频播放(一):概述
(本文转自码农人生) 前言 从事音乐相关的app开发也已经有一段时日了,在这过程中app的播放器几经修改,我也因此对于iOS下的音频播放实现有了一定的研究.写这个 系列的博客目的一方面希望能够抛砖引玉 ...
- iOS音频播放 (二):AudioSession 转
原文出处 :http://msching.github.io/blog/2014/07/08/audio-in-ios-2/ 前言 本篇为<iOS音频播放>系列的第二篇. 在实施前一篇中所 ...
- 视频直播APP源码开发iOS音频播放流程
视频直播APP源码开发iOS音频播放流程 概览 随着移动互联网的发展,如今的手机早已不是打电话.发短信那么简单了,播放音乐.视频.录音.拍照等都是很常用的功能.在iOS中对于多媒体的支持是非常强大的, ...
- iOS音频播放第三方框架FreeStreamer解析(全)
iOS音频播放第三方框架FreeStreamer解析(全) 新项目是一款音频播放类软件,作为该项目核心功能:音频播放.第一版本是使用了系统提供的AVPlayer框架来实现音频文件的播放,再开发完成之后 ...
- iOS音频播放 (八):NowPlayingCenter和RemoteControl
转自 码农人生 ChengYin's coding life http://msching.github.io/blog/2014/11/06/audio-in-ios-8/ iOS音频播放 (八): ...
- iOS音频播放之AudioQueue(一):播放本地音乐
AudioQueue简介 AudioStreamer说明 AudioQueue详解 AudioQueue工作原理 AudioQueue主要接口 AudioQueueNewOutput AudioQue ...
- iOS 音频播放,录音,视频播放,拍照,视频录制
iOS开发系列--音频播放.录音.视频播放.拍照.视频录制 2014-12-26 09:15 by KenshinCui, 149110 阅读, 67 评论, 收藏, 编辑 --iOS多媒体 概览 随 ...
- iOS 音频播放 —— AVAudioSession
An audio session is a singleton object that you employ to set the audio context for your app and to ...
- iOS音频播放编程简介
音效 使用框架AudioToolbox.framework(基于C语言) 本质是将短音频注册到系统服务上(System Sound Service) 系统服务限制 1.音频播放时间不能超过30秒 2. ...
最新文章
- BT[2]-BLE初体验:心率计
- idea jar包导入_IDEA 实用功能Auto Import:自动优化导包(自动删除、导入包)
- Java设计模式(二) 观察者模式
- python html解析_Python HTML解析器
- 如何将爬虫获得的数据变为字典的key_Python爬虫第二战 爬取500px图片
- Unique Binary Search Trees,Unique Binary Search Trees2 生成二叉排序树
- 【青草识别】基于matlab GUI形态学马唐草+牛筋草识别【含Matlab源码 1041期】
- 爬虫_4、requests的post方法以及json字符串处理
- PenTool:一个基于Qt的仿真软件Demo
- ubuntu libxml2 使用
- ArcGIS之定义投影
- docker swarm实践爆心肝总结全在这里,火速收藏!!!
- Q3亏损收窄预计Q4季度实现盈利,趣头条走上盈利分水岭靠什么?
- 谷歌浏览器设置打开新标签页为指定网页?
- java毕业生设计紫陶文化传播与学习交流网站计算机源码+系统+mysql+调试部署+lw
- windows 通过cmd命令连接wifi
- 深度学习推荐系统中各类流行的Embedding方法(下)
- Java-Spring Boot支付宝扫码支付以及支付回调
- C语言的一维数组名和对数组名取地址
- Matlab 预失真器放大,如何实现射频功率放大器的基带自适应预失真技术
热门文章
- 如何从Mac OS X连接 ×××
- ASP.NET多附件上传和附件编辑的实现
- CISA:警惕俄罗斯 “Sandworm” 黑客组织使用的新型恶意软件框架
- 利用 Windows Server 容器攻陷云环境的首款恶意软件现身
- 一个价值$1.5万的 PS NOW 漏洞
- Intel 的20G 源代码和内部机密文档被泄漏
- servlet的doPost 和doGet和web文件结构
- MySQL学习笔记15:触发器
- 体系结构分析与设计语言AADL基础
- Linux32位ext4最大文件容量,linux – ext4文件系统最大inode限制 – 任何人都可以解释一下吗?...