文章目录

  • 基础概念
  • 音频处理流程(获取音频)
  • 音频特征
    • 从音频信号到特征帧
    • 从信号到特征的全过程
    • 从信号到特征关键点

基础概念

  1. 如何理解音频帧?一帧的时长是多少?
  2. 如何理解采样个数和采样率?

下面通过关于MP3的一些信息来理解这些概念。

  • ① “每一帧的采样个数,是 1152
  • ② “采样率 44100 Hz
  • 所以MP3帧的时长是 26ms

理解和结论:

(1)采样率

  • 采样率是每秒钟的采样次数,如44.1kHz,就是说不管哪种波形,有序如正余弦,无序如不规则波形,每秒内采样都是441000次。
  • 采样率越大,越接近原始波形,越不失真。但是采样次数越多,数据自然越大,网络要考虑存储大小的和宽带的,在人耳听力范围内有一定大小的采样率就可以了,合适才是真理。

(2)(一帧)采样个数
(一帧)采样个数:number of audio samples (per channel) described by this frame,就是一帧数据里面有多少个采样(样本),或者说 sample。

对于 MP3 ,1152个 sample 就是一帧,播放 1152 个 sample ,即 1 frame 需要的时间就是 1152/44.1k 大约为 26ms

音频处理流程(获取音频)

最常见的音频处理流程为三个步骤:

  • 采样
  • 量化
  • 编码

音频特征

从音频信号到特征帧

从音频信号到特征帧的流程如下:

音频信号
|
采样与量化
|
分帧:业界标准是 25ms(帧长)、10ms(帧间隔)
|
加窗
|
特征提取
|
帧叠加与帧采样

音频信号的特征一般分为时域特征和频域特征两大类,目前大部分实用系统都采用频域特征

从信号到特征的全过程

音频信号
|
(傅里叶变换)
|
频域幅值特征
|
(进一步处理)
|
PLP或者MFCC

梅尔倒谱系数(MFCC) 是语音领域最常用的特征。

为什么一般需要对音频进行一些非线性变换(比如MFCC)?
因为人类听觉的非线性性(包括频率和声强两个方面)。

从信号到特征关键点

(1)短时分析
短时分析技术是音频特征分析的基础。
短时分析使得提取的音频特征是局部的且定长的。
对于一段音频来说,其长度通常是不固定的,若想提取出固定的特征向量,一般是将音频作为一个整体,然后提取其中的一些统计量。
但是全局特征显然无法有效的提取出音频的特征,因为一段音频一般随着时间发生不断发生变化的。(在图像领域应用广泛的卷积,其本质也是提取图像的局部特征)

短时技术的一般步骤如下:

分帧
|

“声音”背后的原理(3):音频信号处理的基础概念和流程小结相关推荐

  1. “声音”背后的原理(1):波(横波、纵波、声波)、声音的采集、声音的储存

    文章目录 1. 声音 1.1 声音和波 1.2 声音的产生:空气震动 1.3 声音的储存:采样.量化和编码 2. 声音的识别 1. 声音 1.1 声音和波 声音是振动产生的声波,通过介质(气体.固体. ...

  2. 语音处理:音频入门之基础概念总结

    语音处理:音频入门之基础概念总结 基本概念 语音增强 基本概念 过采样:超过音频本身实际带宽的采样率,如音频带宽12kHz,用96kHz采样属于过采样,用24kHz采样则较为合理.上采样,也属于过采样 ...

  3. 音视频基础概念(5)——音频基础说明

    现实生活中,音频(Audio)主要用在两大场景中,包括语音(Voice)和音乐(Music).语音主要用于沟通,如打电话等.目前由于语音识别技术的发展,人机语音交互也是语音的一个应用方向,很多大厂推出 ...

  4. 声音信号预处理matlab,实验一 MATLAB音频信号处理实验

    实验一MATLAB音频信号处理实验 一.实验目的 1.进一步加深DFT算法原理和基本性质的理解: 2.熟悉FFT算法原理: 3.理解掌握音频信号各参数的意义: 二.实验内容 1.对一个音频信号用FFT ...

  5. python实时采集与处理声音信号_python之音频信号处理一

    python音频信号处理,首先安装librosa模块 安装好librosa模块后,进行简单的音频读取操作,包括: 1.load读取音频文件,返回音频数据与采样率 path:音频文件路径         ...

  6. 音频信号处理——DTW

    音频信号处理--DTW 标签(空格分隔): 音频处理 DTW全名Dynamic Time Warping由日本科学家 Itakura 提出,用于衡量两个长度不同时间序列的相似度.应用也十分广泛,主要是 ...

  7. 【DSP实验】实验6音频信号处理实验-实现参量均衡器+滤波器+反相器的总和DSP处理交互系统

    实验6 音频信号处理实验 目录 实验目的 1 实验设备 1 算法实现原理与仿真结果 1 3.1 参量均衡器的LowShelf和HiShelf通道模式 1 3.1.1 参量均衡器 1 3.1.2 Low ...

  8. MATLAB课程设计音频信号处理,MATLAB音频信号处理实验

    南昌航空大学信息工程学院 课程实验报告 实验名称: 实验时间: 2014年4月23日 指导教师: 班 级 : 学 号 : 姓 名 : 成 绩 : 南昌航空大学实验报告 2014 年 4 月 23 日 ...

  9. matlab音频信号处理实验报告,matlab音频信号处理实验报告.docx

    matlab音频信号处理实验报告 MATLAB音频信号处理实验 南昌航空大学信息工程学院 课程实验报告 实验名称:实验时间:2014年4月23日 指导教师: 班级: 学号: 姓名: 成绩: 南昌航空大 ...

最新文章

  1. python是如何实现进程池和线程池的_高并发:线程、线程锁与线程池(精华),手写代码实现线程池...
  2. 使用ImageMagick 的提示与技巧
  3. Mysql错误:服务名无效。 请键入 NET HELPMSG 2185 以获得更多的帮助。
  4. NeurIPS 2020 | FixMatch:通过图像增强就能实现半监督学习
  5. 移动端软件测试要点,移动端测试用例设计总结
  6. vue项目启动出现cannot GET /服务错误
  7. Python(二十):迭代器、生成器
  8. unix操作系统的特点
  9. cad沿线插入块 lisp_我有一组数有十几万个坐标点,如何利用lisp程序快速导入CAD中,并可以快速处理!...
  10. redis lpush WRONGTYPE Operation against a key holding the wrong kind of value
  11. Windows10的电脑如何查找AppData文件夹
  12. Natural_Earth 全球地形渲染图 Version 3.2
  13. R语言NBA球员数据挖掘简单实现
  14. 颜色和移动物体识别系统
  15. backtrack 4 in virtualBox 联网
  16. Polyman 初使用-01
  17. oracle 中int字节,oracle 数据类型
  18. 计算机语言python怎么读,python编程怎么读音发音
  19. 三层交换机 原理解析
  20. java将后台数据库查询到的数据导出word文档当中

热门文章

  1. 字符串转化为数字的函数
  2. MTA:腾讯云数据分析(微信小程序)
  3. 五邑大学计算机专业 土木工程,五邑大学理科专业排名,盘点五邑大学哪些专业好?...
  4. 【蓝桥杯】星系炸弹 - Java版解析
  5. 9. 谁说技术分享博客,就不能收费了?知识本来就该被定价
  6. 戴琼海院士:从脑科学到人工智能
  7. 生物信息中的卷积和反卷积
  8. 安卓APP让屏幕保持常亮,不息屏的方法
  9. 视频检测、视频分类等视频相关算法
  10. (2010及以上版本)office的.asd文件恢复