MFCCs是一个在语音识别和说话者识别领域被广泛运用的特征，由Davis和Mermelstein在1980年提出，可以说从那以后，MFCCs就一直占据这声音特征方面的state-of-the-art。这篇文章主要介绍MFCCs的提取过程以及为什么MFCCs对声音特征的表达会这么好。

图(1)  一段采样频率为44.1kHz，长度为30s的声音

我们通过以下7步得到MFCC特征：

1、首先，对波形图分帧。通常我们取20-40m为一帧的宽度，例如我们取40ms位一帧的宽度，对于一个44.1kHz采样的信号，一帧就包含0.040*44100=1764个采样点，帧移通常去帧宽的二分之一，也就是20ms，这样就允许没两帧之间有一半的overlap。这样一来，第一帧就是从第一个采样点到第1764个采样点，第二帧就是从第882个采样点到第2646个采样点...直到最后一个采样点，如果音频长度不能被帧数整除，在最后补0 。对于一个30s的音频文件，可以得到44100*30 / 882 = 1500帧。

2、对每一帧进行加窗。加窗的目的是平滑信号，使用汉明窗加以平滑的话，相比于矩形窗函数，会减弱FFT以后旁瓣大小以及频谱泄露。

例如使用汉明窗(hamming window)对信号进行加窗处理：

式(1) hamming window

图2

从上面的例子可以看出来，如果不进行加窗，那么某一帧的结束值和下一帧的开始值会有一个gap(因为有overlap)，在频谱图上来看，峰值会变得比较“宽”，而加过hamming window的帧在频谱图上的峰值就会变得更加sharp也更容易辨认。设加窗函数为h(n)。

3、对每一帧进行离散傅里叶变化(DFT)：

式(2), DFT指数形式

其中s(n)为波形信号，S(n)为幅度谱。

因为有

式(3) 欧拉公式

设

即式(2)的另一种形式为：

所以其实DFT变换就是两个“相关(correlation)”操作，一个是与频率为k的cos序列相关，一个是与频率为k的sin序列相关，然后两者叠加就是与频率k的正弦波相关的结果，如果得到的值很大，就表明信号包含频率为k的能量很大。

4、计算功率谱：

例如，我们从一个1764个点的FFT计算得到功率谱以后，只保留前1764/2+1=883个系数。

5、计算Mel-spaced filterbank。

频率和mel频率之间的转化公式为：

频率和mel频率之间的转化公式

mel滤波器组是一组非线性分布的滤波器组，它在低频部分分布密集，高频部分分布稀疏，这样的分布是为了更好得满足人耳听觉特性。

图3. mel filters

将这样一组三角滤波器(例如128个)作用到一帧上，就将一个883维的向量转化为128维的向量。

图3

6、对上述128维的mel功率谱取log，得到128维的 log-mel filer bank energies。这样做的原因是由于人耳对声音的感知并不是线性的，用log这种非线性关系更好描述，另外，取完log以后才可以进行倒谱分析。

7、离散余弦变换。对上述128维的向量进行DCT，DCT和DFT类似，但是只使用实数，不涉及复数运算。

其中

引入ai是为了使ci正交化。将ci表示为矩阵形式：

DCT矩阵形式

这样得到的C(n)矩阵中，较大的值都集中再靠近左上角的低能量部分，其余部分会产生大量的0或者接近0的数，这样，我们可以进行进一步数据压缩。这也表明DCT有很好的能量聚集效应。相比于傅里叶变换(FFT)，离散余弦变换的结果没有虚部，更好计算(DCT也可以理解为没有虚部的FFT)。利于对于ASR任务，通常取低13维的系数。

这样我们就得到了13banks 的MFCC。

差分：

由于语音信号是时域连续的，分帧提取的特征信息只反应了本帧语音的特性，为了使特征更能体现时域连续性，可以在特征维度增加前后帧信息的维度。常用的是一阶差分和二阶差分。

实际计算中则更为简单，例如用python的librosa库实现：a = [1 2 3 4 5 1 3 5 7]

b = liborsa.feature.delta(a, width=3)

b= [ 0.5  1.  1.  1.  -1.5 -1.  2.  2.  1. ]

例如对于a中的第一个5，b中对应的值是前后两个值的差值除以(宽度-1): (1-4)/2

二阶差分则是对delta再做一次差分运算。

图4. 20-banks MFCC，图1中波形图对应的MFCC

图5. delta (width = 9)

图6. delta-delta(accelerate)

参考资料：

http://www.speech.cs.cmu.edu/15-492/slides/03_mfcc.pdf

http://practicalcryptography.com/miscellaneous/machine-learning/guide-mel-frequency-cepstral-coefficients-mfccs/

http://mirlab.org/jang/books/audioSignalProcessing/speechFeatureMfcc.asp?title=12-2%20MFCC