python计算短时自相关函数音频信号_librosa与python_speech

在语音识别领域，比较常用的两个模块就是librosa和python_speech_features了。

最近也是在做音乐方向的项目，借此做一下笔记，并记录一些两者的差别。下面是两模块的官方文档

LibROSA - librosa 0.6.3 documentationlibrosa.github.ioWelcome to python_speech_features’s documentation!python-speech-features.readthedocs.io

直接对比两文档就可以看出librosa功能十分强大，涉及到了音频的特征提取、谱图分解、谱图显示、顺序建模、创建音频等功能，而python_speech_features只涉及了音频特征提取。就特征提取的实现方法和种类来看，两者也有所不同。

python_speech_features的特征

支持的特征：

python_speech_features.mfcc() - 梅尔倒谱系数
python_speech_features.fbank() - 滤波器组能量
python_speech_features.logfbank() - 对数滤波器组能量
python_speech_features.ssc() - 子带频谱质心特征

提取mfcc、logfbank特征的方法

from

python_speech_features的比较好用的地方就是自带预加重参数，只需要设定preemph的值，就可以对语音信号进行预加重，增强高频信号。

python_speech_features模块提供的函数

python_speech_features.base.mfcc(signal, samplerate=16000, winlen=0.025, winstep=0.01, numcep=13, nfilt=26, nfft=512, lowfreq=0, highfreq=None, preemph=0.97, ceplifter=22, appendEnergy=True, winfunc=<function <lambda>>)

计算一个音频信号的MFCC特征

返回：一个大小为numcep的numpy数组，包含着特征，每一行都包含一个特征向量。

参数：

signal - 需要用来计算特征的音频信号，应该是一个N*1的数组

samplerate - 我们用来工作的信号的采样率

winlen - 分析窗口的长度，按秒计，默认0.025s(25ms)

winstep - 连续窗口之间的步长，按秒计，默认0.01s（10ms）

numcep - 倒频谱返回的数量，默认13

nfilt - 滤波器组的滤波器数量，默认26

nfft - FFT的大小，默认512

lowfreq - 梅尔滤波器的最低边缘，单位赫兹，默认为0

highfreq - 梅尔滤波器的最高边缘，单位赫兹，默认为采样率/2

preemph - 应用预加重过滤器和预加重过滤器的系数，0表示没有过滤器，默认0.97

ceplifter - 将升降器应用于最终的倒谱系数。 0没有升降机。默认值为22。

appendEnergy - 如果是true，则将第0个倒谱系数替换为总帧能量的对数。

winfunc - 分析窗口应用于每个框架。默认情况下不应用任何窗口。你可以在这里使用numpy窗口函数例如：winfunc=numpy.hamming

python_speech_features.base.fbank(signal, samplerate=16000, winlen=0.025, winstep=0.01, nfilt=26, nfft=512, lowfreq=0, highfreq=None, preemph=0.97, winfunc=<function <lambda>>)

从一个音频信号中计算梅尔滤波器能量特征

返回：2个值。第一个是一个包含着特征的大小为nfilt的numpy数组，每一行都有一个特征向量。第二个返回值是每一帧的能量

python_speech_features.base.logfbank(signal, samplerate=16000, winlen=0.025, winstep=0.01, nfilt=26, nfft=512, lowfreq=0, highfreq=None, preemph=0.97)

从一个音频信号中计算梅尔滤波器能量特征的对数

返回：一个包含特征的大小为nfilt的numpy数组，每一行都有一个特征向量

python_speech_features.base.ssc(signal, samplerate=16000, winlen=0.025, winstep=0.01, nfilt=26, nfft=512, lowfreq=0, highfreq=None, preemph=0.97, winfunc=<function <lambda>>)

从一个音频信号中计算子带频谱质心特征

返回：一个包含特征的大小为nfilt的numpy数组，每一行都有一个特征向量

librosa的特征提取

librosa的可以提取的特征种类十分丰富

篇幅原因不多介绍

librosa.features.mfcc(y=None,sr=22050,S=None,n_mfcc=20,dct_type=2,norm='ortho',**kwargs)

y, sr = librosa.load('test.wav',offset=30, duration=5)
librosa.feature.mfcc(y=y, sr=sr, n_mfcc=40) # 返回shape=(n_mfcc, timestep)的二维矩阵

librosa.feature.spectral_centroid(y=None,sr=22050,S=None,n_fft=2048,hop_length=512,freq=None)
计算频谱质心

>>> y, sr = librosa.load('test.wav')
>>> cent = librosa.feature.spectral_centroid(y=y, sr=sr)
>>> cent
array([[ 4382.894,   626.588, ...,  5037.07 ,  5413.398]])

蓝调音乐的频谱质心在频谱偏中心的位置，金属音乐在靠后的位置

librosa.feature.zero_crossing_rate(y,frame_length=2048,hop_length=512,center=True,**kwargs)

计算过零率

>>> y, sr = librosa.load('test.wav')
>>> librosa.feature.zero_crossing_rate(y)
array([[ 0.134,  0.139, ...,  0.387,  0.322]])

相对于python_speech_features来说，librosa没有预加重的处理。或者说librosa提供自定义预加重功能。

预加重的一般传递函数为

差分方程实现预加重的方程为