RNNnoise知识整理

RNN核心代码部分

1、噪声和语⾳输⼊都需要经过⼆阶⾼通滤波器，48k采样，截⽌频率36hz;
2、48k 采样，960 fft 加半窗 X kiss_fft 结果
3、计算各个频带组能量的时候，采⽤平滑计算能量Ex：

a、频带组划分低频段保证每组包含四个频带（❤️ 小于3.2k），⾼频段接近bark域，总共分成了22个频带。
b、计算组带能量的时候采⽤三⻆波⾏，即每⼀次的峰值响应其实就是两个组带相接的地⽅。
c、

static const opus_int16 eband5ms[] = {/*0 200 400 600 800 1k 1.2 1.4 1.6 2k 2.4 2.8 3.2 4k 4.8 5.6 6.8 8k 9.6
12k 15.6 20k*/0, 1, 2, 3, 4, 5, 6, 7, 8, 10, 12, 14, 16, 20, 24, 28, 34, 40,48, 60, 78, 100
};

4、降采样，计算基⾳周期。
5、计算最新基⾳周期的能量Ep,以及与输⼊信号的相关性Exp;
6、正交变换求特征点：

a、针对输⼊信号bark 22个频带的能量做dct变换，得到22个BFCC系数。
b、针对22个中的前六个即1.2k 做相关的时间导数处理，增加12个特征点，针对当前及过去三帧处理为：
6个：An+A(n-1)+A(n-2);
+6个：An -A(n-2);
+6个：An +A(n-2)-2A(n-1)。
c、针对基⾳周期相关性，做dct变换，得到前6组带的系数以及⼀个基⾳周期的系数。
d、通过计算过去8帧频带的差异值之和，求得稳定性系数1个。

8、使⽤训练的结果，计算出处增益。
9、pitch filter:（根据计算出来的增益，对输⼊信号进⾏基⾳谐波滤波）

a、主要是为了解决bark域，计算出的增益存在基⾳谐波之间噪声残留的问题。
b、filter 采样了梳妆滤波器。
c、因为语⾳的周期性跟频率强相关，（特别是48k采样），所以滤波器设计成频域实现。
d、滤波器公式：x[i] +=a *Ep; x[i] 重新量化到原始语⾳的能量。
e、a的求解，根据噪声导致基⾳相关性降低有:Pb<=Gb;所以有Pb>=Gb,a =1;Gb = 1,a= 0,没有噪声; Pb =
0,a = 0,没有基⾳; 公式：

10、重新量化后的噪声语⾳与本次就算出的增益以及上次的增益，求解出最后的
输出。

RNN训练代码部分

87个特征点的由来

1、输⼊信号的处理：
a、输⼊语⾳增益随机0.01～10，输⼊噪声增益随机0.1～10，增益的增加按帧来计算；
b、针对增益处理后的信号，通过随机⼆阶滤波器处理，得到更加随机的信号的。
c、针对增益处理前的纯语⾳信号，计算能量，根据语⾳能量特性，计算⼀个语⾳vad 特征点。
d、计算增益处理后噪声的能量谱，得到22个特征点。
e、混合增益处理后的噪声和语⾳信号，得到带噪语⾳信号，计算特征点，得到44个特征点；
f、计算增益处理后纯语⾳能量/带噪语⾳能量的⽐值，以及vad及静⾳，得到输⼊增益22个特征点。
结论：总共87个特征点输⼊；
2、模型：
a、实际使⽤了e的42个特征点作为输⼊，f的22个增益特征点以及c的vad 特征点作为输出进⾏训练。
c、validation_split = 0.1，也就是10%的数据作为验证测试集，epochs 设置为120次，也就是数据跑120遍，batch size 把数据分成32份。
d、gru 训练模型：总共215个单元，4个隐藏层。22个增益输出点，1⼀个vad 输出点。

e、损失函数权重0.5，对主权重矩阵进⾏约束 0.499, 对偏置向量进⾏约束0.499, 施加在权重上的正则项 0.000001,施加在偏置向量上的正则项0.000001。 3、训练运⾏流程：

(1) cd src ; ./compile.sh
(2) ./denoise_training signal.raw noise.raw count > training.f32
(note the matrix size and replace 50000000 87 below)
(3) cd training ;
./bin2hdf5.py ../src/training.f32 50000000 87 training.h5
(4) ./rnn_train.py
(5) ./dump_rnn.py weights.hdf5 rnn_data.c rnn_data.h

4、语⾳资源地址：
a、语⾳：http://www-mmsp.ece.mcgill.ca/Documents/Data/NTT Multi-Lingual Speech Database ：这个暂时没有下载。可以使⽤其他的语⾳库替代。
b、噪声：
https://people.xiph.org/~jm/demo/rnnoise/rnnoise_contributions.tar.gz