本项目的音频分类流程如下，整个处理流程都基于python实现：

从线上拿到m3u8媒体数据流，解析ts链接，通过ffmpeg库提取视频流中的音频数据，音频重采样到16k，切分为10s的音频段，使用librosa库提取10s音频段的mfcc特征，得到m*n*1的特征数组，将特征数组送入到cnn网络中(keras-tf实现)进行分类。

在实际的操作过程中，会遇到ffmpeg与librosa库之间的数据交互，librosa.load()、audioread.audio_open()函数都只能读取音频文件，因此最开始的方案是ffmpeg从视频中提取音频数据、重采样、切分后，保存到本地的音频文件(.wav、.mp3等)，librosa.load()再从本地读取该音频文件，进行特征提取和分类。该方案会涉及到磁盘io的读写，当数据流很大时，会导致磁盘io的高负荷读写，减小磁盘的使用寿命，同时磁盘文件的读写也会影响整个数据处理的速度，无法满足线上的需求。

改进后的解决方案：所有的音视频数据的处理过程都在内存中完成，不用对文件进行读写，重点解决ffmpeg如何将音频数据流写入内存中，以及librosa如何从内存中读取音频数据流。通过不断查资料和测试，ffmpeg库可以通过pipe将数据写入到内存中，然后在读取内存里的音频数据流时，使用soundfile.read()函数，而不是librosa.load()、audioread.audio_open()函数。直接上代码，需要手动安装ffmpeg-python库(

)，ffmpeg.probe、ffmpeg.input支持大部分主流的url媒体数据流和本地音视频格式文件。

# -*- coding: UTF-8 -*-

import sys

sys.path.append('/xxx/ffmpeg-python')

import ffmpeg

import librosa

import librosa.display

import numpy as np

import subprocess as sp

import soundfile as sf

import io,os

from keras.models import load_model

import pandas as pd

import pymysql

import urllib2,json

max_pad_size = 313

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'

mymodel = load_model('xxx.h5')

def predict(test_data):

predict = mymodel.predict(test_data)

predict_label = np.argmax(predict) # 取最大值的位置

predict_class = audio_classes[predict_label]

predict_class_score = predict[0][predict_label]

print('result class:{0}, score:{1}'.format(predict_class, predict_class_score))

return

# １.获取url

ts_list = get_url() # 解析后的ts链接

ts_len = len(ts_list)

for k in range(ts_len):

ts_file = ts_list[k]

file_name = (ts_file.split('.')[-2]).split('/')[-1]

# ts_file= '1.mp4' # 或者使用本地的视频文件

# 2.从url中获取音视频的长度

probe = ffmpeg.probe(ts_file)

#audio_stream = next((stream for stream in probe['streams'] if stream['codec_type'] == 'audio'), None)

#duration_seconds = float(audio_stream['duration'].encode('utf-8')) #获取音视频的长度

duration_seconds = float(probe['format']['duration'].encode('utf-8'))

print('audio duration_seconds:',duration_seconds)

interval = 10 # 10s

duration_length = int(duration_seconds / interval)

if (duration_length > 0):

for i in range(duration_length):

start_s = int((i * interval) % 60)

start_m = int((i * interval) / 60)

start_h = int((i * interval) / 3600)

if(start_s < 10):

start_s = '0'+str(start_s)

if (start_m < 10):

start_m = '0' + str(start_m)

if (start_h < 10):

start_h = '0' + str(start_h)

start_s = str(start_s)

start_m = str(start_m)

start_h = str(start_h)

# 3.从url中提取音频,切割10s音频

FFMPEG_BIN = "ffmpeg"

command_in = [ FFMPEG_BIN,

'-i', ts_file,

'-f', 'wav', #soundfile只支持wav格式

'-ar', '16000',

'-ab', '128000',

'-ac','1',

'-ss',start_h + ':' + start_m + ':' + start_s,

'-t','00:00:10',

'-']

pipe_in = sp.Popen(command_in, stdout = sp.PIPE, stderr=sp.PIPE)

while True:

raw_audio = pipe_in.stdout.read() #从内存中读取音频流

if (raw_audio == ''):

break

tmp_stream = io.BytesIO(raw_audio)

data, samplerate = sf.read(tmp_stream) #soundfile只支持wav格式

if(len(data)<1):

break

# 4.提取音频的mfcc特征

mfccs = np.array(librosa.feature.mfcc(y=data, sr=samplerate, n_mfcc=32).T)

y_shape = mfccs.shape[0]

if y_shape < max_pad_size:

pad_size = max_pad_size - y_shape

mfccs = np.pad(mfccs, ((pad_size, 0), (0, 0)), mode='constant')

else:

mfccs = mfccs[:max_pad_size, :]

mfcc_data = mfccs.reshape(-1, max_pad_size, 32, 1)

# 5.对音频进行分类

predict(mfcc_data)

pipe_in.stdout.flush()

参考：