使用librosa库实现100行代码制作音乐卡点视频

平台：windows 10 家庭中文版

ide：pycharm

环境：3.7

数字信号处理技术：≈0

librosa库

LibROSA is a python package for music and audio analysis. It provides the building blocks necessary to create music information retrieval systems.

librosa是处理音频的python库，可以进行时频处理、特征提取、绘制声音图形等

官方地址：http://librosa.github.io/librosa

生产流程

1.音频分析：通过对音频的一系列分析取得需要更换图片的时值组（重要，但对于没接触过数字信号处理的小白来说毫无思路）

很不幸，数字信号处理技术≈0，因此在本人深耕数字信号处理技术好几个小时后，有了这不太成熟的代码片段，文中代码因本人基础不好可能有部分错误，望指正

音频分析一般流程

主要函数：

peak_pick

beat_track

    # 音频路径music_path = ''# 音频开始截取时间start_time = 67# 截取时长duration = 15# 采样率sr=44100# 加载音频文件y ,sr= librosa.load(music_path, offset=start_time, duration=duration,sr=sr)onset_env = librosa.onset.onset_strength(y=y, sr=sr,hop_length=512,aggregate=np.median)# 获取信号中的峰值# delta参数对取值影响较大# 这个方法参数较为重要，可以写一个公式计算出部分参数的取值peaks = librosa.util.peak_pick(onset_env, 1, 1, 1, 1, 0.8, 5)# 使用beat_track函数得到速度和节拍点tempo, beats = librosa.beat.beat_track(y=y, sr=sr)# # 使用plp函数得到脉冲曲线# pulse = librosa.beat.plp(onset_envelope=onset_env, sr=sr)# # 得到局部脉冲的最大值# beats_plp = np.flatnonzero(librosa.util.localmax(pulse))# 创建一个节拍值1/4、2/4、3/4、4/4的数组M = beats * [[1 / 4], [2 / 4], [3 / 4]]M = M.flatten()M = np.sort(M)# 局部脉冲与节拍点做10%的去误差，得到节奏点L = []for i in M:for j in peaks:if i * 0.9 < j < i * 1.1:L.append(j)L = list(set(L))L.sort()# 节奏点转化为时间# 取前30个点，不够30个则全取if len(L) > 30:point_list = librosa.frames_to_time(L[:30], sr=sr)else:point_list = librosa.frames_to_time(L[:len(L)], sr=sr)# 音乐裁剪，设置开始结束时间end_time = point_list[len(point_list) - 1] + start_timestart_time = start_time * 1000end_time = end_time * 1000sound = AudioSegment.from_mp3(music_path)word = sound[start_time:end_time]# 音乐储存路径word.export('movie/music.wav', format="wav")movie_cut(point_list)

2.图片处理，转换视频：此处选择先将图片处理成指定大小，然后根据时值将图片转换为特定时长的视频片段，最后将视频合成

遗留问题

1.不能通过代码判断出哪段音乐更适合卡点

2.人声影响较大，尤其是连续的节奏较快的高音

解决思路

深耕数字信号处理技术

librosa：http://librosa.github.io/librosa

源代码：https://github.com/LaoADe/music_point