1. import tensorflow as tf
2. import librosa  # 用来提取音频文件, 参看<中文语音识别>
3. import numpy as np
4. import os
5. #import shlex  # python2 pipes
6. # 音频文件路径
7. content_audio = "./Traveling_Light.mp3"
8. style_audio = "./东风破.mp3"
9. # 为洋文歌曲<Traveling Light>添加周杰伦风味
10. # 剪辑一段音频, 默认取开头的10s, 太大内存吃不消
11. def cut_audio(filename, start_pos='00:00:00', lens=10):
12. newfile = os.path.splitext(os.path.basename(filename))[0] + '_' + str(lens) + 's.mp3'
13. # 确保系统中已安装ffmpeg
14. cmd = "ffmpeg -i {} -ss {} -t {} {}".format(filename, start_pos, lens, newfile)
15. os.system(cmd)
16. return newfile
17. content_audio_10s = cut_audio(content_audio, start_pos='00:00:33')
18. style_audio_10s = cut_audio(style_audio, start_pos='00:00:38')
19. # Short Time Fourier Transform音频转spectrogram（把1维信号转为2维, 可以被视作图像）
20. # https://en.wikipedia.org/wiki/Short-time_Fourier_transform
21. N_FFT = 2048
22. def read_audio(filename):
23. x, fs = librosa.load(filename)
24. S = librosa.stft(x, N_FFT)
25. p = np.angle(S)
26. S = np.log1p(np.abs(S[:,:430]))
27. return S, fs
28. content_data, _ = read_audio(content_audio_10s)
29. style_data, fs = read_audio(style_audio_10s)
30. samples_n = content_data.shape[1]  # 430
31. channels_n = style_data.shape[0]   # 1025
32. style_data = style_data[:channels_n, :samples_n]
33. content_data_tf = np.ascontiguousarray(content_data.T[None,None,:,:])
34. style_data_tf = np.ascontiguousarray(style_data.T[None,None,:,:])
35. # filter shape "[filter_height, filter_width, in_channels, out_channels]"
36. N_FILTERS = 4096
37. std = np.sqrt(2) * np.sqrt(2.0 / ((channels_n + N_FILTERS) * 11))
38. kernel = np.random.randn(1, 11, channels_n, N_FILTERS)*std
39. # content and style features
40. g = tf.Graph()
41. with g.as_default(), g.device('/cpu:0'), tf.Session() as sess:
42. # data shape "[batch, in_height, in_width, in_channels]",
43. x = tf.placeholder('float32', [1, 1, samples_n, channels_n], name="x")
44. kernel_tf = tf.constant(kernel, name="kernel", dtype='float32')
45. conv = tf.nn.conv2d(x, kernel_tf, strides=[1, 1, 1, 1], padding="VALID", name="conv")
46. net = tf.nn.relu(conv)
47. content_features = net.eval(feed_dict={x: content_data_tf})
48. style_features = net.eval(feed_dict={x: style_data_tf})
49. features = np.reshape(style_features, (-1, N_FILTERS))
50. style_gram = np.matmul(features.T, features) / samples_n
51. # Optimize
52. ALPHA= 0.01   # ALPHA越大,content越占主导; 如果ALPHA为0,表示没有content
53. result = None
54. with tf.Graph().as_default():
55. learning_rate= 0.001
56. x = tf.Variable(np.random.randn(1, 1, samples_n, channels_n).astype(np.float32)*learning_rate, name="x")
57. kernel_tf = tf.constant(kernel, name="kernel", dtype='float32')
58. conv = tf.nn.conv2d(x, kernel_tf, strides=[1, 1, 1, 1], padding="VALID", name="conv")
59. net = tf.nn.relu(conv)
60. content_loss = ALPHA * 2 * tf.nn.l2_loss(net - content_features)
61. style_loss = 0
62. _, height, width, number = map(lambda i: i.value, net.get_shape())
63. size = height * width * number
64. feats = tf.reshape(net, (-1, number))
65. gram = tf.matmul(tf.transpose(feats), feats)  / samples_n
66. style_loss = 2 * tf.nn.l2_loss(gram - style_gram)
67. # loss
68. loss = content_loss + style_loss
69. opt = tf.contrib.opt.ScipyOptimizerInterface(loss, method='L-BFGS-B', options={'maxiter': 300})
70. # Optimization
71. with tf.Session() as sess:
72. sess.run(tf.global_variables_initializer())
73. opt.minimize(sess)
74. result = x.eval()
75. # 把spectrogram转回wav音频
76. audio = np.zeros_like(content_data)
77. audio[:channels_n,:] = np.exp(result[0,0].T) - 1
78. p = 2 * np.pi * np.random.random_sample(audio.shape) - np.pi
79. for i in range(500):
80. S = audio * np.exp(1j*p)
81. x = librosa.istft(S)
82. p = np.angle(librosa.stft(x, N_FFT))
83. librosa.output.write_wav("output.mp3", x, fs)

Share the post "TensorFlow练习17: “声音大挪移”"