AI已能按音乐风格填词,周杰伦又有御用作词了?|在线可玩
来源:量子位
虽然AI在艺术领域一直有不少争议,但它一直也没停下各种尝试的步伐:
写歌、画画、写诗……这不,刚又学会了填词。
我们给这个AI放了一首钢琴曲,曲调非常悠扬平和。
然后,它生成的部分词是这样的:
各位感觉如何?
其中,生成过程的动态效果看着还不错:
当然,它可以很好地分辨不同风格的音乐:给安静的钢琴乐生成的词与给嘈杂的摇滚乐生成的会完全不一样。
不过,鉴于目前的填词效果(比如有时无厘头的上下衔接),研究人员也表示:
这个工具也不是为了取代音乐家,而是成为一个激发音乐家创作灵感的工具,辅助他们创造出满意的作品。
ps.此处在线cue周杰伦,御用词人试试AI?
如何分辨出不同风格的曲子?
这项研究来自滑铁卢大学,研究成果即将发表在ICCC 2021。
项目的动机源于其中一位研究员的个人兴趣。
这名研究员非常喜欢音乐,所以她很好奇机器是否可以生成听起来像她最喜欢的音乐艺术家风格的歌词。
最终做出来的系统叫做LyricJam,已有在线网页版供任何感兴趣的音乐人访问使用。
该系统通过将原始音频文件转换为频谱图,然后使用深度学习模型实时生成与音乐相匹配的歌词。
模型的架构由两个变分自动编码器(VAE)组成,一个用于学习音乐音频的表示,另一个用于学习生成歌词。
训练数据集由18000个原始歌曲的WAV音频片段和7种音乐艺术家的相应歌词组成。
首先使用CNN来根据频谱图将带歌词的音频,按风格分类成不同“艺术家”。
然后训练一个条件VAE(conditional VAE,CVAE)“重建”原始歌词,根据不同类型音乐的歌词用词和表达方式的不同,生成一系列连贯的新歌词。
其中生成条件是前面预先训练的“艺术家”种类。
推理阶段,流程差不多:系统将实时录制的音频片段转换成频谱图,然后进行风格识别,为了生成最匹配的歌词,需要根据“艺术家”的类别从潜在空间中采样并对其进行解码,然后生成对应的歌词表达。
最后,使用基于GAN的对齐模型来对齐两种编码器生成的歌词和音频表示。
最终效果如何呢?
“非批判性的即兴演奏伙伴”
为了评估他们开发的系统,研究人员进行了一项简单的用户研究,请来一批搞音乐创作的人来测试。
测试要求音乐人现场演奏音乐并分享他们对系统所作歌词的反馈。
首先确定该系统是否能更准确地生成与音乐所产生的情绪相匹配的歌词。
研究人员选用了5种不同乐器演奏的不同歌曲的片段,每段约10秒,用该模型的两种变体(下图中每组的第二三行)各生成一行歌词,再用一个基线模型(下图中每组第一行)生成歌词。
生成示例如下:
测试者需对以上3种词,进行打分,选出最匹配当前音乐的一种。
总共有15个人参与了这项研究,从下表可以看出,无论播放的歌曲类型如何,用户都更喜欢后两个模型的歌词,而非基线模型的。
这说明,该系统可以生成匹配音乐风格的歌词。
最后,通过一系列问卷调查显示,大多数参与实验的音乐人都觉得,LyricJam是一个非批判性的即兴演奏“伙伴”,可以鼓励他们即兴创作并尝试不同寻常的歌词表达方式。
另外,即使中间改变音乐风格或尝试加入新的和弦,歌词也能实时做出抒情主题的变化。
最后研究人员表示,如果在更大的数据集上训练,填的词就更具有多样性了。
感兴趣的朋友可戳在线链接试玩,系统操作非常简单,录入一个音频就可以:https://lyricjam.ai/
论文地址:https://arxiv.org/abs/2106.01960
参考链接:
https://techxplore.com/news/2021-06-lyricjam-lyrics-instrumental-music.html
推荐阅读
【重磅】斯坦福李飞飞《注意力与Transformer》总结,84页ppt开放下载!
分层级联Transformer!苏黎世联邦提出TransCNN: 显著降低了计算/空间复杂度!
清华姚班教师劝退文:读博,你真的想好了吗?
2021李宏毅老师最新40节机器学习课程!附课件+视频资料
最强通道注意力来啦!金字塔分割注意力模块,即插即用,效果显著,已开源!
登上更高峰!颜水成、程明明团队开源ViP,引入三维信息编码机制,无需卷积与注意力
常用 Normalization 方法的总结与思考:BN、LN、IN、GN
注意力可以使MLP完全替代CNN吗? 未来有哪些研究方向?
清华鲁继文团队提出DynamicViT:一种高效的动态稀疏化Token的ViT
并非所有图像都值16x16个词--- 清华&华为提出一种自适应序列长度的动态ViT
重磅!DLer-计算机视觉&Transformer群已成立!
大家好,这是计算机视觉&Transformer论文分享群里,群里会第一时间发布最新的Transformer前沿论文解读及交流分享会,主要设计方向有:图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、视频超分、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注:研究方向+学校/公司+昵称(如Transformer+上交+小明)
???? 长按识别,邀请您进群!
AI已能按音乐风格填词,周杰伦又有御用作词了?|在线可玩相关推荐
- 月薪3w算法工程师日均7行代码被开除 / AI歌手入学上海音乐学院 / 天文照片被植入恶意代码...
文 | 日报君 发自 凹非寺 源 | 量子位 又到周四,不少人心中的「小周末」! 你有没考虑下班后放松放松? 劳逸结合,别忘关注这些「科技圈都在看」的新鲜事! 今日大新闻 月薪3.6万算法工程师,日均 ...
- 人人都是作曲家:基于深度神经网络的音乐风格迁移
参与 | shawn 编辑 | Donna 什么是风格迁移? 过去十年间,深度神经网络(DNN)被用于解决多种人工智能的任务,例如:图像分类.语音识别和游戏等,并迅速成为最先进的解决方法. 研究人员致 ...
- 题外:分类篇(音乐风格分类)基于BP神经网络
语音特征参数MFCC的提取及识别 (2012-09-07 20:24:03) 转载▼ 耳蜗实质上相当于一个滤波器组,耳蜗的滤波作用是在对数频率尺度上进行的,在1000HZ下,人耳的感知能力与频率成线性 ...
- 航拍+AI︱paddlepaddle图像分割实现天空风格迁移(换天、漂浮城堡、宇宙飞船)
1 介绍环节 昨天那篇写的是:航拍+AI︱极简的视频风格迁移体验 是把航拍的风景图进行整体的风格迁移,不过从成片效果来看,太过于超现实. 本篇是想考量局部的风格迁移,使用的是paddlepaddle开 ...
- AI算法在云音乐搜索的应用
作者:王新欣 整理:AIFounder AI算法在云音乐搜索的应用 一.云音乐介绍 1.1 关于云音乐 1.2 云音乐-内容 分为几大模块 分别为歌曲.UGC歌单.评论.社区Mlog.视频.直播 1. ...
- 游戏中常用音乐风格分析
不同的游戏有不同的玩法,每种不同的玩法都是不同的风格,每款游戏都配备了不同场景的音乐,根据音乐的场景不同,以及游戏风格的不同,游戏音乐风格也多种多样,今天我们来聊聊游戏音乐常用的风格有哪些? (一)按 ...
- Trance音乐风格的分类
Trance是电子舞曲音乐的一种,开始于90年代,拍子在128至160 BPM之间,使用电子合成器创造旋律,音乐风格自始至终起伏有序,包含了Techno.Ambient和House等元素,相比其他舞曲 ...
- 曝光“AI已具备人格”的谷歌研究员,被罚带薪休假了
如果有人说AI已经具备了人格,你会是什么反应? 我们先来了解一下什么是人格,百度对人格的定义是这样的: 人格是指个体在对人.对事.对己等方面的社会适应中行为上的内部倾向性和心理特征.表现为能力.气质. ...
- 常见的游戏音乐风格编曲普及
众所周知游戏音乐风格众多,不同的乐器编配出不同的曲目风格,下面游戏音乐小编来为大家介绍一些流行的编曲风格. 1.钢琴为主的Pop流行风格. 这个体系一般是比较柔和抒情的曲子,以钢琴作为主要的和声乐器. ...
最新文章
- php上传文件损坏,PHP 上传文件故障排除
- python计算两点间距离_python 计算方位角实例(根据两点的坐标计算)
- 开涛spring3(5.15.2) - Spring表达式语言 之 5.1 概述 5.2 SpEL基础
- hive 时间函数 总结
- 西门子编程使用的OB块解释
- 用WinRAR加密压缩文件
- 电商业务设计:社交电商产品核心设计
- 自媒体视频剪辑12大技巧分享
- sass实现前端页面基础框架布局
- C/C++可变参数列表参数处理方法va_list、va_start()、va_copy()、va_arg()、va_end()
- 我编写的肺炎疫情数据API的实现过程
- 关于python的ppt_用Python玩转PPT
- 《1024伐木累》-小白篇之开发网站,三天!(结束篇)-总章节十三
- 启发式与元启发式算法
- Matlab 绘制动态图
- 企业级呼叫中心 如何构建?
- 广东计算机非全日制 学校2020,2020年广东省非全日制研究生学校及专业有那些?...
- 江南style印证法国大预言家诺查丹玛斯世界末日预言?
- 网络游戏运营的整体流程
- MySQL数据库的MNA集群环境配置
热门文章
- Android Studio编译卡死
- 使用screen/byobu 管理你的远程会话
- win7 64位安装mysql教程视频_64位Win7系统安装Mysql 5.7.22图文教程
- 浅谈pytorch 模型 .pt, .pth, .pkl的区别及模型保存方式 pth中的路径加载使用
- pyplot.plot画图turtouil
- 论坛报名 | 语音与自然语言处理的最新突破和前沿趋势
- 读这部IT小说时,我有一种看英雄大片的莫名感动
- 如何发现优秀的IT开发人员
- pytorch gans
- Visual Studio 出现“无法解析的外部符号”错误