研究人员开发实时歌词生成技术以激发歌曲创作灵感

音乐艺术家可以通过滑铁卢研究人员开发的技术为他们的歌曲创作找到灵感和新的创意方向。

LyricJam是一个实时系统，使用人工智能（AI）为现场器乐生成歌词，由该大学的自然语言处理实验室成员创建。

该实验室由交叉任职于计算机科学系的滑铁卢工程学教授Olga Vechtomova领导，几年来一直在研究人工智能的创造性应用。

该实验室最初的工作导致创建了一个系统，该系统可以学习艺术家的音乐表达方式，并按照他们的风格生成歌词。

最近，Vechtomova与滑铁卢的研究生Gaurav Sahu和Dhruv Kumar一起开发了技术，依靠音乐的各个方面，如和弦进展、节奏和乐器，合成反映现场音乐所表达的情绪和情感的歌词。

当音乐家或乐队演奏器乐时，该系统不断接收原始音频片段，神经网络对其进行处理以生成新的歌词行。然后，艺术家们可以使用这些线条来创作他们自己的歌词。

研究人员提出的方法是基于训练一个变异自动编码器来学习音频片段的旋律谱图（spec-VAE），以及一个条件变异自动编码器来学习歌词行的表示（text CVAE）。使用变异自动编码器作为生成模型的优点是它们能够学习一个连续的潜在空间，然后可以通过采样来生成新的线条，这是创意应用的一个重要要求。

在推理时，该模型必须能够在给定的现场即兴演奏的音频片段中生成新的歌词行。为了做到这一点，需要一种方法来调整由规格VAE学到的潜在表征和由文本VAE学到的潜在表征。研究人员提出了两种新的方法来实现这种对齐。

第一种方法（图1）是基于训练一个单独的生成对抗网络（GAN）模型，该模型从spec-VAE中获取谱图嵌入，并学习预测文本-CVAE中的歌词行嵌入。然后，GAN预测的嵌入被发送到textCVAE解码器以生成文本。

图 1 基于GAN的音乐和歌词表述的对齐（方法1）。

第二种方法（图2）是学习将spec-VAE的潜空间拓扑结构转移到text-CVAE的潜空间。为了实现这一目标，在训练期间将从spec-VAE中学习到的后验作为text-CVAE的先验。文本CVAE学习在潜空间中对应于某一音频片段的区域内对歌词行进行编码。此外，由于类似的声音音频片段在邻近的区域被编码，文本-视频转换器相应地学习在邻近的区域为这些片段编码词句。例如，环境音乐片段将被编码在spec-VAE的近端区域，因此对应于这些片段的线条也将被编码。直觉是，与类似声音的音频片段（例如环境）相对应的线条会有类似的情感意图，而不是例如具有攻击性的音乐。在推理时，当一个艺术家播放环境音乐作品时，系统会将其频谱图反馈给spec-VAE编码器，以获得其后验分布的参数。由于spec-VAE的后验分布也是文本-CVAE的先验分布，系统会从文本-CVAE的相应先验中抽取潜伏代码，生成反映环境音乐的新线条。

图 2 从spec-VAE到text-CVAE的潜在空间拓扑转移（方法2）。

"该系统的目的不是为艺术家写歌，"Vechtomova解释说。"相反，我们想帮助艺术家实现他们自己的创造力。该系统生成具有新的隐喻和表达方式的诗行，有可能将艺术家引向他们之前没有探索过的创作方向。"

研究人员设计的神经网络会学习哪些抒情主题、词语和风格装置与每个音频片段中捕获的音乐的不同方面有关。

例如，研究人员观察到，为环境音乐生成的歌词与为欢快的音乐生成的歌词有很大不同。

研究小组进行了一项用户研究，邀请音乐家们在使用该系统时现场演奏乐器。

"Vechtomova说："一个出乎意料的发现是，参与者感到被生成的台词鼓励着去即兴创作。"例如，这些线条激发了艺术家们以某种不同的方式构建和弦，并将他们的即兴演奏带入了一个比最初设想的新方向。一些音乐家还使用这些线条来检查他们的即兴创作是否达到了预期的情感效果"。

图 3 LyricJam截屏

该研究的另一个发现强调了经验的共同创造方面。参与者评论说，他们把这个系统看作是一个不加批判的干扰伙伴，即使他们没有积极尝试写歌词，也感到被鼓励去演奏他们的乐器。

自今年6月LyricJam上线以来，全球已有超过1500名用户试用了它。

该团队的研究将在今年9月的国际计算创意会议上发表，并已预先发表在arXiv上。有兴趣尝试LyricJam的音乐人可以在https://lyricjam.ai。

图 4 Olga Vechtomova 教授

Olga Vechtomova 教授领导自然语言处理（NLP）实验室，隶属于滑铁卢人工智能研究所。实验室的研究主要集中在为自然语言生成设计深度神经网络。目前和最近的项目包括受控文本生成、文本风格转移和文本生成模型的艺术应用。

研究人员开发实时歌词生成技术以激发歌曲创作灵感相关推荐

澳大利亚研究者研制出一种计算机芯片他们,快讯：几乎看不见的3D打印机器人；西澳大利亚大学的研究人员开发出一种保护生态机器鱼；效率达CPU一万倍的神经形态芯片发布！...
[佐治亚理工学院研发了一种3D打印的微型机器人,这些微型机器人有朝一日可能会分组工作,以感知环境变化,移动材料,并可能有一天在人体内修复伤害.] 科学家们正在努力完善可以同时进行一项工作的小型机器人, ...
基片集成波导原理_ETH研究人员开发微型红外光谱仪可以集成到芯片当中
ETH研究人员开发了一种非常紧凑的红外光谱仪,其体积小到可以装在计算机芯片上,并且仍然提供功能性.研究人员说,这种芯片可以在太空和日常生活中使用.一个例子是集成到手机当中. 研究小组表示,将小型红外光 ...
程序编号以后计算机能够查出,华威大学研究人员开发出计算机程序，可发现量子计算机中的“泄漏”...
原标题:华威大学研究人员开发出计算机程序,可发现量子计算机中的"泄漏" 当量子计算机中的信息进入不理想的状态时,如果有一种计算机程序能够及时发现这种"泄漏",便 ...
研究人员使用宽场脑成像技术研究意图控制，探索更好的脑机接口使用方式
通过我们对外部物体的感官体验,可以有效地控制外部物体.为了研究因果关系的学习和影响方式,研究人员设计了一种使用宽场钙信号(wide-field calcium signals)的脑机接口(BMI)任务 ...
Cell Stem Cell：研究人员开发出大脑类器官用于研究认知障碍！
图片来源:Cell Stem Cell 来源:细胞摘要:来自耶鲁大学的研究人员近日在实验室培养皿中模拟了两种大脑结构以及它们之间的相互作用,为揭示神经精神疾病的起因带来了曙光. 耶鲁大学遗传学副教授 ...
三阶魔方还原步骤图_研究人员开发的AI成功在1.2秒内还原三阶魔方
据外媒报道,在2018年3月,麻省理工学院学生Ben Katz和软件开发人员Jared Di Carlo曾共同创建了机器人装置,以0.38秒解开三阶魔方.尽管魔方解开技术的最新重大进展并没有导致比Ka ...
TUD研究人员开发的植入式人工智能系统可以进行疾病的早期检测和治疗
人工智能(AI)将从根本上改变医学和医疗保健:在机器学习的帮助下,可以分析心电图.脑电图或X射线图像等患者诊断数据,从而在很早的阶段根据细微变化就检测出疾病. 德累斯顿工业大学(Dresden Uni ...
受小动物大脑结构启发，研究人员开发出新的深度学习模型：更少神经元，更多智能...
大数据文摘出品来源:sciencedaily 编译: 朱科锦.coolboy 从搜索引擎到自动驾驶汽车,人工智能已经进入了我们的日常生活.这与近年来计算能力的巨大提升有关.但是,最新的人工智能研 ...
聊天语音APP开发｜聊天语音软件开发-实时音视频技术
聊天语音软件的开发应该是一个以视频和语音直播为核心的社交系统.对于用户来说,更好的视频和语音直播功能可以增强用户的接受感,让用户持续使用.为了方便视频和语音直播的采用体验,减少直播的延时,聊天语音软件 ...

研究人员开发实时歌词生成技术以激发歌曲创作灵感

研究人员开发实时歌词生成技术以激发歌曲创作灵感相关推荐

最新文章

热门文章