你玩的音游可能真是AI生成的,Love Live!工作室发了篇论文,用AI节省50%作谱时间...
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
现在,你打的音游曲谱,还真有可能是AI生成的!
像下面这些根据节拍生成音符的操作,也就是谱面 (chart),现在AI也能搞出来了:
这是发生在著名偶像音游Love Live!系列上的真事儿。
开发它的音游工作室KLab联合九州大学,搞出了一个名叫GenéLive!的“AI谱面协作工具”,已经生成了110首曲子。
作者之一高田敦史(Atsushi Takada)对此表示:
原本我们给一首曲子制作谱面大约需要40小时,现在能节省大约50%的时间。
毕竟对于音游玩家来说,谱面确实非常影响体验。
即使是音乐团队,一不留神也会做出非常卡手的谱面,也就是玩家们调侃的“粪谱”。
△图源TapTap社区@coook
让AI来协助参与的话,究竟能不能提升效率?
增加AI对节拍和乐曲的理解
在了解谱面AI协助工具之前,先简单看看音游的谱面都有哪些常见参数。
例如,一分钟节拍数 (BPM,Beats per minute)。这是一个乐曲的属性,数值越大,代表这首乐曲的速度越快。
又例如,音符 (Note),包括各种不同种类的音符。
更具体来说,音符又分为两个属性,一个是起点(onset),决定音符生成的速度;另一个是类型(sym),决定了音符的操作方式(例如点按、长按等)。
在GenéLive!出现之前,业内其实已经有一个叫做DDC(Dance Dance Convolution)的谱面AI模型。
这个模型结合了RNN和CNN架构,能够自动生成音游谱面。
然而DDC存在一个问题,也就是当谱面难度增加的时候,AI就容易生成低质量的谱面。
针对这一问题,GenéLive!做了两方面的改进:
利用卷积堆栈(conv-stack)进一步提取音频特征,加深AI对乐曲本身的理解
增加专门用于分析节拍等信息的Bi-LSTM,以便于AI生成更能表达情绪的谱面
具体来说,改进后的AI模型细节如下:
那么,这样的效果在评估中的质量如何呢?
已生成110首曲子,其他音游也通用
事实上,据KLab透露,从2020年7月开始,团队就已经在用这个AI工具生成谱面了。
截至2022年1月,他们一共用AI生成了110首曲目!其中的82首还是已经发行的。
也就是说,玩《LoveLive!》系列音游的玩家们,很可能已经玩过AI生成的作品了,尤其是低难度的关卡。
具体到生成质量上,作者们先是将GenéLive!和DDC进行了对比。
结果显示,无论是低难度还是专家难度上,GenéLive谱面的评分都要比DDC更高。
据作者表示,他们在Utapri等其他音游上试了试,表现出来的效果也非常不错:
至于操作上,也比较简单。
作者们给这个工具做了个操作界面,即使制作者不会AI,也能用它自动生成谱面:
由于GenéLive!主要是作为AI协助工具,因此音乐团队也会在AI生成的基础上进行微调。
目前,从难度较高的曲目来看,需要微调的地方已经很少了(红色是AI生成,绿色是微调过后的):
搞出这个论文的机构之一KLab,是日本有名的游戏工作室。
即使你没有听过偶像游戏Love Live!系列,也可能见过这个家喻户晓的鬼畜偶像角色矢泽妮可:
△“妮可妮可妮”
这样看来,音游里一些“反人类”的关卡,说不定真是用AI做的……(手动狗头)
论文地址:
https://arxiv.org/abs/2202.12823
DDC项目地址:
https://github.com/chrisdonahue/ddc
参考链接:
[1]https://www.itmedia.co.jp/news/articles/2108/30/news088.html
[2]https://www.taptap.com/topic/14437458
[3]https://arxiv.org/pdf/1703.06891.pdf
你玩的音游可能真是AI生成的,Love Live!工作室发了篇论文,用AI节省50%作谱时间...相关推荐
- 认知智能再突破,阿里 18 篇论文入选 AI 顶会 KDD
作者 | 马超 责编 | 屠敏 头图 | CSDN 下载自东方 IC 出品 | CSDN(ID:CSDNnews) 近日,国际知识发现与数据挖掘协会KDD在官网(https://www.kdd.org ...
- 绝悟之后再超神,腾讯30篇论文入选AI顶会ACL
作者 | 马超 责编 | Carol 出品| AI科技大本营(ID:rgznai100) 封图 | CSDN 付费下载于东方 IC 近日,国际计算语言学协会年会ACL在官网(https://www.a ...
- CVPR 2018 | 腾讯AI Lab关注的三大方向与55篇论文
感谢阅读腾讯 AI Lab 微信号第 32 篇文章,CVPR 2018上涌现出非常多的优秀论文,腾讯 AI Lab 对其中精华文章归类与摘要,根据受关注程度,对生成对抗网络.视频分析与理解和三维视觉三 ...
- 重磅!京东21篇论文入选AI顶会AAAI 2021
点击上方"CVer",选择加"星标"置顶 重磅干货,第一时间送达 本文转载自:AI科技评论 近日,国际人工智能领域顶级学术会议AAAI 2021(第35届AAA ...
- 提士气,阿里18篇论文入选AI顶会KDD
近日,国际知识发现与数据挖掘协会KDD在官网(https://www.kdd.org/kdd2020)公布其2020年度的论文收录结果,笔者看到阿里共有18篇论文入选,这个入选论文数量刷新国内企业记录 ...
- ios有什么ssr_这款偶像音游《IDOLiSH7》,凭什么位居日本iOS畅销榜Top4?
游戏发行一年不到,下载数就突破100万.在7月8日App Annie所提供的日本IOS畅销排行榜中更是上升了30位,位居第4名.目前根据日本媒体报道,游戏下载数已突破250万. 作者:Wind 说到日 ...
- 3分钟看完一篇论文,这个AI文本生成模型把今年NeurIPS 2300+篇总结了个遍
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 行早 发自 凹非寺 量子位 报道 | 公众号 QbitAI 今年Ne ...
- GPT-3等三篇论文获NeurIPS2020最佳论文奖 | AI日报
为 AI 内行人定制资讯, 帮你一篇尽览 AI 行业要闻. GPT-3等三篇论文获NeurIPS2020最佳论文奖 今日NeurIPS 2020 公布了最佳论文奖和时间检验奖.OpenAI 等提出的语 ...
- Jeff Dean竟在谷歌成众矢之的!开除“论文不合格”AI伦理研究员,被1400名员工批斗...
晓查 蕾师师 发自 凹非寺 量子位 报道 | 公众号 QbitAI 这个周末,AI圈的一件事在社交网络引起轩然大波: 谷歌AI伦理团队联合负责人Timnit Gebru被解雇. 而开除她的,正是大名 ...
最新文章
- bug诞生记——临时变量、栈变量导致的双杀
- 大话软件管理之-----yum
- 【知识星球】卷积核和感受野可动态分配的分组卷积
- 魔兽嘉年华,云信四大码魔与你不见不散
- ARPG手游性能分析报告:加载、GC、内存需重点关注
- python2.7+opencv3.1人脸识别
- Lowest Common Ancestor of a Binary Search Tree a Binary Tree
- 前端结构解析系列之二:凯旋门结构
- 微服务领域是不是要变天了?Spring Cloud Alibaba正式入驻Spring Cloud官方孵化器!...
- 使用联想Y460一键拯救系统
- SQL 经典50题(题目+解答)(1)
- IDL处理葵花8Himawari-8标准HSD数据——制作大气校正数据集(卫星角度数据)
- 外接硬盘在电脑中不显示的解决方案
- Angular 入门教程系列:37:使用ng-alain快速开发
- RF基础(一) RF内建函数库BuiltIn
- nodeJS xlsx库 笔记
- 机器学习之---文本分析(jieba分词和词云绘制)
- 解决UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xca in position 0: invalid continuation byte
- R语言h2o深度学习分类
- Microbit Turnipbit 孩子也能做的声光控开关
热门文章
- java.lang.IllegalStateException: Failed to load ApplicationContext,这个异常的解决方案
- 如何在返回String的Spring MVC @ResponseBody方法中响应HTTP 400错误?
- 如何居中“位置:绝对”元素
- 在.NET中从app.config或web.config读取设置
- 开年巨制!千人千面回放技术让你“看到”Flutter用户侧问题
- numpy-random函数
- 从 datetime2 数据类型到 datetime 数据类型的转换产生一个超出范围的值
- Kibana——数据图形化制作
- Google Chrome 悄悄升级 WebGL 2.0 标准
- 网站分析数据收集方式详解