你玩的音游可能真是AI生成的,Love Live!工作室发了篇论文,用AI节省50%作谱时间

2022 年 3 月 5 日 量子位
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

现在,你打的音游曲谱,还真有可能是AI生成的!

像下面这些根据节拍生成音符的操作,也就是谱面 (chart),现在AI也能搞出来了:

这是发生在著名偶像音游Love Live!系列上的真事儿。

开发它的音游工作室KLab联合九州大学,搞出了一个名叫GenéLive!的“AI谱面协作工具”,已经生成了110首曲子。

作者之一高田敦史(Atsushi Takada)对此表示:

原本我们给一首曲子制作谱面大约需要40小时,现在能节省大约50%的时间。

毕竟对于音游玩家来说,谱面确实非常影响体验。

即使是音乐团队,一不留神也会做出非常卡手的谱面,也就是玩家们调侃的“粪谱”。

图源TapTap社区@coook

让AI来协助参与的话,究竟能不能提升效率?

增加AI对节拍和乐曲的理解

在了解谱面AI协助工具之前,先简单看看音游的谱面都有哪些常见参数。

例如,一分钟节拍数 (BPM,Beats per minute)。这是一个乐曲的属性,数值越大,代表这首乐曲的速度越快。

又例如,音符 (Note),包括各种不同种类的音符。

更具体来说,音符又分为两个属性,一个是起点(onset),决定音符生成的速度;另一个是类型(sym),决定了音符的操作方式(例如点按、长按等)

在GenéLive!出现之前,业内其实已经有一个叫做DDC(Dance Dance Convolution)的谱面AI模型。

这个模型结合了RNN和CNN架构,能够自动生成音游谱面。

然而DDC存在一个问题,也就是当谱面难度增加的时候,AI就容易生成低质量的谱面。

针对这一问题,GenéLive!做了两方面的改进:

  • 利用卷积堆栈(conv-stack)进一步提取音频特征,加深AI对乐曲本身的理解

  • 增加专门用于分析节拍等信息的Bi-LSTM,以便于AI生成更能表达情绪的谱面

具体来说,改进后的AI模型细节如下:

那么,这样的效果在评估中的质量如何呢?

已生成110首曲子,其他音游也通用

事实上,据KLab透露,从2020年7月开始,团队就已经在用这个AI工具生成谱面了。

截至2022年1月,他们一共用AI生成了110首曲目!其中的82首还是已经发行的。

也就是说,玩《LoveLive!》系列音游的玩家们,很可能已经玩过AI生成的作品了,尤其是低难度的关卡。

具体到生成质量上,作者们先是将GenéLive!和DDC进行了对比。

结果显示,无论是低难度还是专家难度上,GenéLive谱面的评分都要比DDC更高。

据作者表示,他们在Utapri等其他音游上试了试,表现出来的效果也非常不错:

至于操作上,也比较简单。

作者们给这个工具做了个操作界面,即使制作者不会AI,也能用它自动生成谱面:

由于GenéLive!主要是作为AI协助工具,因此音乐团队也会在AI生成的基础上进行微调。

目前,从难度较高的曲目来看,需要微调的地方已经很少了(红色是AI生成,绿色是微调过后的)

搞出这个论文的机构之一KLab,是日本有名的游戏工作室。

即使你没有听过偶像游戏Love Live!系列,也可能见过这个家喻户晓的鬼畜偶像角色矢泽妮可

“妮可妮可妮”

这样看来,音游里一些“反人类”的关卡,说不定真是用AI做的……(手动狗头)

论文地址:
https://arxiv.org/abs/2202.12823

DDC项目地址:
https://github.com/chrisdonahue/ddc

参考链接:
[1]https://www.itmedia.co.jp/news/articles/2108/30/news088.html
[2]https://www.taptap.com/topic/14437458
[3]https://arxiv.org/pdf/1703.06891.pdf

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

直播报名 | AI+边缘计算赋能传统企业

在信息化浪潮下,传统企业如何综合利用人工智能、边缘计算等技术勇立潮头,智慧发展?

3月8日19:30,「量子位·视点」CEO/CTO系列分享活动邀请了江行智能CTO樊小毅博士,将围绕AI+边缘计算如何助力碳中和目标、典型应用和未来展望等内容,直播分享个人见解。扫码可报名:

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

一键三连「分享」「点赞」和「在看」

科技前沿进展日日相见 ~


登录查看更多
0

相关内容

专知会员服务
45+阅读 · 2021年9月3日
近期必读的五篇 EMNLP 2020【反事实推理】相关论文和代码
专知会员服务
25+阅读 · 2020年11月23日
LoveLive!出了一篇AI论文:生成模型自动写曲谱
机器之心
0+阅读 · 2022年3月1日
这可能是冬奥会藏得最深的黑科技了
量子位
0+阅读 · 2022年2月18日
“众所周知,视频不能P”,GAN:是吗?
量子位
0+阅读 · 2022年1月25日
调研了下 AI 作曲,顺便做了期视频...快进来听歌!
夕小瑶的卖萌屋
0+阅读 · 2021年12月10日
讲堂 | 谭旭:AI音乐,技术与艺术的碰撞
微软研究院AI头条
0+阅读 · 2021年7月20日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月17日
Arxiv
0+阅读 · 2022年4月16日
Arxiv
0+阅读 · 2022年4月14日
Arxiv
14+阅读 · 2020年1月27日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Top
微信扫码咨询专知VIP会员