开源系列讲座 | Muzic：AI 音乐，如何将深度学习应用到音乐的创作与理解中

2022 年 1 月 18 日 微软研究院AI头条

（本文阅读时间：5分钟）

编者按：千呼万唤始出来，开源系列讲座第二季隆重上线啦！在第二季第一期直播中，微软亚洲研究院研究员将带你认识 AI 音乐研究项目 Muzic，从音乐理解到音乐生成，想了解在人工智能时代如何硬核“玩”音乐？请一定不要错过本次直播！

你能猜到，上面这段音乐完全是由人工智能创作的吗？近年来，随着深度学习的发展，人工智能音乐成为了一个火热的研究方向。在技术与艺术的碰撞之中，也为音乐创作带了更多可能。

微软亚洲研究院正在进行的人工智能音乐研究项目 Muzic，正是通过深度学习和人工智能赋予音乐理解和生成能力。Muzic 涵盖了音乐理解（包括音乐检索/分类/转录/分离/识别）和音乐生成（包括歌曲写作、伴奏和编曲、歌声合成、音乐音色合成和声音混合）的各种课题。

目前 Muzic 的研究工作包括:

音乐理解：

音乐预训练模型: MusicBERT
自动歌词转录模型: PDAugment

音乐生成：

词曲写作模型: SongMASS
说唱生成模型: DeepRapper
歌词到旋律生成模型: TeleMelody
伴奏生成模型: PopMAG
歌声合成模型: HiFiSinger

Muzic 具有以下亮点：

涵盖了音乐理解和生成的不同主题，特别是几乎涵盖了流行音乐生成的整个流程，包括歌词生成、旋律生成、伴奏生成和歌声合成等。
研究工作在音乐理解和生成任务上实现了 SOTA 的准确性、高质量和高数据效率。例如，MusicBERT 是最大的音乐理解预训练模型，在下游任务上实现了 SOTA 的结果；SongMASS 在预训练中利用大规模未配对的歌词和旋律数据实现了高数据效率的音乐生成；TeleMelody 在几乎没有配对的歌词和旋律数据的情况下实现了良好的歌词到旋律的生成质量；HiFiSinger 以 48kHz 高保真合成高质量歌唱声音。

开源链接：

https://github.com/microsoft/muzic

第二季第一期

直播时间：1月19日（周三）15:00-16:00

直播地址：B 站账号“微软中国视频中心”直播间

扫码直达直播间

扫码加入微信交流群

报告主题：

Muzic：面向 AI 音乐理解与生成的研究项目

报告内容：

音乐理解和生成的各个研究工作，包括音乐预训练模型 MusicBERT，自动歌词转录模型 PDAugment，词曲写作模型 SongMASS，说唱生成模型 DeepRapper，歌词到旋律生成模型 TeleMelody，伴奏生成模型 PopMAG，歌声合成模型 HiFiSinger 等。
开源的代码框架、模型和资源等。

希望观众做的准备：

请提前熟悉 AI 音乐相关的课程资料
https://www.microsoft.com/en-us/research/uploads/prod/2021/10/Tutorial-on-AI-Music-Composition-@ACM-MM-2021.pdf （复制到浏览器打开或点击阅读原文）
了解 Muzic 项目涵盖的研究工作。

直播嘉宾

谭旭

微软亚洲研究院

主管研究员

研究领域为深度学习及其在语言/语音/音乐中的应用。他开发的机器翻译系统在中英机器翻译上达到人类水平，并在 WMT 机器翻译比赛中获得多项冠军，研究的预训练语言模型 MASS、语音合成系统 FastSpeech 受到广泛关注并应用于微软产品中（如 Azure、Bing 等）。目前担任 CCF 计算艺术分会常委，在 AI 音乐领域开展了一系列研究工作，开源 AI 音乐项目 Muzic 。

关于开源项目系列讲座

微软亚洲研究院面向科研人员、开源社区开发者和参与者精心设计推出“微软亚洲研究院开源项目系列讲座”。在第一季分享中，研究员分别分享了业内首个 AI 量化投资开源平台微矿Qlib、自动机器学习工具NNI、个性化新闻推荐系统MIND、OpenNetLab开放网络平台联盟、AI-EDU community人工智能教育与学习第一站、多智能体资源调度平台MARO以及深度模型端侧推理时间预测系统nn-Meter。点击链接回顾：第一季收官！开源项目系列讲座喊你重温精彩！

第二季分享已正式开始，请持续关注！