台大李宏毅联合CMU、Meta发起语音自监督学习挑战赛SUPERB，邀你参加

背景

台湾大学李宏毅老师团队联合卡内基梅隆大学、约翰霍普金斯大学、Meta 一起办了一个语音自监督学习的挑战赛 (SUPERB)，这个挑战赛的结果会公布在今年的 SLT 会议上，同时优秀的文章会被 SLT 收录。欢迎大家参加。 

SUPERB 旨在为社区提供一个标准和全面的框架来训练、评估和比较通用语音表示在语音处理任务上的普遍性。SUPERB 的最终目标是通过强大、可概括和可重用的语音表示推动语音处理的进步。SUPERB 是一个长期维护和不断发展的项目。随着我们逐步发布新任务和开辟新赛道，我们邀请研究人员参与挑战，共同推进研究进步。

简介

这个比赛

• 检验语音自监督模型的泛化能力

• 评估标准参看 SUPERB Benchmark

• 固定自监督模型参数

• 抽出自监督模型的隐层表征用于训练下游任务

• 有多个下游任务

• 内容: PR, ASR, QbE

• 说话人: SID, ASV, SD

• 副语言学: ER

• 语义: ST

• 生成: SE, SS

• 有两个 leaderboards 可以提交：

• 公开集：数据集公开

• 固定下游任务模型结构

• 固定自监督模型

• 除了以上要求，没有别的限制

• 隐藏集：数据集不公开，需要提交模型 (模型定义 & 训练好的模型)

• 我们会用多种学习率训练模型，将最好的结果呈现出来

• 鼓励创新而非为了竞赛而竞赛:

• 参加者可自行决定是否公开他们模型的性能

• 除了准确率，我们还提供了别的指标，例如模型参数量及计算复杂度。

参赛要求

以下描述了团队参加 SUPERB 挑战的要求。

提交一个自监督模型到隐藏集

公共集用于自监督模型开发。您可以预先训练您的自监督模型并使用您喜欢的任何方法对其进行评估。您需要向隐藏集排行榜提交至少一个自监督模型。

系统描述论文 (可选)

参赛者可自行决定是否提交系统描述论文。为了验证提交的自监督模型是否符合 SUPERB 挑战的要求，我们建议以 SLT 提交格式提交系统描述论文，没有页数限制。论文应描述您提交的方法，至少包含以下材料：

• 自监督任务目标

• 模型架构

• 预训练所用数据集

• 每次提交的参数

系统描述文件的截止日期为 2022 年 11 月 1 日。审查这些文件将由我们的 SUPERB 挑战组织者负责。被接受的系统描述论文不会被 IEEE 索引，但这些论文的作者将有机会在研讨会的专门会议上展示他们的工作。

系统描述论文仅用于挑战审查，默认情况下不被视为 SLT 研讨会论文。。

结果公布

我们鼓励参加者将论文提交到 SLT，优秀论文将会被 SLT 收录。在审查系统描述论文并将提交模型的性能与隐藏集的分数进行比较后，我们将在 2022 年 12 月 25 日公布最终结果。优秀者会被邀请在 SLT 研讨会上展示他们的方法。

时间线

• Mar 02, 2022: Challenge announcement

• Mar 02, 2022: Leaderboard is online and accepts submissions

• Jul 15, 2022: SLT paper submission (encouraged)

• Sep 30, 2022: SLT paper notification

• Nov 01, 2022: System description paper submission deadline

• Dec 20, 2022: Result and invitee announcement

• at least after the end of 2022: End of hidden-set submission

• Jan 9 - 12, 2023: SLT workshop presentation

组织者

Hung-yi Lee (NTU)

Tzu-Hsun Feng (NTU)

Tzu-Quan Lin (NTU)

Haibin Wu (NTU)

Shinji Watanabe (CMU)

Xuankai Chang (CMU)

Ching-Feng Yeh (Meta)

Annie Dong (Meta)

Zili Huang (JHU)

指导者

General advisor

Abdelrahman Mohamed (Meta)

Shang-Wen Li (Meta)

Technical advisor

Shu-wen Yang (NTU)

隐藏集委员会

Xuankai Chang

Hsuan-Jui Chen

Yung-Sung Chuang

Zili Huang

Shang-Wen Li

Guan-Ting Lin

Yassin Omar

Jiatong Shi

Hsiang-Sheng Tsai

Shu-wen Yang

• 联系方式：superb.announcement@gmail.com Challenge

• 主页：https://superbbenchmark.org

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com