特奖得主任队长，清华夺冠NeurIPS 2021国际深度元学习挑战赛

2021 年 12 月 28 日 机器之心

机器之心专栏

机器之心编辑部

近期，国际AI顶级会议 NeurIPS 2021 召开。清华大学朱文武教授实验室 Meta_Learners 团队在 NeurIPS 2021 举办的第二届国际深度元学习挑战赛（MetaDL Challenge）中夺得冠军。该团队在最终阶段的五个数据集中以平均准确率超越第二名 17.5%（相对提升 22.3%）的优势强势摘得桂冠。

元学习（Meta Learning）作为机器学习迈向自动化的一个重要研究方向，已经得到了产学研各界的持续关注。元学习旨在让机器学习算法从已经学过的任务中总结学习经验，提取「元」知识，来在遇到新场景、新任务时，让算法能够仅利用少量的样本就完成复杂的训练过程，从而又快又好地适应未知场景。

为了进一步提升元学习算法在实际场景中的应用效果，机器学习比赛平台 ChaLearn 联合微软、谷歌等知名公司在各大人工智能学术顶级会议举办 MetaDL 系列竞赛。 作为元学习领域的第二届国际竞赛，本次 NeurIPS 2021 MetaDL 挑战赛吸引了国内外顶尖团队的近五十支参赛队伍 。

官网地址：https://metalearning.chalearn.org/metadlneurips2021

本次比赛关注元学习系统面对不同领域、不同质量的数据、任务时的表现 。具体地，比赛要求选手们提供一个元学习系统，该系统需要在两小时、4 张 Tesla M60 显卡的环境中完成对已有任务的学习以及提取元知识，并在完全未知的 600 个图像分类任务（每个任务仅有 5 分类 x5 张 = 25 张标注图片，需要完成额外 95 张图片的标注）上完成快速学习和标签预测。

此外，系统还需要在无人工调整的情况下适配包括生物、地质、病理、纹理、字符等不同领域的小样本图像分类问题，具有极大的挑战性。

具体来说，这次比赛具有以下两个方面的挑战：

数据层面，来自各领域的图像内容和特性不同，采集与处理的方法也各不相同，有些是电子显微镜成像照片，有些是卫星传感照片，有些是人工手写字符，有些是家用摄像机拍照，这对元学习系统如何处理不同质量的输入信息提出挑战；
算法层面，不同领域的小样本任务需要不同的元知识，对应的特征提取算法、超参、框架也大有不同，这对元学习算法的泛化性和自适应能力提出巨大挑战。

清华 Meta_Learners 团队赢得冠军

此前，清华大学朱文武教授实验室的 Meta_Learners 团队就已在相关深度元学习比赛中取得优异成绩。在年初的AAAI 2021 国际首届深度元学习挑战赛（MetaDL Challenge）中，该团队以高出第二名 13% 性能的成绩强势夺冠。

此次在 NeurIPS 2021 MetaDL 挑战赛中，团队延续了元学习领域的一贯优势，并再次夺得第一名。

针对数据和算法层面的挑战，Meta_Learners 团队采用多级分辨率输入设计、低质量数据增强、混合领域半监督弱监督混合训练的方法来处理不同大小和质量的数据，解决数据层面的挑战。

与此同时，他们采用半冻结模型参数更新与自动集成的方式来提取不同领域的元知识，解决算法层面的挑战。

该团队提出的 MetaDelta++ 系统将向学术社区开源，为元学习算法进一步的研究和推广提供支持。

特征层次丰富化

为应对不同质量的数据输入，Meta_Learners 团队采用变尺度模型输入与数据增广的方式来处理领域和内容不统一的问题，采用数据增广来提升内容质量，从而提升模型特征的分辨能力，并利用变尺度预训练模型进行图像粗粒度与细粒度特征提取，丰富特征内容。

知识迁移高效化

为进一步增强 MetaDelta++ 对不同质量、不同领域图像信息的捕捉能力，团队采用多领域数据进行模型预训练，将在不同领域得到的知识迁移到目标领域内，并通过微调高层语义层参数的方式实现对目标领域的自适应，通过知识与模型参数的对应性实现混合域与目标域知识的高效应用。

领域感知自动化

为进一步提升算法的领域感知能力，MetaDelta++ 采用自动集成的方式来最终的模型集成，将投票、GBM、GLM、Bayes 等集成方法自动化，从而实现领域感知的自适应集成算法。

团队简介

Meta_Learners 团队成员包括计算机系硕士生关超宇与博士生陈虹，由关超宇担任队长，朱文武教授与王鑫助理教授担任指导教师。

2021 清华大学特奖获得者（研究生）、Meta_Learners 团队队长关超宇（左）；博士生陈虹（右）

清华大学计算机系朱文武教授（左）、 王鑫助理教授（右） 。图源：leiphone

该团队自 2015 年起开始布局机器学习自动化方向的研究，已具备丰富的领域知识和深厚的技术积累，曾摘得 NeurIPS 2018 Lifelong-AutoML 比赛高校冠军与 MetaDL 第一届比赛冠军。在本届比赛上，该团队再次以绝对领先的优势卫冕 MetaDL 第二届比赛冠军。

随着各界对元学习研究的进一步深入，该技术已经在多个领域展现了其重要价值，但当前元学习的关键技术发展与日益复杂的真实场景需求仍然存在较大的差距，具有广阔的研究前景。Meta_Learners 团队将着力解决元学习领域的核心问题，推动元学习在更多领域创造社会价值。

参考链接：https://www.cs.tsinghua.edu.cn/info/1088/4740.htm

使用 NVIDIA Riva 快速构建企业级 ASR 语音识别助手

NVIDIA Riva 是一个使用 GPU 加速，能用于快速部署高性能会话式 AI 服务的 SDK，可用于快速开发语音 AI 的应用程序。Riva 的设计旨在帮助开发者轻松、快速地访问会话 AI 功能，开箱即用，通过一些简单的命令和 API 操作就可以快速构建高级别的语音识别服务。该服务可以处理数百至数千音频流作为输入，并以最小延迟返回文本。

12月29日19:30-21:00，本次线上分享主要介绍：