自 2021 年 8 月 15 日启动以来,QQ 浏览器 2021AI 算法大赛受到了全球 AI 算法爱好者及业界的广泛关注。整个赛程历时 68 天,覆盖全球 279 个城市,共吸引来自 276 个不同高校、企业和社会的算法精英 1853 人,组成 852 支队伍参赛,进入决赛的 TOP 20 队伍涵盖北京大学、清华大学、复旦大学、香港科技大学、中科院大学、浙江大学等顶尖院校,也有来自德国、加拿大等国际高校的学生,期间共完成了近 7000 次提交。
本届 AI 算法大赛议题设置「多模态视频相似度」和「自动超参数优化」两大赛道,其中
「自动超参数优化」赛道冠军团队为 PKU-DAIR,队伍成员是姜淮钧、沈彧和黎洋,来自北京大学崔斌教授 DAIR 实验室自动化机器学习(AutoML)小组
。
本次大赛的自动化超参数优化赛道,基于信息流推荐的真实业务场景中普遍存在模型或策略效果依赖于「超参数」的问题进行设计。「超参数」的设定往往依赖人工经验调参,不仅效率低下维护成本高,而且难以实现更优效果。大赛基于脱敏后的数据集来评测各个参赛队伍的超参数优化算法。初赛赛题在 30 余个数据集上评估算法执行 100 组超参数推荐的最优效果,决赛赛题将优化预算减半并加入多阶段验证信息供算法执行早停以加速验证过程。
冠军团队 PKU-DAIR 基于实验室自研黑盒优化系统 OpenBox 设计了解决方案,比赛中使用目前学术界最前沿的贝叶斯优化算法进行超参数推荐
。针对验证代价昂贵的超参数优化问题,贝叶斯优化对已有验证历史建模并执行推荐,能够在更少的验证次数内找到更好的结果。决赛中,团队基于异步连续减半算法 ASHA 设计早停方案,并分别以 0.938291 和 0.918753 的高分获得了初赛和决赛的第一名。
除了支持比赛中的单目标超参数优化场景外,黑盒优化系统 OpenBox 还能够支持更广泛的黑盒优化场景,包括多种参数类型、多目标优化、带约束优化、分布式并行优化、迁移学习等,系统论文已在 KDD 2021 发表。目前系统已在多家企业内部使用与部署,帮助企业更好地解决实际场景中的黑盒优化问题。
12 月 27 日 19:00-20:00,机器之心最新一期线上分享邀请到了冠军团队队长、开源黑盒优化系统 OpenBox 和自动化机器学习系统 MindWare 的核心开发者姜淮钧,为大家详细介绍比赛解决方案。
分享主题:
QQ 浏览器 AI 算法大赛自动化超参数优化冠军团队分享
分享摘要:
本次分享由 QQ 浏览器 2021AI 算法大赛自动化超参数优化赛道的冠军团队 PKU-DAIR 介绍比赛解决方案。团队基于开源黑盒优化系统 OpenBox 中的贝叶斯优化算法执行超参数推荐,基于异步连续减半算法 ASHA 设计早停,在初赛和决赛中均获得了第一名。OpenBox 系统支持广泛的黑盒优化场景,助力企业解决实际问题。
分享嘉宾:
冠军团队 PKU-DAIR 队长姜淮钧,也是实验室开源黑盒优化系统 OpenBox、自动化机器学习系统 MindWare 的核心开发者。
分享时间:
2021 年 12 月 27 日 19:00-20:00
直播间:
关注机动组视频号,北京时间 12 月 27 日开播。
交流群:
本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。
如群已超出人数限制,请添加机器之心小助手:syncedai2、syncedai3、syncedai4 或 syncedai5,备注「优化」即可加入。
机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。