整理 | 阿司匹林
出品 | AI科技大本营(公众号ID:rgznai100)
近日,Google AI 宣布第二届 YouTube-8M 视频理解挑战赛正式开启,目前已经有 20 支队伍报名参赛。
YouTube-8M 是 Google 在 2016 年发布的大规模视频数据集,它包含 8,000,000 万个 YouTube 视频链接,并进行了视频层级(video-level) 的标注。
去年 2 月,谷歌对 YouTube-8M 进行了更新,新的数据集除了标签升级,还包含了预计算的音频特征,音频和视觉特征以 1 秒的时间粒度同步,有助于进行联合视听(时间)建模。
去年的第一届 YouTube-8M 视频理解挑战赛共有来自 60 个国家的 742 支队伍参赛,其中来自法国国立计算机及自动化研究院(INRIA)的 WILLOW 团队夺得第一名,第二名到第四名则被中国团队包揽,分别是来自清华大学的 monkeytyping 团队,来自百度深度学习实验室和清华大学的 offline 团队,以及来自复旦大学、中山大学和武汉大学 FDT 团队。
本次挑战赛要求挑战者提交一个紧凑视频分类模型(compact video classification model),模型大小不得超过 1GB。旷视科技南京研究院负责人魏秀参表示,这个要求“很好体现了 CV 做事风格——先做成、再做好、后做精”。
▌评估标准
此次比赛的评估标准为 k= 20 时的全局平均精度(GAP)。参赛者需要提交每个视频的预测标签列表及其相应的置信度分数,Google AI 将对具有最高 k 置信度分数的预测标签进行评估,然后将每个预测和置信度分数作为全局预测列表中的单个数据点,以计算平均精度。
GAP 的计算公式如下:
其中 N 是最终预测的数量(如果每个视频有 20 个预测,则 N = 20 * #Videos),p(i) 是精确率,r(i) 是召回率。
GAP 计算公式的 Python 实现可以在以下地址中找到:
https://github.com/google/youtube-8m/blob/master/average_precision_calculator.py#L179
▌赛程安排
2018 年 7 月 30 日:报名截止
2018 年 7 月 30 日:团队合并截止
2018 年 8 月 6 日:提交和模型上传截止
2018 年 8 月 13 日:论文提交截止
2018 年 8 月 22 日:最终获胜者确认
2018 年 9 月 9 日:YouTube-8M 研讨会(ECCV 2018)
注意:除非另有说明,所有截止日期均为相应日期的 UTC 时间晚上 11:59。其中排名前五的队伍都将获得 5000 美元的奖金,作为参加 ECCV 2018 的差旅费。
比赛详细信息:
https://www.kaggle.com/c/youtube8m-2018#description
☟☟☟点击 | 阅读原文 | 查看更多精彩内容