Facebook AI Research首次开源ICCV冠军模型!视频识别与行为检测最新利器PySlowFast来了

2020 年 1 月 13 日 新智元



  新智元推荐 

来源:专知
【新智元导读】视频理解领域必不可少的利器之一最新出炉!Facebook AI Research隆重推出视频理解代码库PySlowFast,可帮助使用者在视频识别、行为检测等任务中轻易复现基线模型和诸多SOTA的算法。Facebook还首次开源了其在CVPR 2019行为检测挑战赛上的冠军模型。戳右边链接 新智元小程序 了解更多!


Facebook AI  Research 在近期的博文中公布了其在ICCV研讨会最新开源的视频理解代码库: PySlowFast。 其代码库可帮助使用者在视频识别(Video Classification)、行为检测(Action Detection)等任务中轻易复现现今的基线模型和诸多SOTA的算法,可谓是视频理解领域必不可少的利器之一。

项目地址:
https://github.com/facebookresearch/SlowFast


视频理解是如今相当流行的研究方向,但不同于图像相关的研究,视频理解中庞大的数据集和巨大的模型,让很多视频研究难以开展。想要复现一个STOA的模型,更是可能耗时数周甚至数月。Facebook AI 研究院近些年在视频理解领贡献了许多有趣的研究工作,如今其团队更是在ICCV研讨会上开源了其全新的基于PyTorch的视频理解代码库:PySlowFast。


Facebook AI 研究院如今开源了其视频理解代码库,可轻松复现各类基线模型和SOTA算法,同时一并提供了各类的SOTA预训练模型,让使用者轻松的基于前沿算法开展研究和工作,免去了冗长的造轮子和结果复现,同时给予了复现性能上的保证。值得一提的是,PySlowFast一并首次开源了其在CVPR 2019行为检测挑战赛上的冠军模型:


CVPR2019行为检测挑战赛上的冠军模型


PySlowFast不但可以提供视频理解的基线(baseline)模型,还能提供当今前沿的视频理解算法复现。其算法不单单囊括视频识别(video classification),同时也包括行为检测(Action Classification)算法。与当今开源社区中各种视频识别库复现出参差不齐的性能相比,使用PySlowFast可轻而易举的复现出当今前沿的模型。


在其教程中,我们可以看出,PySlowFast仔细的处理了众多视频识别和行为检测的细节,包含Decoding,Interpolation,BatchNorm,Network Architecture,Multi-View Ensemble等等诸多问题,保证其模型的准确性和代码的可复现性。(更多细节可参考其ICCV教程ppt)。



与此同时,PySlowFast遵从了众多深度学习研究中的设计,使代码库更便于使用(easy tohack)。


笔者参考了github上各类开源项目对同一模型的复现结果,发现不同项目的复现性能往往有很大的区别,而PySlowFast始终可以复现出STOA的高性能结果:

视频识别(Kinetics)


PySlowFast不单单可以用于视频分类,同时也可用于视频理解,并提供赢得了2019年CVPR ActivityNet Challenge Winner的视频检测模型。


http://static.googleusercontent.com/media/research.google.com/en//ava/2019/fair_slowfast.pdf


行为检测(AVA)



ImageNet预训练(Inflation)



PySlowFast在视频识别,行为检测等任务上的性能表现(节选自https://github.com/facebookresearch/SlowFast/blob/master/MODEL_ZOO.md)



ICCV研讨会开源之后,PySlowFast就一度蝉联GitHub趋势榜的前十,让我们一探究竟,看看可以如何使用PySlowFast:


通过简单的环境配置后便可以使用PySlowFast:



我们下载了作者提供的预训练模型,并对其进行了测试:


 

我们可轻易得到28.2的STOA的AVA结果:



PySlowFast团队更表示,此工作旨在推动视频理解领域的研究工作,同时将实时添加其前沿工作至其代码库。ICCV2019 Tutorial 有一份教程137页ppt,详细介绍了PySlowFast使用方法。


本文经授权转载自公众号:专知


参考资料:

https://alexander-kirillov.github.io/tutorials/visual-recognition-iccv19/ 

https://ai.facebook.com/blog/slowfast-video-recognition-through-dual-frame-rate-analysis

https://alexander-kirillov.github.io/tutorials/visual-recognition-iccv19

https://github.com/facebookresearch/SlowFast


登录查看更多
0

相关内容

【CVPR2020-谷歌】多目标(车辆)跟踪与检测框架 RetinaTrack
专知会员服务
44+阅读 · 2020年4月10日
专知会员服务
109+阅读 · 2020年3月12日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
【紫冬快讯】夺冠!自动化所团队拔得CVPR2019 UG2+人脸识别竞赛头筹
中国科学院自动化研究所
9+阅读 · 2019年6月22日
学界 | Facebook、谷歌分别改进何恺明 FPN 工作
AI科技评论
11+阅读 · 2019年4月19日
快醒醒,一大波最新 AI 论文加开源代码来袭!
PaperWeekly
3+阅读 · 2018年4月19日
SlowFast Networks for Video Recognition
Arxiv
4+阅读 · 2019年4月18日
Arxiv
6+阅读 · 2018年4月23日
Arxiv
8+阅读 · 2018年1月25日
Arxiv
7+阅读 · 2018年1月24日
Arxiv
4+阅读 · 2016年12月29日
VIP会员
相关论文
SlowFast Networks for Video Recognition
Arxiv
4+阅读 · 2019年4月18日
Arxiv
6+阅读 · 2018年4月23日
Arxiv
8+阅读 · 2018年1月25日
Arxiv
7+阅读 · 2018年1月24日
Arxiv
4+阅读 · 2016年12月29日
Top
微信扫码咨询专知VIP会员