Facebook AI 研究院如今开源了其视频理解代码库,可轻松复现各类基线模型和SOTA算法,同时一并提供了各类的SOTA预训练模型,让使用者轻松的基于前沿算法开展研究和工作,免去了冗长的造轮子和结果复现,同时给予了复现性能上的保证。值得一提的是,PySlowFast一并首次开源了其在CVPR 2019行为检测挑战赛上的冠军模型:
CVPR2019行为检测挑战赛上的冠军模型
PySlowFast不但可以提供视频理解的基线(baseline)模型,还能提供当今前沿的视频理解算法复现。其算法不单单囊括视频识别(video classification),同时也包括行为检测(Action Classification)算法。与当今开源社区中各种视频识别库复现出参差不齐的性能相比,使用PySlowFast可轻而易举的复现出当今前沿的模型。
PySlowFast不单单可以用于视频分类,同时也可用于视频理解,并提供赢得了2019年CVPR ActivityNet Challenge Winner的视频检测模型。
http://static.googleusercontent.com/media/research.google.com/en//ava/2019/fair_slowfast.pdf
行为检测(AVA)
ImageNet预训练(Inflation)
PySlowFast在视频识别,行为检测等任务上的性能表现(节选自https://github.com/facebookresearch/SlowFast/blob/master/MODEL_ZOO.md)
ICCV研讨会开源之后,PySlowFast就一度蝉联GitHub趋势榜的前十,让我们一探究竟,看看可以如何使用PySlowFast:
通过简单的环境配置后便可以使用PySlowFast:
我们下载了作者提供的预训练模型,并对其进行了测试:
我们可轻易得到28.2的STOA的AVA结果:
PySlowFast团队更表示,此工作旨在推动视频理解领域的研究工作,同时将实时添加其前沿工作至其代码库。ICCV2019 Tutorial 有一份教程137页ppt,详细介绍了PySlowFast使用方法。
本文经授权转载自公众号:专知
参考资料:
https://alexander-kirillov.github.io/tutorials/visual-recognition-iccv19/
https://ai.facebook.com/blog/slowfast-video-recognition-through-dual-frame-rate-analysis
https://alexander-kirillov.github.io/tutorials/visual-recognition-iccv19
https://github.com/facebookresearch/SlowFast