【CVPR2020高分接受论文-3个strong accept-商汤港中文】FineGym:用于细粒度动作理解的分层视频数据集

在公共基准数据集上，当前的动作识别技术已经取得了巨大的成功。然而，在现实世界的应用中，例如体育分析，它需要将一项活动分解成几个阶段，并区分细微不同的动作，它们的性能仍然远远不能令人满意。为了将动作识别提升到一个新的水平，我们开发了FineGym，一个建立在体操视频之上的新数据集。与现有的动作识别数据集相比，FineGym具有丰富、优质和多样性的特点。特别是，它提供了一个三层语义层次的动作和子动作级别的临时注释。例如，一个“平衡木”事件将被注释为来自5个集合的基本子动作序列:“leap-jump-hop”、“beam-turns”、“flight-salto”、“flight-handspring”和“dismount”，其中每个集合中的子动作将被进一步注释为定义良好的类标签。这种新的粒度级别对操作识别提出了重大挑战，例如如何从一个一致的操作解析时间结构，以及如何区分细微不同的操作类。我们系统地研究了该数据集上的代表性方法，并获得了一些有趣的发现。我们希望这个数据集可以促进动作理解的研究。