【NeurIPS2024】MECD：解锁视频推理中的多事件因果发现

视频因果推理旨在从因果关系的角度实现对视频内容的高级理解。然而，当前的视频推理任务范围有限，主要是在问答范式中执行，且集中于只包含单一事件和简单因果关系的短视频，缺乏对多事件视频的全面和结构化的因果分析。为填补这一空白，我们引入了一项新任务和数据集：多事件因果发现（MECD）。其目标是在长视频中揭示按时间顺序分布的事件之间的因果关系。给定视觉片段和事件的文本描述，MECD要求识别这些事件之间的因果关联，以生成一个全面、结构化的事件级视频因果图，解释为何以及如何最终结果事件发生。 为应对MECD，我们设计了一个受Granger因果方法启发的新框架，使用基于掩码的高效事件预测模型进行事件Granger测试。通过比较掩码和未掩码的前提事件时预测的结果事件，估算因果关系。此外，我们还集成了因果推断技术，例如前门调整和反事实推理，以应对MECD中的因果混淆和虚幻因果等挑战。实验验证了我们框架在提供多事件视频因果关系上的有效性，分别超越了GPT-4o和VideoLLaVA 5.7%和4.1%。