全球最大规模Deepfake 检测挑战赛揭榜，中科大俞能海张卫明团队获亚军！冠军疑违规50万美元奖金遭取消

【导读】去年9月，Facebook牵头，Microsoft、Amazon和MIT等知名企业与高校联合创建了「Deepfake检测挑战赛」 ，近日比赛结果正式公布。中科大俞能海教授-张卫明教授团队\WM/荣获第二名，原第一名疑违规成绩被取消，引发网友热议。

Facebook牵头创建的「Deepfake检测挑战赛」(Deepfake Detection Challenge，DFDC) 结果正式公布，百万美元大奖都花落谁家？

 

全球最大规模Deepfake检测挑战赛结果出炉，最高准确率达 82.56％

「我不是为了奖金，而是奔着数据来的。」

 

此次DFDC分享了超过100,000个视频的数据集。DFDC 由3,500多名演员和长达38.5天的数据组成，此外主办方还提供了基线模型给参赛队伍。DFDC的目的是帮助全球开发者，加速开发检测模型，以区分AI生成的虚假图像。

      

数据是深度学习的粮食，此次挑战赛Facebook不仅提供了业界领先的数据集，还提供了丰厚的现金奖励，第一名的奖金高达50万美元，这也是Kaggle平台上迄今为止奖金最高的赛事。

这项赛事去年十二月正式推出以来，共有2265个参赛队伍参加，参赛模型超过35000个，最终得出的最高准确率达 82.56％，整体平均精度为 65.18%。

       

现在比赛已经结束，官方分享了详细的结果排名，随后还将与获胜者合作，帮助他们发布高性能检测模型的源代码。

       

此次比赛前10名

 

鏖战数月，中科大团队喜获第二名

值得注意的是，中国科学技术大学网络空间安全学院俞能海教授团队-张卫明教授课题组的\WM/战队，经过三个半月不断的模拟攻防与算法改进，在2265支参赛队伍中突出重围，最终取得了第二名的好成绩，获得30万美元的奖金，这也是国内战队所取得的最好成绩。

              俞能海教授（左）、张卫明教授（右）

 

为了保证此次比赛的公平性，主办方采用了黑盒数据集进行最终结果评定。

验证和评定的数据集是分开的，其中public test（包含4千个视频）用于参赛模型的性能验证，而private test（包含1万个视频）用于最后的成绩评定，不同于一般的比赛， 当参赛队伍提交自己的模型时并不能知道最终的结果如何。

 

本次比赛最大难点在于数据集不匹配。

由于private test数据集是不公开的，且与作为训练数据集的DFDC数据集可能存在较大的差异，因此参赛队伍只能根据public test推测自己的模型性能，训练的成绩很好，到private test上就不一定了，但这种机制能更好的评估模型的泛化能力。此次中科大荣获第二名，也是实力认证。

 

中科大俞能海教授张卫明教授科研团队长期从事多媒体安全与AI安全的相关研究，该团队隶属于中科大信息处理中心，在对抗样本、深度学习模型保护、深度伪造与检测等方向硕果累累，在相关领域顶会CVPR、ICCV、AAAI等发表多篇高水准论文，并取得2019年人工智能顶会IJCAI-Alibaba人工智能算法对抗赛防御赛冠军。

 

检测造假的比赛涉嫌违规？原第一名成绩被取消引热议

关于此次比赛的结果，还引发了一个不小的争议。 原排名第一的队伍「All Faces Are Real 」成绩被取消，原因是他们其中几个模型使用了外部数据进行训练，而提交文档时缺乏相关的授权。

 

主办方认为该队伍违反了「获胜作品提交文档」的有关规定，如果提交文档的任何部分描述、标识或包括了非本次参与者的任何人，则必须提供所描述、标识或包括的个人许可和授权。

 

「All Faces Are Real 」使用了GitHub上开源的flickrface 数据集（部分），团队认为使用的图像是符合比赛规定的，其他参赛队伍也可以免费使用，并且训练过程符合规范。

 

还有一部分是自己创建的Youtube 人脸图像数据集，该部分也按照 CC-BY 许可该许可标明了允许用于商业用途。

 

按照该队伍的描述，他们使用的部分公开数据集，是无法挨个取得个人许可和授权的。官方这一要求太苛刻了。

               

Facebook 感觉团队的某些标记为 CC-BY 的外部数据「明显侵犯了第三方的权利」，但是团队认为是符合规范的，虽然GitHub的数据集flickrface有部分需要商业授权，但他们并未使用这部分。

 

即便「All Faces Are Real 」的第一名成绩被取消，他们还有另一个模型，仅使用了官方数据和 12 个模型的未加权均值，也获得了第七名。

 

下周，在计算机视觉和模式识别(CVPR)会议上，主办方将分享用于构建 DFDC 的原始数据集的详细信息。

 

Deepfake自2017年诞生以来，确实产生过不少麻烦。DFDC这种开放、合作的比赛将帮助整个社会应对Deepfake技术带来的挑战，并帮助人们更好地评估他们在网上看到的内容， 这么大规模的共享数据集、全世界顶尖研究人员共同参与，将帮助人工智能的攻防技术快速迭代。

参考链接：

https://ai.facebook.com/blog/deepfake-detection-challenge-results-an-open-initiative-to-advance-ai/

https://deepfakedetectionchallenge.ai/

https://mp.weixin.qq.com/s/YlhqnTQxPAI-bWVijJmBeA

点击 阅读原文 ，查看更多精彩！

喜欢本篇内容，请点在看