In this paper, we present our methods for the MediaEval 2020 Flood Related Multimedia task, which aims to analyze and combine textual and visual content from social media for the detection of real-world flooding events. The task mainly focuses on identifying floods related tweets relevant to a specific area. We propose several schemes to address the challenge. For text-based flood events detection, we use three different methods, relying on Bog of Words (BOW) and an Italian Version of Bert individually and in combination, achieving an F1-score of 0.77%, 0.68%, and 0.70% on the development set, respectively. For the visual analysis, we rely on features extracted via multiple state-of-the-art deep models pre-trained on ImageNet. The extracted features are then used to train multiple individual classifiers whose scores are then combined in a late fusion manner achieving an F1-score of 0.75%. For our mandatory multi-modal run, we combine the classification scores obtained with the best textual and visual schemes in a late fusion manner. Overall, better results are obtained with the multimodal scheme achieving an F1-score of 0.80% on the development set.


翻译:在本文中,我们介绍了我们用于MediaEval 2020 Flood 相关多媒体任务的方法,其目的是分析和结合社交媒体的文字和视觉内容,以发现真实世界的洪水事件。任务主要侧重于识别与特定地区相关的洪水相关推特。我们提出了应对挑战的若干计划。对于基于文本的洪水事件探测,我们使用三种不同的方法,依靠文字的图象(Bog of Words)和意大利版的Bert单独和组合,分别达到F1-Score 0.77 % 、 0.68 % 和 0.70 % 的开发数据集。关于视觉分析,我们依靠通过图像网络预先培训的多个最先进的深度模型提取的特征。然后利用这些提取的特征来培训多个个体分类者,这些分类者的分数随后以延迟的组合方式组合在一起,达到0.75 %的F1核心。对于我们强制性的多模式运行,我们以较晚的组合方式将获得的分类分数与最佳文本和视觉计划结合起来。总体而言,我们获得了更好的结果,而多式计划则是在数据集上实现了0.80 %的F1-scorecore 。

0
下载
关闭预览

相关内容

【Twitter】时序图神经网络
专知会员服务
93+阅读 · 2020年10月15日
【DeepMind】强化学习教程,83页ppt
专知会员服务
153+阅读 · 2020年8月7日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
已删除
将门创投
4+阅读 · 2018年1月19日
上百份文字的检测与识别资源,包含数据集、code和paper
数据挖掘入门与实战
17+阅读 · 2017年12月7日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Arxiv
20+阅读 · 2020年6月8日
Clustered Object Detection in Aerial Images
Arxiv
5+阅读 · 2019年8月27日
Arxiv
7+阅读 · 2018年12月5日
Arxiv
4+阅读 · 2018年10月5日
Arxiv
5+阅读 · 2018年5月16日
Arxiv
6+阅读 · 2018年2月8日
VIP会员
相关资讯
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
已删除
将门创投
4+阅读 · 2018年1月19日
上百份文字的检测与识别资源,包含数据集、code和paper
数据挖掘入门与实战
17+阅读 · 2017年12月7日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
相关论文
Arxiv
20+阅读 · 2020年6月8日
Clustered Object Detection in Aerial Images
Arxiv
5+阅读 · 2019年8月27日
Arxiv
7+阅读 · 2018年12月5日
Arxiv
4+阅读 · 2018年10月5日
Arxiv
5+阅读 · 2018年5月16日
Arxiv
6+阅读 · 2018年2月8日
Top
微信扫码咨询专知VIP会员