Computer vision is a rapidly evolving field, giving rise to powerful new tools and techniques in digital forensic investigation, and shows great promise for novel digital forensic applications. One such application, indoor multimedia geolocation, has the potential to become a crucial aid for law enforcement in the fight against human trafficking, child exploitation, and other serious crimes. While outdoor multimedia geolocation has been widely explored, its indoor counterpart remains underdeveloped due to challenges such as similar room layouts, frequent renovations, visual ambiguity, indoor lighting variability, unreliable GPS signals, and limited datasets in sensitive domains. This paper introduces a pipeline that uses electric sockets as consistent indoor markers for geolocation, since plug socket types are standardised by country or region. The three-stage deep learning pipeline detects plug sockets (YOLOv11, mAP@0.5 = 0.843), classifies them into one of 12 plug socket types (Xception, accuracy = 0.912), and maps the detected socket types to countries (accuracy = 0.96 at >90% threshold confidence). To address data scarcity, two dedicated datasets were created: socket detection dataset of 2,328 annotated images expanded to 4,072 through augmentation, and a classification dataset of 3,187 images across 12 plug socket classes. The pipeline was evaluated on the Hotels-50K dataset, focusing on the TraffickCam subset of crowd-sourced hotel images, which capture real-world conditions such as poor lighting and amateur angles. This dataset provides a more realistic evaluation than using professional, well-lit, often wide-angle images from travel websites. This framework demonstrates a practical step toward real-world digital forensic applications. The code, trained models, and the data for this paper are available open source.


翻译:计算机视觉是一个快速发展的领域,为数字取证调查带来了强大的新工具与技术,并在新型数字取证应用中展现出巨大潜力。其中,室内多媒体地理位置识别有望成为执法部门打击人口贩运、儿童剥削及其他严重犯罪的关键辅助手段。尽管室外多媒体地理位置识别已得到广泛研究,但其室内应用仍发展不足,原因包括房间布局相似、频繁装修、视觉模糊性、室内光照变化、GPS信号不可靠以及敏感领域数据集有限等挑战。本文提出一种利用电源插座作为室内一致性标记进行地理位置识别的流程,因为插头插座类型按国家或地区标准化。该深度学习流程分为三个阶段:检测电源插座(YOLOv11,mAP@0.5 = 0.843)、将其分类为12种插座类型之一(Xception,准确率 = 0.912),并将检测到的插座类型映射至对应国家(置信度阈值>90%时准确率 = 0.96)。为应对数据稀缺问题,创建了两个专用数据集:通过数据增强将2,328张标注图像扩展至4,072张的插座检测数据集,以及包含12类插座共3,187张图像的分类数据集。该流程在Hotels-50K数据集上进行了评估,重点关注众包酒店图像子集TraffickCam,这些图像捕捉了光线不佳和业余拍摄角度等真实场景条件。相较于旅游网站专业拍摄、光照充足且常为广角的图像,该数据集提供了更贴近现实的评估环境。本框架为实现实际数字取证应用迈出了切实一步。本文代码、训练模型及相关数据均已开源。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员