Wearable sensors, such as smartwatches, have become increasingly prevalent across domains like healthcare, sports, and education, enabling continuous monitoring of physiological and behavioral data. In the context of education, these technologies offer new opportunities to study cognitive and affective processes such as engagement, attention, and performance. However, the lack of scalable, synchronized, and high-resolution tools for multimodal data acquisition continues to be a significant barrier to the widespread adoption of Multimodal Learning Analytics in real-world educational settings. This paper presents two complementary tools developed to address these challenges: Watch-DMLT, a data acquisition application for Fitbit Sense 2 smartwatches that enables real-time, multi-user monitoring of physiological and motion signals; and ViSeDOPS, a dashboard-based visualization system for analyzing synchronized multimodal data collected during oral presentations. We report on a classroom deployment involving 65 students and up to 16 smartwatches, where data streams including heart rate, motion, gaze, video, and contextual annotations were captured and analyzed. Results demonstrate the feasibility and utility of the proposed system for supporting fine-grained, scalable, and interpretable Multimodal Learning Analytics in real learning environments.


翻译:可穿戴传感器(如智能手表)在医疗保健、体育和教育等领域日益普及,能够持续监测生理与行为数据。在教育领域,这些技术为研究认知与情感过程(如参与度、注意力和表现)提供了新的机遇。然而,缺乏可扩展、同步且高分辨率的多模态数据采集工具,仍然是多模态学习分析在实际教育场景中广泛采用的主要障碍。本文介绍了为解决这些挑战而开发的两款互补工具:Watch-DMLT——一款用于Fitbit Sense 2智能手表的数据采集应用,支持多用户生理与运动信号的实时监测;以及ViSeDOPS——一个基于仪表盘的可视化系统,用于分析口头演示期间采集的同步多模态数据。我们报告了一项涉及65名学生、最多使用16块智能手表的课堂部署案例,其中采集并分析了包括心率、运动、视线、视频和上下文标注在内的数据流。结果表明,所提出的系统在真实学习环境中支持细粒度、可扩展且可解释的多模态学习分析具有可行性和实用价值。

0
下载
关闭预览

相关内容

CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员