Extended reality (XR) research increasingly relies on the ability to stream and synchronize multimodal data between headsets and immersive applications for data-driven interaction and experimentation. However, developers face a critical gap: the Platform for Situated Intelligence (psi), which excels at deterministic temporal alignment and multimodal data management, has been largely inaccessible to the dominant Unity/MRTK ecosystem used for HoloLens development. We introduce psiUnity, an open-source C# integration that bridges psi's .NET libraries with Unity 2022.3 and MRTK3 for HoloLens 2. psiUnity enables bidirectional, real-time streaming of head pose, hand tracking, gaze, IMU, audio, and depth sensor data (AHAT and long-throw) with microsecond-level temporal precision, allowing Unity applications to both consume and produce synchronized multimodal data streams. By embedding psi's native serialization, logging, and temporal coordination directly within Unity's architecture, psiUnity extends psi beyond its previous StereoKit limitations and empowers the HRI, HCI, and embodied-AI communities to develop reproducible, data-driven XR interactions and experiments within the familiar Unity environment. The integration is available at https://github.com/sailgt/psiUnity.


翻译:扩展现实(XR)研究日益依赖于头戴设备与沉浸式应用之间多模态数据的流式传输与同步,以实现数据驱动的交互与实验。然而,开发者面临一个关键缺口:在情境智能平台(psi)中,其卓越的确定性时间对齐与多模态数据管理能力,对于HoloLens开发中主流的Unity/MRTK生态系统而言,一直难以有效接入。本文介绍psiUnity,这是一个开源的C#集成方案,它将psi的.NET库与用于HoloLens 2的Unity 2022.3及MRTK3相连接。psiUnity支持头部姿态、手部追踪、视线、惯性测量单元(IMU)、音频以及深度传感器数据(AHAT与长距离)的双向实时流式传输,并达到微秒级的时间精度,使Unity应用既能消费也能生成同步的多模态数据流。通过将psi的原生序列化、日志记录与时间协调机制直接嵌入Unity架构,psiUnity突破了此前在StereoKit上的局限,赋能人机交互(HRI)、人机界面(HCI)及具身人工智能(embodied-AI)领域的研究者,在熟悉的Unity环境中开发可复现、数据驱动的XR交互与实验。该集成方案可在 https://github.com/sailgt/psiUnity 获取。

0
下载
关闭预览

相关内容

图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员