指挥侦察区域协调和控制环境网络(CRACCEN)是加拿大国防研究与发展部(DRDC)-大西洋研究中心正在开发的决策辅助系统,旨在彻底改变加拿大皇家海军(RCN)进行水下战争(UWW)的方式。本科学报告概述了CRACCEN系统的高级目标和要求,并审查了几个研究领域,以确定开发该系统的适当候选技术。根据任务要求和UWW任务环境的特点,对各种潜在的显示和输入硬件技术进行了评估。审查结果表明,应采用能够容纳一组同时使用的桌面显示器作为CRACCEN系统的中央显示器,并有可能使用其他显示器和显示模式来增强UWW团队的能力。建议与主题专家(SMEs)进一步研究,以验证这些显示器的可行性、可用性和附加值,并反复设计适合显示器类型和CRACCEN用户需求的界面。
皇家海军有一个长期目标,即彻底改变WW的行为并使之现代化,而指挥侦察区域协调和控制环境网络CRACCEN系统将在这个目标中发挥核心作用。为了进行CRACCEN系统的开发和原型设计,需要有适当的技术来适应任务的要求和任务环境的条件。本报告针对这些要求审查和分析了各种潜在的显示和输入技术,并为原型开发和未来研究提供了具体建议,以便最终整合到CRACCEN中。
加拿大皇家海军(RCN)正致力于水下战争(UWW)的革新和现代化。指挥部侦察区协调和控制环境网络(CRACCEN)项目是实现这一目标的第一步。该项目不是对UWW系统的各个部分进行渐进式的改进,而是旨在重新思考现有的指挥和控制(C2)结构。虽然用革命性的新系统和结构取代现有系统和结构的潜力为精简和改善UWW的行为提供了宝贵的机会,而不受现有系统的限制,但项目的开放式性质带来了新的复杂性。
也就是说,这样一个革命性的系统应该是什么样子的问题是完全开放的。任何数量的现有的、新兴的或未来的显示和交互技术都可以应用于这个问题,并具有不同程度的有效性。为了进行CRACCEN系统的开发和原型设计,必须缩小设计空间,并选择适当的技术。本科学报告针对CRACCEN系统要完成的任务要求,对现有的显示和输入技术进行了审查,并对技术选择和未来研究提出了具体建议。
本报告的组织结构如下。
第2节描述了CRACCEN项目和系统,并利用以前的工作来定义系统要求,为随后的审查和分析奠定基础。
第3节讨论了这次综合审查所采取的方法。
第4节回顾了可能应用于CRACCEN系统的技术。
第5节评估了这些技术在两类限制条件下的适用性:UWW团队使用CRACCEN系统所要完成的任务的特点,以及舰载UWW任务环境的条件。
第6节从综合审查的结果中得出了显示和输入技术选择的建议,并概述了验证和建立这些建议所需的未来研究。
第7节对CRACCEN系统的显示和输入技术选择进行讨论。
在漫长的和平时期,在皇家海军内部进行UWW需要最小的现代化。相比之下,在同一时期,技术领域发生了巨大的变化,因此进行UWW的环境也发生了变化。2017年,加拿大国防研究与发展部(DRDC)--大西洋研究中心对科学与技术总监--海军发布的直接客户支持任务做出了回应,该系统将使RCN计划和进行UWW的方式现代化和革命化[1]。DRDC-大西洋研究中心的提案包括一个为期五年的系统研究和开发项目,以彻底改变现有的预测性态势感知、战斗空间管理、作战计划和任务执行的方法和程序[2]。
早期的一份内部出版物将CRACCEN项目分解为可操作的工作分解要素(WBEs),涵盖了彻底改变UWW行为所需的广泛努力[2]。本报告属于WBE 1:革命性C2系统的设计概念,其目标是为CRACCEN开发设计概念和工作流程,并确定可视化的最佳方法。CRACCEN系统的开发预计将远远超过本项目的五年时间框架,其目的只是为革新的WWW系统奠定基础。在本报告中,对CRACCEN的提及是指预期的未来系统,而不是五年期项目。
CRACCEN系统旨在通过自动信息整理、环境预测、实时建模和模拟工具以及新型决策支持工具来支持UWW指挥团队[2]。目前WW指挥小组的规划和决策结构是,小组成员操作各自的桌面软件,手工整理数据以发展态势感知(SA),并为作战方案(COA)的开发和任务规划编制自己的视觉辅助工具[3]。相比之下,CRACCEN系统的概念是成为一个中央协作环境,为指挥小组提供与其任务规划和决策相关的所有信息,并支持小组讨论、协作制定COA,以及建立和维护共享SA。
本报告的主要重点是CRACCEN的协作界面,供指挥小组使用。正如定向客户支持的海军命令所描述的,CRACCEN应涉及一个协作界面,能够显示动态(如海洋条件预测、环境风险评估、水下威胁轨迹)和静态(如图示沉船、海洋哺乳动物目击、历史测深)信息层,以便为UWW任务规划和执行提供一个中央指挥和控制环境[4]。在本报告的范围之外,该系统将更广泛地涉及一个广泛的信息骨干和一套算法,以支持这些数据的自动收集、整理、处理、分析、共享和动态可视化[2] 。
可以采用一些半正式和描述性的分析来描述C2环境的性质,目的是为了改进C2工作系统。分层目标分析(HGA)确定了工作系统需要实现的目标,以支持其操作者[5]。因为HGA关注的是可能是非线性或平行的目标,而不是使用当前系统完成目标的线性任务流,所以它是一种理想的分析方法,可以为设计新的或革命性的系统(如CRACCEN)得出需求[6]。
过去的工作利用HGA[3][7][8][9]探讨了RCN中UWW C2环境的性质。最近的一份报告具体确定了在设计CRACCEN时需要考虑的四个高层次目标[10]。为实现这些目标,对CRACCEN的要求描述如下。
1.评估准备情况。CRACCEN应自动收集和整理有关自身舰艇和任务组(TG)资产状态(如位置、方位、武器状态、传感器状态和定位)的信息,并在接到命令后,以易于解析和直观互动的空间可视化媒介向UWW小组提供这些信息。
2.规划和管理。CRACCEN应通过以下方式促进短期和长期规划工作:a)自动收集和整理来自多个数据流的数据,以协助建立公认的海上图景;b)使用人工智能(AI)预测数据流的未来状态,并提出规划建议;c)提供工具,帮助UWW团队合作建立、可视化和颁布COA和计划。
3.维护SA。CRACCEN应简化SA的开发并使其自动化,以便在中央显示器上向UWW团队提供行动区(AOO)的实时概览。这将减少相关信息被忽视的可能性,将认知负担降到最低,并使团队能够专注于任务规划和执行任务。CRACCEN中央显示器显示与SA相关的信息,也可以让UWW团队成员之间共享SA,从而促进COA的合作开发。
4.行动任务。CRACCEN应通过以下方式促进任务的执行:a)将多种信息来源(如水深测量、战术、关于所看到的敌人行为的历史数据、情报)纳入预测敌方潜艇活动高风险区域的算法;b)使用人工智能预测以前看到的潜艇的未来位置;以及c)为传感器和资产布置提出建议,以便最好地保护TG免受威胁。
这些高层次的目标之间存在重叠和相互依赖,它们共同阐明了CRACCEN的预定和预期用例。本报告的重点是能够支持这些要求的显示和输入技术。
可以在上述要求的基础上建立技术选择的初步约束。为了满足CRACCEN的要求,至少需要一个中央显示器;这个中央显示器的确切性质和互动方法有待探讨。由于WWW必然发生在一个三维(3D)空间,从水面到海底,所以也必须考虑三维显示能力,以最好地支持SA。本报告将探讨几种三维显示的方法,以确定其与CRACCEN整合的可行性。最后,UWW团队的每个成员都是各自领域和角色的专家,他们需要在CRACCEN促进的合作工作中完成持续的个人工作。事实上,任务规划和执行的合作工作取决于个人对问题的专业知识。因此,也应考虑将多个显示器结合起来,灵活地融合个人和小组工作。
尽管与上级指挥部或其他TG成员进行远程协作的能力可能是未来需要的一种能力,但目前的工作仅集中在同地办公的情况下。
已经进行了任务分析、目标分解分析和任务分析,以确定预期使用CRACCEN的人员,并通过与主题专家(SMEs)的访谈加以证实[10][11] 。预计使用该系统的人员包括反潜计划官员(ASPO)、反潜战指挥官(ASWC)、指挥官(CO)、当前行动官员(COpsO)、未来行动官员(FOpsO)、水下部队追踪协调员(FTC-SS)、行动室官员(ORO)、声纳控制主管(SCS)和水下战争主管(UWWD)。这些用户共同组成了UWW的指挥团队,尽管所有这些角色都不可能同时参与规划和决策。CRACCEN应能容纳三到五个同时在同一地点的用户,并能根据需要灵活地容纳更多的用户。
本报告的中心研究问题可以概括为 "哪些显示和输入技术最适合于为WW指挥小组提供革命性的决策辅助工具的预期使用情况?" 即使在这种最简化的形式下,这个问题也跨越了几个学科,因为它必须考虑到显示和输入技术、要完成的任务的特点以及环境和其他实用的限制。其中一些学科包括C2、工程、人体工程学、人机交互、人类因素、团队认知和心理学。因此,本报告的方法遵循综合评论的方法,其目的是通过回顾和综合现有的文献,对一个主题产生新的框架和观点[12]。当一个研究问题过于宽泛或跨学科,无法进行完全系统的回顾时,这种文献回顾的方法特别有用。
研究问题(即,哪些显示和输入技术最适合于WWW指挥小组的革命性决策辅助工具的预期使用情况)可以分解为三个不同的部分,需要采用不同的文献搜索和审查方法。(1)潜在技术的描述;(2)技术对团队工作和协作的适用性;以及(3)技术对UWW团队完成任务的船上环境条件的适用性。第5节综合了所有三个方面的审查结果,可与附件A中提供的结果汇总表一起阅读。
综合性审查所参考的数据库有。电气和电子工程师协会(IEEE)Xplore、Inspec、ScienceDirect、加拿大国防信息数据库(CANDID)、国防技术信息中心(DTIC)和谷歌学术。
对于下面描述的所有文献搜索,结果仅限于那些用英语写的,并且在2010年至2022年之间发表的文献,以确保调查结果与当前和未来的需求相关。不是来自同行评议的期刊文章、书籍章节、会议记录或军事报告的结果被放弃考虑。根据已发表的关于最佳实践的文献,对谷歌学术数据库的搜索只限于前100个结果,按相关性排序[13]。对DTIC技术报告数据库的搜索也同样受到限制,因为该数据库由谷歌提供,即使搜索结果超过100条,也不会显示超过前100条按相关性排序的结果。对于所有其他的数据库,没有这种限制。
对于所有的搜索,感兴趣的关键词必须包含在摘要或文件标题中1。阅读所有结果的标题和摘要,评估其相关性,并在认为不相关的情况下予以舍弃;例如,在搜索中产生的关于某项技术是否适合团队工作的结果,如果实际上与团队活动无关,则予以舍弃。保留下来的项目被充分阅读,并进一步筛选其相关性。在阅读过程中,扫描了参考文献列表,以寻找数据库搜索中没有发现的其他相关参考文献。这些二手资料被标记出来,并以类似的方式进行评估;这些二手资料不考虑出版年份,因为它们通常提供背景信息或更多的基础性证据。
在某些情况下,在数据库搜索中发现的文章显示了与研究问题直接相关的专门议题的会议记录(例如,IEEE水平互动人机系统国际研讨会)。在这些情况下,对会议记录进行了手工搜索,以获得更多的相关结果。
对于这方面的审查,潜在技术领域来自第2节讨论的系统要求。也就是说,CRACCEN将需要至少一个中央显示屏,并有可能将显示屏增加到三维空间。技术审查的结果可在第4节找到。
对显示技术的描述是从现有的评论文章中发展出来的,这些文章用于定义可能的技术空间。在描述二维(2D)显示技术时,没有参考任何评论文章,因为该技术已经很成熟了,在以后考虑输入方法和任务需求时,会出现最有意义的差异。两篇评论文章为三维显示技术的回顾提供了基础[14][15]。在讨论扩展现实时还参考了其他评论文章,其中包括增强现实(AR)和虚拟现实(VR)头戴式显示器(HMD),以及手持设备的AR[16][17]。
在这一方面的审查中,使用关键词 "团队工作"、"团队"、"协作 "和 "小组工作",对具体与团队工作有关的个别技术或技术类别进行了搜索。为每项技术选择的其他关键词列于表1。这一部分的审查结果收集在第5.1节中讨论。
表1:用于审查显示和输入技术是否适合团队工作的搜索词列表。
主题 | 关键词 |
---|---|
显示屏尺寸 | 显示尺寸、屏幕尺寸、大型显示器 |
显示方向 | 桌面、水平显示、水平屏幕、垂直显示、垂直屏幕、显示方向、屏幕方向 |
鼠标输入 | 鼠标输入、电脑鼠标、多用鼠标 |
笔输入 | 手写笔,手电筒,笔输入,多笔,笔触摸 |
触摸输入 | 触摸屏,触摸屏,触摸输入,多点触摸 |
轨迹球输入 | 轨迹球 |
文本输入 | 文本输入,键盘,语音识别,手写 |
3D显示器 | 3D眼镜,眼镜,3D显示,视差显示 |
扩展现实 | 虚拟现实、增强现实、扩展现实、共处一地、共处一地 |
本综述的范围集中在真实人类的同地协作上,因此放弃了与远程协作和人类-机器人协作有关的结果。大部分关于扩展现实技术的搜索结果都与远程和/或网络协作设置有关。因此,在这个特定的搜索中加入了额外的关键词 "共同定位或共同定位",以排除这些结果,并更好地集中在感兴趣的结果上。
在这方面的审查中,使用关键词 "人机工程学",对个别技术或技术类别的人机工程学特性进行了搜索。每个技术或技术类别所使用的其他关键词与表1中给出的相同。请注意,在这些搜索中,为了获得更多的结果,出版年份的纳入范围被扩大到2000-2022年。
这些搜索还辅以针对眼睛疲劳和网络病主题的搜索,这些都是已知的问题,特别是对于VR和AR HMD来说。请注意,对于这些有针对性的搜索,作者把重点放在比较技术的实验和评论研究上,而不是测试可能的病因或探索实时检测和预测现象的广泛的实验研究。最后,有针对性地搜索了船上UWW任务环境的已知环境条件对显示和输入技术的影响:船舶运动和振动。
这些补充搜索的关键词在表2中给出。这一部分的审查结果收集在第5.2节中讨论。
表2:用于审查UWW任务环境的显示和输入技术的适用性的补充搜索词列表。
主题 | 关键词 |
---|---|
眼睛疲劳 | 眼睛疲劳,视觉疲劳,虚拟现实,增强现实,HMD,头戴式显示器 |
晕机 | 晕机,模拟器晕机,虚拟现实,增强现实,头戴式显示器,头戴式显示器 |
船舶运动和振动 | 船舶运动,物理运动,发动机振动,运动技能,手动控制,输入设备,文本输入,虚拟现实,增强现实,人为因素 |
本审查概述了CRACCEN可能考虑的显示和输入技术。本节无意对所有可能的显示和输入技术进行深入审查,而是对许多至少大致符合先前确定的系统要求的技术进行简要概述,以便在第5节中更仔细地探讨它们是否适合CRACCEN。
二维显示器是人们熟悉的、无处不在的技术,有各种各样的尺寸。对于CRACCEN来说,中央二维显示器的目标尺寸是大到足以容纳多个用户,但又不至于大到不适合安装在军舰上。二维显示器的方向也同样可以变化,从垂直方向到水平方向,或以垂直和水平之间的某个角度倾斜。
大型显示器的尺寸和方向对一些设计限制有影响,这些限制将在第5节中考虑,包括有多少用户可以同时观看和与显示器互动,各种输入方法的可行性,以及显示器的人体工程学。水平方向的二维显示器在面向多个用户时通常被称为桌面显示器,因为它们允许用户站在或坐在一个桌子大小的水平显示器周围,从上面向下看信息。桌面显示器经常被用来以数字方式重现围绕物理桌面的协作工作的体验。在本报告中,"桌面显示器 "一词将被用来指代这种水平方向的二维显示器。
从水面延伸到海底的UWW场馆是三维的。因此,二维显示器准确表现AOO的能力有内在的限制。UWW团队目前使用各种二维图形系统进行操作,但CRACCEN的开发代表了一个彻底改变和简化工作流程的机会。尽管三维空间可以从二维视图的组合和/或操作中推断出来,但提供一个直观的三维视图可能会减轻WWW团队的认知负担,并释放出额外的精神资源来完成他们所需的复杂的任务规划和执行任务[18]。以下是对三维显示技术的简要概述,这是从最近的两篇评论文章中整理出来的[14][15]。虽然许多三维显示技术的开发只是为了显示目的(即不考虑用户互动),但下面的重点是那些已经开发了互动机制的三维显示技术,以满足CRACCEN的要求。
也许最熟悉的3D显示器类型是波长选择立体系统,它向用户展示两个略微偏移和色变的图像。用户戴上特殊的立体眼镜,过滤信息,使每只眼睛只能看到特定的波长(即颜色),当两幅图像被大脑合并时,其效果就是三维视图[19]。类似的系统使用偏振镜来过滤掉每只眼睛的不同图像,每幅图像要么同时呈现[20],要么非常快速地连续呈现[21]。
自动立体(AS)系统通过向每只眼睛呈现略微不同的信息来唤起深度幻觉,从而允许在没有任何特殊眼镜的情况下对3D场景进行立体观看。这些系统可以是时间顺序的,以快速交替的顺序从两个不同的方向(即分别朝向一只眼睛)呈现光线[22];或者是时间平行的,在观看者和显示器之间有一个层,同时向每只眼睛呈现略有不同的画面。虽然AS消除了对专门的可穿戴设备的需求,但它往往需要其他高度专业化的硬件(例如,[23][24])。其他的AS三维显示系统产生多个不同的、略微偏移的图像,每个图像只在有限的观察区域内可见,因此每次只对一只眼睛可见[25][26][27][28]。当用户移动她的头部时,她就会在观察区中移动,从而改变三维物体的视图。最后,容积式三维显示器通过照亮悬浮在半空中的容积式像素,在真正的三维空间中呈现图像,通常是在一个封闭的表面内[29]。体积显示需要专门的硬件(即显示体积),并产生高计算成本。
扩展现实是一个总括性术语,包括虚拟和现实环境的结合,特别强调沉浸感和互动:扩展现实技术允许用户不仅查看虚拟的三维信息,而且在真实或虚拟环境中移动时与真实或虚拟物体互动。
根据[15]的分类法,虚拟现实(VR)和增强现实(AR)头戴式3D显示器(HMD)是采用先进立体眼镜的双视角立体显示器。然而,它们在此类技术中有些特别,因为它们提供了完全的视差体验,其中3D视图随着头部的水平和垂直运动而变化。因此,近年来它们比非沉浸式3D显示器获得了更多的关注和研究努力。下文将单独考虑每一种,以及手持式AR和空间AR。
VR HMDs将一个虚拟渲染的环境投射到安装在用户眼前的小型光学显示器上,以获得完全沉浸式的体验[14][16]。在HMD内,用户不能看到外部世界,包括他们自己的身体和手,除非外部世界的物体被跟踪并在虚拟世界内再现。因此,用户通常被赋予相机追踪的手持遥控器,以便与虚拟世界互动。VR HMD通常通过直接放置在HMD上的扬声器向用户展示听觉信息。
目前一些常用的商业VR HMD系统是HTC Vive(HTC)和Oculus Rift(Meta Technologies, LLC)。这两个系统目前都需要将HMD,也就是用户的头部,与一台功能强大的电脑进行物理连接,并且建议每台电脑只能连接一个头显,以确保显示的虚拟环境的低延迟。这两种系统也都采用了手持式控制器,使用户能够浏览虚拟环境并与虚拟物体互动。一些VR系统采用头戴式摄像机,而另一些则需要一套外部摄像机来跟踪头戴式摄像机和控制器的运动。外部摄像机每次移动时都必须仔细校准,因此一般建议在校准后保持在一个地方。其他消费级的VR HMD系统已经被开发出来,在不使用外围摄像头或系绳的情况下也能发挥作用(例如,Oculus Go、Oculus Quest、Lenovo Mirage)。
AR HMDs是将虚拟渲染的元素叠加到用户对真实世界的看法上的设备[14][16]。面向前方的摄像头跟踪现实世界环境的三维结构,面向用户的传感器跟踪头部和/或眼睛的运动,使用户能够通过在物理空间中的移动从各个角度观看三维物体。面向前方的摄像头也可以用来跟踪用户的手部运动,从而使他们能够操纵虚拟物体。与VR HMD一样,AR HMD通常通过设置在HMD耳朵附近的扬声器直接向用户呈现听觉信息。
与VR HMD一样,AR HMD也可以在用户眼前有一个完整的视频屏幕,然后呈现真实世界的视频资料并与虚拟物体重叠。然而,更常见的是,AR HMD屏幕是透明的,允许直接看到现实世界,然后在一定的视觉范围内与虚拟物体重叠。微软Hololens2是目前最常用的透明AR HMD的例子。
用户可以通过举起手持设备(如智能手机、平板电脑)作为虚拟增强环境的窗口来体验视频传输的AR,而不是佩戴HMD[16][17]。设备中面向前方的摄像头可以感知真实的三维环境,并将实时视频传输到手持显示器上,与虚拟渲染的物体一起呈现。当用户(或设备)在物理空间中移动时,来自设备的加速计和陀螺仪数据帮助系统跟踪运动并准确地渲染三维物体,而设备的触摸屏允许用户与显示在上面的虚拟物体进行互动。
空间AR,也被称为有形AR,使用相机和投影仪系统来跟踪环境中的物理对象,并将虚拟信息投射到它们身上。这使得用户可以有形地查看和互动物理物体,这些物体被数字增强了额外的视觉信息,不需要眼镜、HMD或专门的显示器[17][30]。该技术可用于在实物上显示补充文字注释,在无纹理的物体上展示纹理,为用户提供进入物体三维内部的虚拟视图,或将非数字物体(如一张纸)转化为数字显示。常见的空间AR系统采用了一个桌面沙盘,用户可以在沙盘中移动沙子以使物理景观变形,环境细节可以通过光学方式投射在沙盘上。
空间AR对建筑和设计领域特别有用(例如,能够与新产品的快速数字模拟进行物理互动),也可用于某些培训目的(例如,能够将3D器官投射到物理假人上进行手术培训)。然而,它对WW战斗空间的有用性是值得商榷的,因为期望的互动目标是整个AOO的表面和次表面。尽管将WW的战斗空间投射到一个大的物理3D盒子上可以帮助一般的SA,但用户的互动将受到物理盒子的外部尺寸的限制。操作的自由度将不足以支持探索和与该三维空间的互动,以进行任务规划和执行。因此,本报告中没有进一步考虑空间AR。
如第2节所述,CRACCEN的要求建议至少有一个用于规划和决策的中央二维团队显示屏,一种纳入互动三维信息的方法,以及纳入多个显示屏的可能性。本报告的主要考虑是显示和输入技术对团队工作和协作的适用性。次要考虑的是每种技术是否适合于船上UWW任务环境的特殊限制。技术对个人工作的适用性被认为是一个基线,特别是涉及到输入方法和人体工程学的选择,这在协作环境中并不经常被研究。附件A中列出了一个总结研究结果的表格,这有利于在不同技术之间进行直接比较。
同时使用CRACCEN的人数可能会对适当的二维中央显示技术产生重要制约。早期的任务、使命和工作分析结果表明,CRACCEN应该能够容纳三到五个同地的中小企业,并根据需要为更多的用户提供空间[10][11]。由于预计多个用户将同时与CRACCEN互动,应考虑将更大的显示器(即大于32英寸)作为CRACCEN的中心显示技术。最近对大型显示器的审查发现,在促进交流、协调和工作空间意识方面,大型显示器比更传统的单个显示器(如台式机、笔记本电脑)有明显的优势[32]。直接比较 "小"(17英寸)和 "大"(33英寸)显示器的研究表明,大显示器比小显示器更容易支持协作任务活动的公平分配[33](参见[34],该研究发现较小的中央显示器增加了交流的数量,这可能是对较小和不太有效的信息显示的一种补偿)。手持二维显示设备本身并不是协作工作的理想选择,因为相对于较大的共享工作空间而言,它们阻碍了交流,降低了工作量的公平性,也降低了解决方案的质量[35]。海军舰艇上的空间限制通常为中央二维显示器的尺寸提供了实际的上限,尽管以前的工作表明,全墙(如120英寸)显示器可以改善陆上指挥中心的军事指挥团队的共享SA[36][37]。
屏幕显示方向包括垂直、水平(如桌面),或介于垂直和桌面方向之间的倾斜显示。需要用户花大部分时间与系统互动的任务可能更受益于垂直显示,而需要大量人际互动的任务,包括小组情景理解、讨论和非平行工作,可能更受益于桌面显示[38]。事实上,据报道,桌面显示器通常能够自然而舒适地支持高效的协作和面对面的交流,通过利用熟悉的围绕物理桌子的协作模式,并结合自然的交流模式来促进知识转移[33][39][40][41][42][43][44]。在屏幕的任何边缘工作的能力也允许对个人的工作空间进行划分,这些空间以后可以合并为小组级活动[45][46]。关于其他用户行动的反馈通知可以减少工作的冗余,并在这种平行任务中增加SA[47]。相比之下,围绕垂直屏幕的交流不那么自然,而且更加不对称(例如,一个人在说话,其他人在听),并且通常与角色转换、想法探索和他人意识的减少有关[39](参见[48])。
垂直显示器更适合于时间较短、用户较少的重点任务,因为垂直方向限制了用户与屏幕互动而不互相碰撞的能力,而桌面显示器则更适合于持续时间较长、需要更多讨论的任务[33]。一些研究表明,在少数合作者之间共享的全墙显示器并不像较小的垂直显示器那样对合作工作带来限制[49],这可能是由于增加了表面积和交流空间。对介于垂直和桌面方向的倾斜屏幕的研究较少。尽管最初的证据表明,对于一对合作的用户来说,倾斜的屏幕可能比垂直和桌面的屏幕更受欢迎[50],但目前还不清楚这种偏好是否预示着更好的表现,也不清楚这种偏好是否对两个以上的用户之间的合作有效。
尽管桌面屏幕对协作工作有明显的好处,但必须注意的是,将用户分布在桌面屏幕的所有边缘会对显示元素的方向产生复杂的影响[51][52]。在桌面显示器的用户界面设计中,需要考虑到方向问题,以确保多个用户能够有效地理解、交流和协调所呈现的信息[53]。文本信息的方向对桌面显示器来说是一个特别的挑战,因为文本相对于读者的方向对阅读速度和准确性有很大影响。然而,在水平触摸显示器上存在旋转和翻译数字对象的解决方案,无论是手动还是通过检测用户的传感器自动进行[54][55]。当需要呈现的主要信息是空间或图形而不是文字时,用户在桌面显示器周围的方向就不那么令人担忧了。然而,值得注意的是,研究表明,群体倾向于聚集在桌面显示器的一个边缘,以分享二维地图的共同视角[56],因为当用户从不同角度观看地图时,他们会发现空间导航是混乱的[57]。
CRACCEN系统可以具有灵活性,允许中央二维显示器在垂直和桌面方向之间转换,以适应不同的任务要求[58]。
输入法是指允许用户与显示器上的信息进行交互的技术和机制。输入方法可以包括用户的动作和显示器之间的直接映射(例如,直接触摸屏、笔式手写器6),也可以是间接映射,即用户的动作被一些设备捕捉,并转化为显示器上的动作(例如,鼠标、轨迹球)。
对单个用户的直接和间接输入法进行比较,直接触摸输入更快、更准确,相对于鼠标输入来说,当任务是双手操作时,直接触摸输入是首选。相比之下,在大多数单点交互的研究中,所有指标都普遍偏向于鼠标(例如,[59][60]),除非任务涉及绘画或游戏时[61]。[62]发现相对于鼠标和手写笔输入,单点触摸输入的速度提高了,但准确度却降低了。对于要求高精度的任务,鼠标输入通常比触摸输入更受欢迎[59][62][63],除非需要操作三维信息[64]。当一项任务不需要高精度时,鼠标输入比直接触摸输入要慢[65]。
鼠标输入的熟悉程度可能是上述许多比较中的一个因素,因为触摸输入的准确性似乎会随着经验的积累而提高[66]。事实上,最近的研究表明,在某些任务中,触摸输入和鼠标输入的差别不大,这也许反映了自手持触摸设备的商业化普及以来,公众对触摸屏技术越来越熟悉[67]。对直接触摸输入的各种基于软件的调整显示,有希望克服其对小目标的不精确性[68]。笔触也可以提供更好的精确度,因为它们的接触点更小,产生的遮挡和偶然的触摸比手指更少[62][69][70],但与手指触摸相比,其代价可能是速度降低[71]。当追踪笔在表面上悬停时,纳入视觉反馈(例如,与鼠标光标相当)可以略微提高速度,并极大地提高精确度。
在大多数任务中,轨迹球运动比传统的鼠标运动既慢又不准确,因为很难将轨迹球的旋转运动转化为二维显示器的线性空间[73] 。在更大的显示器上,保持对间接输入映射的光标的跟踪可能被证明是一种挑战,特别是当鼠标或轨迹球的加速度被设置为高时[74]。当输入设备的加速度被设置为低时,在大型显示器上移动光标会变得很乏味。有证据表明,在大屏幕上高速移动时,轨迹球有优势,但用户在放慢速度选择目标时,速度和准确性仍然会下降[75]。
直接触摸输入对于大型显示器来说有其自身的缺点。例如,用户发现随着显示器尺寸的增加,拖动和旋转物体的任务更加困难[76]。用户与屏幕上的信息互动的能力也必然受到她的触及范围的限制,而这又受到显示器方向以及她是坐着还是站着的限制[77]。外部跟踪摄像机可以与基于手势的输入一起使用,以扩大在大型显示器上的触及范围[78],或者识别和区分个别用户的输入[79]。笔触也可以用来区分多个用户的同时输入。
最后,鼠标和轨迹球输入的相对性在桌面显示器上变得不那么直观,因为用户可能位于屏幕的任何边缘,这样光标的相对运动可能与用户视角下的鼠标或轨迹球的移动方向不一致。对于CRACCEN的多用户设置来说,至关重要的是,当使用多个间接输入时,用户很难定位彼此的光标并跟踪运动[38][80][81][82]。
与单鼠标设置相比,多鼠标也可能降低他人意识和协作,而倾向于分而治之的策略[83](参见[84],它显示了多鼠标在墙壁大小的显示器上的混合焦点协作任务的潜在作用)。相比之下,直接触摸输入能提高协作任务中的他人意识,因为可以很容易地看到他人与显示器的互动[82][85][86][87] 。同样,与带键盘的小型笔记本相比,团队使用单个平板电脑时,语言和非语言交流都得到了改善[88],这表明无论屏幕大小如何,直接触摸输入对团队工作的好处可能都是真实的。事实上,与间接(如鼠标)输入相比,直接触摸和笔输入为协作显示器周围的人际互动提供了更好的支持,因为它们允许做手势,更轻松地意识到其他用户的行动,以及对意图进行更自然的推断[80][81](参见[89],该研究显示在桌面显示器的鼠标和触摸输入之间没有协作任务表现或个人偏好的差异)。与单次触摸、单次鼠标和多次鼠标输入相比,围绕桌面的直接多点触摸特别有利于交流和公平协作[90]。目前可用的触摸屏支持高水平的多点触摸(例如,多达30个以上的同时触摸输入),允许多个用户直观地同时与显示器互动,无论是否有笔触的帮助。
尽管对指挥小组成员进行的各种任务分析表明,CRACCEN的使用不会涉及大量的文字输入[10],但用户可能还是有必要输入数据、注释信息或互相输入简短的说明。
一般来说,物理键盘提供了最熟悉的文本输入方法,因此无需培训就能产生最快和最准确的结果。然而,多用户与显示器的互动需要多个物理键盘,这将占用空间并使工作站杂乱无章,或者需要一个可以轮流使用的单一键盘。对于垂直方向的显示器,物理键盘的位置是不言而喻的,因为将键盘放在垂直显示器的前面符合人体工程学。然而,对于桌面显示器来说,物理键盘的适当位置并不明显,因为用户可以在任何边缘与桌面显示器互动。
物理键盘的另一个选择是数字触摸或软键盘,它们可以与任何触摸显示器一起使用。与物理键盘不同,软键盘可以旋转、移动和调整大小,以适应用户在垂直或桌面显示器周围的需要,而且多个软键盘可用于同时进行文字输入任务。因此,软键盘可能比物理键盘更适合在大型显示器上进行协作工作,尽管在设计阶段应该考虑提高速度和准确性的方法。例如,可用性研究发现,软键盘产生的速度和准确性比物理键盘低,这可能是由于缺乏物理按键的触觉反馈[91][92]。基于字母预测算法的动态调整按键大小,在提高速度和准确性方面显示出一定的前景[93],正如根据个人的人体工程学习惯自适应地调整按键间距[94][95]。应注意尽量减少输入延迟,并在可能的情况下,引入其他方式的按键反馈(如声音、振动),以提高性能和可用性[96][97]。
软键盘也可以通过钢笔触摸来激活,尽管相对于使用所有十个手指来说,这大大限制了输入速度。基于手势的解决方案允许用户在移动视觉呈现的字母时,无需抬起手指或手写笔就能打字[98]。然而,由于这些键盘以旨在提高手势流畅性的布局(即圆形布局)来呈现字符,它们并不熟悉,因此难以使用[99]。
在触摸表面上用笔式或手指自然书写,可以实现直观的文字输入方法,而且手写识别算法现在已经足够先进,可以提供快速而准确的输入处理。值得注意的是,用钢笔手写的速度和准确性要比用指尖手写的高得多[100]。然而,这种方法的速度受限于人类手写的速度,使其明显慢于其他文本输入方法[91][99]。因此,手写文本输入可能适用于简短的注释,但不太适合较长的条目。
语音识别软件采用自然语言处理来聆听和解释语音,是另一种直观的文本输入方法,对于短信息来说,可能比打字有好处[91][101]。然而,这种方法在CRACCEN中的可行性不太乐观,因为该软件需要能够在环境噪音大、领域特定术语和缩略语多的环境中识别和区分多个用户。协作环境中的语音识别软件的一个主要障碍是,系统需要区分用于系统的口头输入和队友之间正在进行的交流[102]。
由于UWW是在三维空间中进行的,CRACCEN应该纳入一些三维可视化和与AOO互动的能力。第4节概述了几种潜在的三维增强方法。下面将简要讨论3D显示的适用性,然后再具体讨论VR和AR显示,对其在团队工作中的应用还有很多研究。
总的来说,很少有工作直接研究多人同时使用立体和自动立体三维显示的问题。然而,从单个用户对这种显示的用户体验中可以推断出一些结论。
与通过立体眼镜观看的3D显示器的互动面临着3D图像的虚幻性带来的复杂问题:虽然图像是3D的,但用户可以与图像互动的表面仍然是二维的。这对触摸输入的准确性有影响[103],因为用户不能同时将目光集中在屏幕表面的手指/手指关节和出现在屏幕前后的物体的三维图像上[104]。其结果是,她的手指/脚趾或三维图像会显得模糊和加倍。为了解决这个问题,可以用跟踪手/手指运动的摄像头来支持半空中的三维触摸[105][106][107][108][109]。然而,通过立体眼镜看到的图像是扭曲的,当以不同于正面和中间的垂直或水平角度观看时,会引起用户的不适[110]。这种局限性使人们对立体眼镜在多个用户围绕显示屏互动时的可行性产生了疑问,特别是在桌面显示屏所需的角度上。
其他技术,如Euclideon Holographic Table(Euclideon Pty Ltd),允许多个佩戴特殊立体眼镜的用户以模仿全息技术的方式观看详细的三维物体并与之互动(另见[111][112])。三维图像从桌面表面投射出来,摄像机跟踪用户的眼镜,以便在他们在桌子上移动时显示正确的观看角度。多个用户能够同时看到不同的角度,因为计算机为所有用户在各自的光频范围内向桌子上投射适当的视角。用户的眼镜会过滤光线,以便只看到适合其视角的频率范围。此外,追踪式测针允许多个用户与3D图像互动。
自动立体视觉(AS)系统在可以准确观看三维物体的 "甜蜜点 "的数量上是有限的[15];因此用户数量是有限的,观看角度也受到限制。最近的创新加入了眼睛或头部追踪,以调整显示器,使 "甜蜜点 "随用户移动[113],而多用户追踪的进一步创新使AS的三维视图可以同时进行[114][115]。在所有情况下,当屏幕表面与用户的脸部大致平行时,这些技术的效果最好,因此对显示方向和多个用户的分布有限制。因为它们依赖于二维显示表面,AS系统通常对用户的交互有同样的限制,就像立体眼镜一样,尽管在运动追踪的空中手势输入方面已经显示出一些前景[115]。相比之下,体积显示器,即像素悬浮在一个封闭的三维表面内的半空中,对交互没有同样的限制。用户可以通过触摸外壳的外表面与三维图像进行有限的互动[29],而最近的创新则允许通过运动追踪的手势输入[30]或角度和压力敏感的手写笔输入[116]实现更高层次的互动。
VR HMD已经显示出在协作规划任务中增强SA的一些前景,作为对传统的二维地图规划的补充[117]。事实上,VR HMD系统经常被提议用于远程协作,因为它们允许共享对虚拟环境的认识,并促进其他困难的远距离互动(例如,[118][119])。然而,这种系统对同地协作的能力造成了限制,因为外部世界,包括一个人的合作者,都被遮蔽了,被全视角的虚拟显示所取代。与真实环境中面对面的协作工作相比,使用VR HMD的协作工作受到了沟通不畅和碰撞的影响[120]。这是由于无法看到合作者的行动、目光、动作和非语言线索。其结果是,与透明的AR HMD相比,一些协作任务的表现有所下降[120]。通过跟踪用户的身体运动,并将每个用户的数字头像纳入虚拟世界,可以在一定程度上缓解这种影响[121][122]。但是重要的线索,如凝视方向,不容易从这样的化身中读出,它们可能无法帮助任务执行[123]。其他解决这些限制的方法是将用户的指向(例如,通过手指或输入设备)渲染成共享虚拟环境中的可见光线,或者采用算法将不同用户的视图结合起来,以获得协作虚拟环境的更完整的视图[124]。
当需要完成的大部分工作是松散耦合的个人工作时,VR HMD可能更合适,其中穿插着短时间的讨论和紧密耦合的合作[125]。一些研究提出将单个VR HMD与手持AR设备上的虚拟场景的次要视图结合起来,这产生了与两个VR HMD的设置类似的交流和性能结果[126](也见[127][128][129])。关于这种不对称使用VR HMD的研究仍处于早期阶段,并可能很快为不同风格的协作工作提供不对称设置的指导[130][131][132]。
相比之下,微软HoloLens2等透视AR HMD允许多个用户在同一空间内安全互动。AR HMD的同地协作使用已经被证明可以同时容纳八个以上的用户[133]。事实上,文献推荐了透明的AR HMD,以便在共处一地的合作用户之间进行成功和安全的交流[120][134]。多个AR-HMD设置支持每个:
1)紧密耦合的交互,每个用户都可以操纵同一个三维场景(例如,[31][134]);2)驱动-跟随的交互,其中一个用户主动控制场景,其他用户只是查看正在进行的改变(例如,[136]);以及3)松散耦合的交互,其中每个用户操纵自己的独立视图(例如,[137])。这种在多层次交互性之间切换的能力为协作工作提供了重要的灵活性。与VR HMD一样,使用AR HMD的协作和交流可以通过将用户的点或目光渲染成共享虚拟环境中的可见光线而得到促进[138]。
与VR HMD相比,使用AR HMD完成任务的用户对现实世界保持更大的意识,并且与不使用任何HMD完成相同任务的水平相当[139]。AR HMD系统减少了任务空间和交流空间之间的分离,促进了自然的交流线索,以改善任务表现和交流指标[140][141]。此外,AR HMDS的透视特性允许用户之间继续互动和协作,即使有些人没有戴HMD[142]。相对于没有AR HMD的团队来说,这种在团队中不对称地使用AR HMD可能事实上提高了沟通质量[143]。研究表明,在由消防员、警察和军事规划人员组成的共处一地的团队中,AR系统比传统的SA和规划方法更具优势[144]。这一用例与CRACCEN的预期应用有明显的相似之处。同样,美国海军和陆军最近也展示了AR HMD作为协作指挥和控制任务的有用工具[145][146]。
AR HMD可能特别适合与桌面显示器结合使用,这样用户就可以在桌面上充分移动,从各个角度观看3D场景,而不会失去对桌面或现实世界中的合作者的视线(例如,[147])。这种设置也将解决桌面显示器上文本方向的复杂问题,因为AR HMD可以以适合每个用户的方向呈现文本。这种组合得益于AR提供的丰富的深度线索来实现信息的可视化,以及桌面显示器上触摸输入的便利性和熟悉性[137]。它已被证明是城市可视化[148][149]、建筑设计[150]和空中任务监测[134]的有用组合,所有这些都涉及到三维物体(即建筑物、飞机)和三维空间从地面水平表面延伸的可视化。UWW同样可以从AR HMD和桌面显示器的结合中获益,因为这个领域的SA涉及到3D物体(即船舶和潜艇)的可视化和从海底表面延伸的3D空间。
手持式AR提供了HMD的替代方案,尽管通过平板电脑与3D物体的互动已被证明比AR HMD更慢、更耗费体力,也更不可取[151]。对用于协作导航任务的手持式AR的研究发现,与传统的二维虚拟地图相比,手持式AR地图在促进交流、建立共同理解和鼓励讨论方面具有明显的优势[152]。同样,允许对一个三维物体进行单独操作的视图可以帮助教学和学习[153]。然而,用于小组工作的手持式AR可能与较高的工作量有关,特别是对于复杂的问题,这反过来会阻碍交流和合作[154]。事实上,虽然VR HMD在促进合作者之间的有效沟通方面不如完全透视(如AR)HMD[120],但与VR HMD相比,手持式(如视频传输)AR的任务和沟通性能都受到影响[126]。关于合作任务环境中的混合现实和增强现实的全面回顾,见[155][156]。
当3D信息呈现在2D显示器上时,存在几种熟悉的输入方法。直接触摸(例如,在手持AR设备上)和间接的鼠标拖动可以用来在3D空间中平移、倾斜和旋转,而游戏控制器通常使用双操纵杆来促进3D导航。在设计行业,三维鼠标是在二维显示器上操纵三维物体的常见解决方案,它提供了沿所有轴线运动的六个自由度(例如,罗技3DConnexion的SpaceMouse)。基于手势的方法也已经被开发出来,用于在二维显示器上直接触摸操纵三维物体[157]。
这样的输入方法在与VR和AR HMD的交互中不太可行[158]。更常见的是,HMD使用基于运动的手部跟踪来支持半空中的虚拟 "直接 "触摸,或者使用基于红外传感器的手持遥控器跟踪来间接选择和操纵虚拟物体。这两种输入方法都允许用户与虚拟物体进行互动,以加强对三维环境的沉浸感。
大多数现成的VR HMD都配备了红外跟踪的手持遥控器。用户将遥控器上的激光光标投射到虚拟物体上,并可以按下几个按钮中的一个来进行不同的互动。VR HMD系统也可以追踪手部动作,进行无遥控手势输入,并提供与手持遥控器相当的性能和可用性[159]。
由于AR环境的性质,手势和半空中的 "直接 "触摸是AR HMD最常见的输入形式。研究表明,通过提供用户自己的身体作为自然的空间参照物,对3D场景的双肢操作有助于用户对3D空间的理解[160]。尽管执行起来很直观和自然,但预先定义的手势可能不符合用户的假设和偏好的功能,因此可能难以学习和记忆[161][162]。用户定义的手势可以规避其中的一些复杂问题[162][163]。微软HoloLens2支持通过向外的跟踪摄像头对简单的手势进行准确的板上识别,以便输入。其他设备,如微软Kinect,可以与AR或VR HMD系统相连,以扩大可用的手势输入范围,并允许自定义用户定义的手势[163]。
追踪式遥控器在现成的AR HMD中不太常见,但与半空中的 "直接 "触摸相比,可能提供一些可用性和人体工程学方面的优势[164]。与追踪式手持遥控器不同,空中 "直接 "触摸缺乏触觉反馈,这可能会影响准确性、速度和感知到的使用便利性[164]。最近的工作研究了使用系留的智能手机[165]或平板电脑[166]作为AR环境中协作工作的有形输入设备。其他形式的反馈,如听觉提示,可以被纳入支持AR HMD上显示的虚拟物体的空中操作,但必须考虑到船上操作环境中的环境噪音[167]。
由于特定的三维输入法的特殊性与显示技术密切相关(例如,VR HMD的专有遥控器和AR HMD的内置手势),并且由于文献搜索没有得到与三维输入法对团队工作和协作的适用性有关的结果,本节的结果没有在附件A的汇总表中独立考虑。
尽管CRACCEN的要求表明至少需要一个中央二维显示器,但该系统不必局限于单一的显示技术。事实上,对于涉及多个用户的复杂任务,采用多种技术可能会有一些好处[168][169]。研究小组协作工作时考虑到了耦合的概念,这是衡量合作者对彼此工作的参与程度的标准(例如,[170])。对于紧耦合的任务,小组成员朝着一个或几个共同的目标紧密合作,通过小组层面的讨论和共识来做决定和实施改变。对于松散耦合的任务,小组成员可以在问题的不同方面平行工作,以便共同达到一个目标;决定是在个人层面做出的,或者偶尔与其他小组成员进行松散的协商。混合重点的协作任务涉及松散和紧密耦合的混合,并根据任务要求的流动在两者之间进行转换[56][84][168]。一个特定任务的工作量水平也可能影响到耦合和信息共享的要求。例如,当耦合太松(例如,团队成员之间不共享信息)或太紧(例如,团队成员之间共享所有信息)时,高工作量下的团队表现可能会受到影响,而低工作量的情况可能会从较松的耦合中受益[171]。
UWW团队使用CRACCEN完成的各种复杂的任务规划和执行任务,预计将涉及混合焦点和各种工作负荷条件。因为在混合焦点工作中,松散和紧密耦合的平衡可能会因各个UWW指挥小组[40],以及不同的任务和工作量条件而有所不同,所以所选技术的灵活性可能具有普遍的好处。结合CRACCEN的多个显示器可以促进这种灵活的耦合。
在一种可能的配置中,可以提供用于个人工作的手持设备,这些设备随后可以将数据发送到中央小组显示器,供讨论和进一步协作工作[34][35][172][173][174][175][176]。同样,系留的手持设备也被证明可以作为大型群体显示器的替代输入方法[175][176][177]。有趣的是,上述垂直方向和桌面方向在促进协作和交流方面的差异(例如[39])可能会因为引入辅助的手持设备而减少,这使得工作更加分散[178]。将手持设备保持在一个舒适的高度和角度的对接架(例如[179])可以放在小组显示器周围,以促进个人工作的汇总和讨论。台式电脑也可以被纳入混合焦点协作系统,为小组工作的不同方面组合多个显示器,在复杂的决策任务中显示了前景[172]。
混合焦点系统设计的主要障碍之一是意识的平衡:确保合作者保持对彼此的行动和小组层面的任务进展状态的了解,同时也能保持对自己个人工作的关注[170][180]。一些研究发现,当手持设备与平板电脑结合在一起时,合作的水平会下降[181]。这种有害的影响可能会被有助于保持他人意识的通知和提醒所缓解[47],而设备之间的信息联系可以帮助用户在设备和任务模式之间顺利切换[182][183][184][185]。
针对多种集成技术的设计还必须考虑系统复杂性和技术故障排除等更实际的挑战。联网到中央小组显示器和/或相互之间的辅助设备可能会带来挫折和使用障碍,表现为集成度低、软件更新不匹配、带宽限制、网络连接、设备通信问题,以及对多个设备及其集成的更高维护要求。必须进一步研究系统灵活性和复杂性之间的权衡。
UWW的任务环境必然受到UWW指挥小组使用CRACCEN的实际舰上环境的限制。环境因素,如环境噪音、物理空间、温度、湿度和照明,肯定会在CRACCEN的开发和使用中发挥作用。然而,CRACCEN是为未来船舶开发的未来技术,因此不受现有船舶上物理环境的限制。本节只关注WW任务环境中那些不能由未来船舶设计选择解决的条件,这些条件将有助于区分考虑中的不同显示和输入技术。
尽管任何电子显示器都会引起眼睛疲劳和视觉疲劳,特别是在长时间使用后,但有证据表明,AR和VR HMD的症状的可能性和严重程度比普通2D显示器更大[186][187][188](参见[189])。立体观看,包括通过HMD和立体眼镜系统,在观看虚拟3D物体时,由于辐辏(调整眼睛的转动以汇聚到物体的距离)和调节(调整眼睛的焦点以汇聚到物体的距离)之间的不匹配,可能会加剧眼睛的疲劳[190][191][192][193][194]。
尽管一些研究表明,与VR HMDS相比,透视AR HMD可以促进更好的深度估计、更高的交互精度和更少的眼睛疲劳[195][196],但眼睛疲劳症状的可能性应该是AR和VR HMD的一个严肃考虑。设计师必须了解最佳做法,以尽量减少眼睛疲劳,提高用户体验和健康水平[197][198]。常见的AR和VR HMD的焦距设定为无限远(HTC Vive)或大约2米(Oculus Rift、Microsoft HoloLens2)。无限的焦距为开发者简化了数学运算,但增加了眼睛疲劳的可能性[199]。
用户需要关注的虚拟物体应该投射在离用户眼睛不少于0.5米的感知距离上[200]。应该避免要求用户在更近和更远的界面之间切换的任务,因为沿Z轴移动焦点会加剧辐辏冲突和紧张[199][200][201]。值得注意的是,透明的AR HMD系统可能需要用户在投射在眼睛附近的虚拟物体和更远的真实世界物体之间切换焦点。建议此类系统中的虚拟物体投射在离用户1.2米到5米之间的感知距离,以获得最佳的舒适度和抗眼疲劳的效果[200][202]。
各种自适应算法已经被开发出来,通过动态调整用户的视线,可以最大限度地减少HMD使用中出现的眼睛疲劳和视觉疲劳[203][204] 。使用 "黑暗模式 "图形,将浅色文本和图形置于深色背景下,可以减轻VR HMDS中的眼睛疲劳症状[205]。同样,在昏暗的环境中采用浅色的图形会使用户对AR HMD的体验和舒适度达到最佳[206]。也有一些证据表明,训练和使用HMD的经验可以改善眼睛疲劳的症状[207][208]。
VR用户经常经历一种被称为 "bersickness "或 "模拟器病 "的现象,其症状包括恶心、疲劳、迷失方向、头痛和全身不适[209][210][211]。这些症状在移除VR HMD后会持续数小时,并可能最终阻碍使用或妨碍在现实世界中的任务表现[211][212][213]8。虽然还没有完全理解,但研究表明,晕机是由感官冲突或期望与感知现实之间的不匹配引起的--无论是由于投影图像的刷新率不足、延迟问题、对用户头部运动的跟踪不佳,还是视觉和前庭系统之间的不匹配(即用户看到他们正在快速穿过一个场景,但耳朵里的前庭系统没有记录任何运动)[209][212][215][216][217][218] 。在使用VR之前立即进行眼动训练可能会减轻晕机症状的可能性[219],尽管还需要更多的研究来验证这一效果,以扩大样本量。同样,用于调节个人晕动症的技术可能会随着时间的推移减轻晕机的倾向[220]。
晕车的倾向在不同的人和不同的VR应用之间是不同的,很多人都在努力开发实时检测和减轻晕车的手段(例如,[221][222][223][224])。由于HMD使用时间的增加通常与晕机症状的可能性和严重性有关,设计者应该只考虑将HMD作为CRACCEN的补充显示(参见[225])。多篇综述论文对使用HMD的经验和晕机的时间过程中的高度个体差异进行了编目[226][227]。
很少有研究探讨虚拟世界中的晕船效应与真实的全身运动之间可能存在的相互作用。用户在海上会经历持续的全身运动,特别是在波涛汹涌的海面上(见第5.2.3节),这可能会放大VR环境中感知和预期之间的不匹配,从而增加晕车的风险。在移动的车辆或运动平台上的乘客使用VR HMD时,已经观察到了这种放大效应(参见[228]),努力将外部运动的同步视觉指标纳入其中,可能会缓解[229][230]或进一步加剧[231]症状。其他研究没有发现在模拟船舶运动的条件下使用AR或VR HMD时,与没有运动相比,晕船症状的风险增加。然而,没有评估没有HMD的船舶运动的影响,所以不能区分晕船和晕机的影响[232]。作为进一步的复杂性,一些研究表明,VR HMD用户在经历船上运动时可能会有意识或下意识地限制他们的头部运动,以抵消感觉到的或预期的晕船影响[233]。也有一些证据表明,VR HMD带来的晕机可能会对平衡和姿势的稳定性产生负面影响[234][235],这可能是在移动的船上发生事故或受伤的一个风险因素。毋庸置疑的是,需要进一步的研究,特别是在有经验的海军人员这一独特的人群中,对网络冲突和船舶运动的互动进行研究。
尽管AR HMDs似乎不像VR HMDs那样容易诱发晕船[195][236](参见[237][238],其中没有发现使用VR或AR HMDs出现晕船的证据),但AR HMD用户仍然可以经历由眼球运动引起的晕船症状[239]。例如,瞳孔间的距离因人而异,与HMD的设置不一致会使立体适应和会聚受挫,导致一些用户出现疲劳和头痛的症状[240][241]。一些HMD系统,如HoloLens2,有内置的设置,可以为独特的用户调整瞳孔间距离,并可以通过本地存储的视网膜数据库识别个人用户,自动调整瞳孔间距离以达到最佳的立体观看效果。然而,与手持式AR相比,使用AR HMD引起的晕机发生率更高,一些初步证据表明,症状在长期使用后可能会像VR HMD一样持续存在[239]。需要更多的研究来验证在海军舰艇上使用AR HMD的健康和安全问题。
湍流条件,如波涛汹涌的海面上的船舶运动引起的湍流,会对电子设备的输入准确性产生负面影响[242][243],无论是直接影响还是间接影响(例如,通过增加疲劳或晕船[244],或损害视觉跟踪[245])。精细运动尤其受到影响,这使得直接输入(即触摸、笔触)比间接方法如鼠标、轨迹球或键盘输入更困难[246][247]。在模拟船舶运动的研究中,触摸输入的准确性随着船舶运动的增加而急剧恶化,特别是对于较小的目标和基于手势的输入[248][249]。相比之下,鼠标输入对模拟船舶运动有相当大的适应性[248]。尽管轨迹球通常被认为是承受船舶运动的最佳输入设备,但[248]也发现,轨迹球输入始终比鼠标和触摸输入慢,而且准确度低,即使在严重的模拟船舶运动下也是如此(也见[250])。
在模拟湍流的飞机条件下,触摸屏用户的整体性能、可用性和舒适性都有所下降[251]。随着显示器尺寸的减小,这种情况尤其明显,这表明大型群体显示器可能不会像手持设备那样受到运动的不利影响[252]。当用户可以以某种方式支撑他们的手或手腕时,触摸性能会得到改善,但这可能会因手指伸得不自然或困难而带来新的人体工程学问题[253][254] 。目前还不知道扩展现实手势输入的准确性在多大程度上会受到飞船运动的类似阻碍,未来的研究必须探索这种可能性。然而,研究表明,当军人在模拟舰艇运动的条件下佩戴AR或VR HMD时,对使用物理输入(即计算机化的射击任务)的准确性有明显的不利影响[232];两种类型的HMD之间的影响没有差别。
次要考虑的是,使用外设进行间接(如鼠标)或直接(如笔式)输入,会引入船舶运动带来的额外复杂问题。外围设备如果没有固定好,无人看管,就会从其显示设备上滑落,造成损坏或损失。
虽然船舶在波涛汹涌的海面上的运动可以被认为是低频振动,但通常所说的那种全身性的高频振动也会对船舶人员的运动和认知能力产生影响,因此在显示和输入技术的选择上都必须加以考虑[255]。较高频率的振动,如发动机或其他船上机械产生的振动,会影响视觉和精细运动技能的稳定性[256],导致感知和输入准确性方面的错误[257]。一项荟萃分析发现,高频率的全身振动可能比低频率的振动对表现有更大的不利影响,特别是对于需要高度输入准确性的任务[258],尽管振动的幅度可能是比其频率更关键的因素[255]。与低频率的船舶运动一样,人们期望在大型显示器上的输入性能,即提供更大的目标,因此需要更少的精度来操作,会比小型显示器更少受到高频振动的影响。比较输入方法的研究发现,轨迹球输入的速度和准确性受发动机振动的负面影响比鼠标或触摸输入更大,两者之间并无差异[259]。
HMD可能会加剧振动对视觉的有害影响,因为眼睛和眼前的屏幕都可能经历振动的抖动。在操作室中经历的振动量会在多大程度上阻碍HMD的舒适使用,这是一个值得进一步研究的课题,然后才能将扩展现实HMD纳入舰载系统。以前在军事环境中使用的HMD表明,如果仔细注意将HMD正确地安装在用户的头上,就可以改善空中和地面车辆的振动问题[260]。然而,这种反馈涉及到定制设计的美国军用HMD,可能并不适用于RCN最终采购的系统。
最后,如果振动反馈或警报与CRACCEN的功能有关,那么需要评估用户通过全身振动的噪音感知这种反馈的能力。这对手持设备来说是一个特别相关的问题,但也可能是软键盘和大型显示器上的直接触摸输入的一个因素,这可能得益于振动式按键反馈[96][97]。
设备的人机工程学特性对于长期或频繁的技术使用是至关重要的,因为它们会极大地影响用户的士气和健康。例如,人们早就知道,长期使用电脑鼠标与肌肉骨骼疾病有关,如腕管综合症(例如,[261])。替代的输入设备已经被开发出来,以减轻人体工程学的压力,但用户往往更喜欢传统的鼠标,而不愿意学习新的输入方法,这往往需要大量的培训才能显示出任何人体工程学或可用性的好处[262][263][264][265]。轨迹球可能比传统的鼠标输入设备提供更多的人体工程学支持,只要在放置轨迹球时注意减少极端的手腕姿势,并考虑到个别用户的人体工程学[266]。对前臂和手掌的支持可以抵消标准鼠标[267]和键盘[268]输入的人体工程学压力。标准电脑鼠标和钢笔输入(即在水平输入板上)与桌面设置的比较表明,肌肉负荷没有差异[269],或者使用钢笔的肌肉负荷更大[270],这取决于实验设置的具体情况。相比之下,在倾斜的触摸屏平板电脑上使用钢笔输入,前臂和平板电脑都靠在水平面上,与标准的电脑鼠标输入相比,引起的腕部负荷更小,用户的舒适度更高[271]。对于文本输入,软键盘在短期内由于减少了输入力而显示出相对于物理键盘的人机工程学优势,但从长期来看,其缺点是增加了肩部劳损[272] 。
对比平板电脑、笔记本电脑、平板电脑、垂直显示器和智能手机,发现只有笔记本电脑适合长期使用,而且只有在鼓励正确坐姿的情况下[273]。其余的设备被证明会对肩部、颈部和手臂造成重大压力。同一研究显示,大型垂直显示器在站立状态下使用时,特别容易造成疲劳,不建议长期使用(另见[274])。
大型触摸屏显示器被证明在垂直而非桌面方向显示时,会引起更多的肌肉疲劳[275][276],这可能会复合成对肌肉骨骼系统更持久的损害。研究人员建议减少所需的连续交互程度,并通过让重要的界面靠近用户来规避在大型显示器上进行远距离交互的需要[275][277]。例如,在桌面显示器上进行舒适的触摸互动的触及距离比许多大型显示器的尺寸还要小[77],所以设计者需要仔细考虑界面的布局。与垂直或水平显示器相比,倾斜45º的触摸屏显示器引起的自我感觉不适更少,自我感觉可用性更高[278]。当参与者可以选择几个屏幕角度时,他们倾向于选择30-45º之间的角度[50][279]。在使用触摸屏时,用双手而不是用单手做手势似乎可以减少主观上的不适感,尤其是在较长的使用时间内[279]。然而,更复杂的手势,如捏住旋转或轻扫,与简单的点击手势相比,有更多的关节活动,这可能构成更高的伤害风险[276][280]。在开发可用的手势和界面时,需要同时考虑舒适的手指位置和显示方向的人体工程学限制[281]。
桌面显示器的高度对其使用的人体工程学舒适度有很大影响,头部和屏幕之间的垂直距离越大,不适感就越强,可用性就越低[278];因此,站着的时候喜欢抬高屏幕,坐着的时候喜欢降低屏幕。使用时间对于桌面显示器来说是一个特别相关的因素,因为桌面使用所需的头部向下的角度会对颈部和脊椎周围的肌肉造成很大的压力[273][282]。此外,相对于在笔记本电脑上执行的类似任务,在桌面显示器上长时间的阅读任务会增加感知的视觉疲劳和所需的头部运动,从而增加颈部疲劳[282]。输入方法同样在桌面使用的人体工程学方面起着作用,对于长期使用来说,鼠标输入通常比直接输入(如触摸或笔式)更受欢迎[80],但对于短期使用则不一定[86]。与鼠标输入相比,轨迹球输入可能会减少手部的不适感,但其代价是增加手臂、颈部和肩部的不适感[73]。使用手写笔的手写识别可能会减轻围绕键盘使用的一些人体工程学问题[283],但对于CRACCEN使用中预计涉及的相对较少的文本输入,人体工程学的优势可能对整体用户体验没有什么影响。
值得注意的是,桌面显示器的一些人体工程学复杂问题可以通过将二维图像增强为三维来缓解。虚拟三维信息可以在眼睛的高度呈现给HMD用户,而不是要求他们低头看桌面显示器。与垂直显示相比,用3D AR HMD和精心设计的手势输入对桌面显示进行增强,有助于使用户的手保持在肩部和腰部之间相对舒适的位置,从而最大限度地减少疲劳[284][285]。然而,半空中的互动可能容易导致手臂疲劳[160][286](参见[287],该研究显示,与标准鼠标相比,用户用半空中的手势玩2D游戏时没有额外的疲劳感)。其他研究发现,在虚拟世界中通过VR HMD进行的手势比在现实世界中进行的相同手势导致了更高的自我报告的疲劳程度[288]。输入放大的方法可以减少半空中输入带来的肌肉疲劳[289]。
VR和AR HMD也会给头部和颈部肌肉带来额外的压力[290][291][292][294],并引起不适和疲劳[294][295][296],尽管用户报告的不适程度似乎主要取决于HMD的整体重量和重量分布[293][297][298]。一般来说,不建议长时间使用。最近由DRDC承包的一项审查表明,像微软Hololens2这样的AR HMD在UWW中使用一般是安全的,尽管人体工程学的考虑表明使用的时间是有限的[297]。
相比之下,3D AR互动在通过手持设备而不是通过HMD进行时,身体会更加疲惫[151]。研究发现,长时间使用手持设备后,颈部、背部和手臂都会有明显的劳损[61][273][299]。坐着时将手持设备放在腿上,颈部和背部的不适尤其明显[300],而用一只手高举设备,另一只手进行触摸操作,会对支持的手腕造成很大的压力[301]。手持设备在人体工程学上的缺点可以通过整合对接架来缓解,对接架可以支持设备并允许在相对于用户的舒适高度和角度进行双手触摸输入[302],但手持AR设备通常需要高举并移动以查看3D场景。
第2节中概述的CRACCEN的需求分析确定,鉴于UWW环境的三维性质,至少需要一个中央二维群组显示器,以及可视化和与三维信息互动的能力。还讨论了结合多个显示器的可能性,以适应UWW任务工作中个人和团体之间的灵活转换。第4节和第5节对文献进行了广泛和跨学科的审查,以确定哪些显示和输入技术最适合促进UWW环境中的团队工作。
附件A中列出了一份总结审查结果的表格,这有利于在不同技术之间进行直接比较。总结表中提供了指导每项技术评估的参考文献的完整清单,为了简洁起见,下面的书面建议中没有转载。下面依次讨论从审查中得出的建议。
1.一个大型的桌面二维显示器应作为中心组的显示器。
2.应选择安装硬件,使中央显示器能够根据需要在水平和垂直方向上灵活转换;以及
3.可选的额外设备可以与中央显示器联网,以改善战斗空间的三维可视化(即AR HMD),并更好地支持个人工作,随后可以在中央显示器上进行组合和共享(即手持设备或桌面工作站)。
围着桌子工作是人们熟悉的小组讨论、商议、信息共享和决策的配置,而多点触摸屏幕的直观性使所有用户很容易做出贡献,无论是同时还是轮流。这种布局提高了协作任务中的沟通和互动质量,从任何边缘与显示屏互动的能力大大增加了同时使用的能力。该技术与熟悉的、经常使用的技术(如台式电脑和智能手机)有相似之处,这将使用户能够利用现有的知识框架,从而减少学习时间。阅读地图的知识框架经常发生在水平面上,也可以利用空间导航规划和SA。
直接触摸是二维桌面显示器的理想输入方法。当需要进行小组工作时尤其如此,因为它允许用户轻松地跟随他们的合作者的行动。用钢笔触控器可以提高精确度,而且还可以用手写识别作为文本输入方法,不过考虑到船舶运动和移动的外围设备可能会超过触控器的任何附加价值。软键盘可以根据需要供UWW团队使用。
在设计阶段必须特别考虑到使用的人机工程学,确保重要的显示菜单容易获得和/或可以灵活地在屏幕上移动以方便使用。桌面上的二维显示器如果相对于用户的位置太低,有可能对颈部和脊柱造成压力,而大型显示器上的触摸式互动在长时间使用后会造成肌肉疲劳。
由于需要支持混合焦点任务,灵活性将大大有利于CRACCEN的可用性。只需花很少的额外费用购买专门的安装硬件,以协作为重点的桌面显示器就可以根据需要转换成以演示为重点的垂直显示器。垂直方向将支持更多的演讲式交流;将促进简报;并可作为背景显示器,在不积极用于协作任务规划或执行任务时,保持任务、平台和任务状态的SA。
在设计阶段必须特别考虑灵活的界面,因为屏幕的方向将极大地影响到要显示的信息类型和交互空间的组织。例如,到达左上角的菜单对于在桌面显示器上边缘的用户来说可能是件小事,但对于位于垂直显示器前的用户来说却是件非常费力的事。灵活的系统应该能够自动识别显示器的方向并相应地调整输出和界面。虽然现有的研究提供了一些一般的指导原则(如[38][39]),但未来探索不同显示方向的具体海军用例的研究应该指导CRACCEN的界面设计。
由于UWW的环境是3D的,SA和任务规划可能会从其3D表现中获益匪浅。尽管VR和AR HMD都支持与虚拟三维物体的沉浸式互动,但透明的AR HMD为交流和小组工作提供了更好的支持,也降低了晕机的可能性。AR HMD可以作为3D可视化和互动的可选辅助工具提供给CRACCEN用户,研究表明,即使在一些合作者佩戴HMD而其他合作者不佩戴的情况下,有效的合作和交流也可以保持在较高水平。
AR HMD的用例已经在各种军事环境中进行了探索,包括城市环境中的导航和SA[303][304]、军队的地面和车辆作战场景[260]、空军飞行员的平视显示器[260],以及高风险场景的模拟训练[305]。到目前为止,很少有工作评估AR HMD在舰艇环境中的可用性(但见[232][306])。在开发之前,必须进行研究以测试AR HMD在船上环境中的可行性,因为船舶运动和振动的影响可能从一开始就阻碍或排除了可用性。
尽管CRACCEN的重点是小组工作,但UWW小组成员个人仍需要将其个人专长应用于协作任务的规划和决策任务。平板电脑或台式电脑系统可以作为个人工作的可选支持,具有联网功能,在积极的任务规划任务中向中央小组显示器传输信息。科学文献目前没有提供明确的指导方针,说明一种设备(如台式电脑或平板电脑)比另一种设备更适合于混合焦点任务,因此在最初的研究中应考虑这两种设备。以前的工作结合了平板电脑、平板电脑、3D增强和AR HMD等技术,用于考古学的多用户可视化,可以作为一个有用的概念证明:提供多种方法来探索和浏览复杂的3D环境,可以帮助可视化和SA,从而支持解释和决策[307]。
灵活耦合的CRACCEN系统的设计者将需要考虑个人工作的最佳界面,如何在显示器之间传输信息,以及如何将传输的信息纳入中央小组显示器的可视化中。还必须仔细考虑系统的灵活性和整合多个设备的额外实际复杂性(如设备间的通信挑战、软件更新、带宽限制)之间的权衡。
需要进行更多的研究来验证上述建议在RCN的舰载UWW指挥小组的独特操作环境中的有效性。下文按优先顺序介绍了开发过程中下一步的未来研究建议,尽管几条研究路线可能同时进行。在所有建议的研究案例中,原型开发和用户研究是同步进行的,每一项都为另一项提供信息。
到目前为止,本报告建议使用一个中央二维桌面显示器,可选择垂直方向,可选择AR HMD来显示三维信息,可选择桌面或平板设备来进行个人工作。然而,目前还不清楚哪些信息和能力最适合在哪些显示器上以何种组合方式呈现。一个初步的想法研究可以让中小企业进行头脑风暴活动,让他们想象在不同的显示器选项上进行各种任务规划、执行和决策任务。这个研究方向的问题包括:中小企业希望通过每个显示选项完成哪些任务,他们在寻求特定信息时可能会参考哪些显示选项,他们在使用某个显示选项时预见了哪些问题,以及他们可以想象自己在UWW团队中使用每个显示选项会有哪些贡献。
在这个最初的构思活动的基础上,后续的研究应该评估设计概念和每个显示器的界面的静态模型。最初的模型和概念将从现有的用户体验专业知识中开发出来,然后提交给用户测试和完善。在这个阶段感兴趣的问题包括:所展示的界面布局的可感知的可用性,中小型企业可能会建议做哪些改变来改善特定显示器的布局,中小型企业可能会建议对信息或功能在显示器上的分布做哪些改变(例如,验证最初的构想研究),以及中小型企业如何想象自己与显示器的互动。很可能需要几次反复的设计概念开发和用户测试,而且这些初步研究的结论有可能与本初步报告中提供的建议相反。例如,可能会出现这样的情况:WWW团队现有的台式工作站可能被证明足以满足CRACCEN个别工作方面的能力要求,在这种情况下,不需要进一步开发个别台式或平板电脑界面。这样一来,这些研究的结果将为下面的额外研究建议提供信息和约束方向。
研究人员还可以考虑采用VR技术,在模拟的舰船环境中与中小企业一起测试设计概念。这将使中小企业在开发的早期阶段,在真实工作环境的虚拟模拟中,而不是在不太现实的实验室环境中,体验和评估CRACCEN的外观和感觉[308][309]。
本报告的结论所建议的下一步是为CRACCEN桌面开发一个低保真度的初始原型,重点是一个可用的二维界面,有一个模拟场景,UWW团队可以作为一个小组进行工作。然后,研究人员可以使用这个原型,与中小企业和中小企业团队一起测试系统的可用性[310]。
原型设计和开发的早期迭代可以集中在高层次的目标上,早期的测试同样可以涉及相对简单的反馈方法,例如特征捕捉网格,它将反馈组织成喜欢、批评、问题和想法,以便完善后来的设计迭代[6]。
后续的原型迭代应该包括越来越详细的目标和具体的能力。这些后期迭代的用户测试可以包括对任务表现、可用性(例如,桌面协作可用性评估[311])、系统使用的口头走过(例如,[312])、场景后访谈、工作量和认知负荷的测量(例如,NASA-TLX[313]),以及团队沟通和凝聚力的测量。眼球追踪测量可以被纳入,以帮助改善界面设计[314]。根据[315]的建议,在对原型熟悉一段时间后,应该对任务技术匹配度(TTF)进行正式评估,以验证其与任务的匹配度。
必须在海上测试AR HMD在舰船环境中的可行性。只要这些测试证明AR HMD可以在其所处的环境中安全使用,原型的开发和测试就应该按照对中央显示器建议的方式进行:从高层次的目标和简单的反馈到具有全套措施的具体能力测试。开发应考虑设计启发式,以最大限度地减少人体工程学的压力和最大限度地提高可用性[319]。最初的评估可能会孤立地检查AR HMD,但以后的研究必须也包括桌面显示器的原型。中小企业可以单独承担任务,为CRACCEN使用AR HMD提供初步的高水平评估和投入。
对于协作任务来说,混合现实系统的虚拟性和沉浸感水平应该只根据任务需求来增加,以使用户保持对物理空间和合作者的认识[17]。AR HMD的测试和开发周期不仅需要检查可用性和TTF,还需要比较纳入HMD和3D信息所增加的价值[320],相对于任务表现、认知负荷、团队合作或沟通质量的任何变化。
如果上述构思研究的结果验证了平板电脑或台式电脑对个人工作的有用性,那么对这个原型的测试也同样应该从高层次的目标和简单的反馈开始,到用一整套措施对具体能力进行测试。最初的评估可以孤立地检查个人工作原型,但以后的研究必须把桌面显示器的原型也纳入其中。因为这些设备是为个人工作准备的,所以最初的评估可以与单个的中小企业一起进行。
个人工作原型的测试和发展需要检查可用性,TTF,以及比较纳入这些额外的设备所增加的价值,相对于任何任务执行质量的变化,认知负荷,团队合作,或沟通。
CRACCEN系统预计将彻底改变在RCN内进行UWW的方式,不仅有可能重塑UWW任务的技术使用方式,而且有可能重塑指挥小组成员之间的相关任务分配和完成方式。为了适应这种重新设想的任务和人员空间,系统应该是什么样子是一个关键问题,因为在早期高水平设计阶段做出的决定可能会限制和确定未来RCN的UWW的性质。本报告试图通过审查这些技术与一些高层次的任务要求和约束条件的关系,来确定最适合舰载UWW团队使用的显示和输入技术。
第2.3节提出的初步需求分析表明,至少需要一个中央二维显示屏幕,能够显示并与三维信息互动,并有可能结合多个显示器进行灵活的混合焦点工作。本报告审查了多种显示技术、输入方法和三维增强的方法,考虑了各种技术对团队工作和UWW任务环境的限制的适用性。
根据综合文献审查的结果,作者建议采用二维桌面显示器作为CRACCEN的中央显示屏,具有灵活的显示方向,可选择AR HMD来增强UWW环境的三维可视化,可选择桌面或手持显示器进行个人工作,随后可以在中央团队显示器上共享规划和讨论。然而,UWW指挥小组及其作战环境的特点可能会影响这些技术和技术组合的实用性和可用性。与中小企业的进一步研究必须验证这些技术,并在原型开发过程中测试界面设计的实用性。