《学习理解人类交互中的异常场景》美陆军2023最新30页技术报告

美国陆军作战能力发展司令部陆军研究实验室正在研究行为，建立数据集，并开发异常分类和解释的技术，其中自主智能体生成自然语言描述和对可能包含异常属性的环境的解释。这项技术将支持在不确定条件下的决策，以及士兵和机器人队友在网络限制的情况下，在未知或危险的环境中完成探索性的导航任务（例如，自然灾害后的搜索和救援）的弹性自主机动。在本报告中详细介绍了贡献：借鉴视觉异常检测的相关工作，设计了一个异常分类法；设计了两个在虚拟环境中进行的实验，这些环境被操纵以显示基于分类法的异常属性；为异常检测和解释任务收集了一个小型人类语音和人类-机器人对话的语料库；最后，设计了一个新的注释模式，并将其应用于语料库的一个子集。

图1. 带有实例样本的类的异常分类法。矩形框包含了类的类型（例如，实体的 "颜色"），椭圆是类属性的实例或例子（例如，"粉色小猫"）。

引言

美国陆军作战能力发展司令部（DEVCOM）陆军研究实验室（ARL），正在研究行为，建立数据集，并开发异常分类和解释的技术，其中自主代理生成自然语言描述和对可能包含异常属性的环境的解释。这项技术将支持在不确定条件下的决策，以及士兵和机器人队友在网络受限的情况下，在未知或危险的环境中完成探索性的导航任务（例如，自然灾害后的搜索和救援）的有弹性的自主操作。自动生成的自然语言解释将促进在筛选大量低质量或重复的视觉数据时遇到的信息过载问题，迅速引起对非典型情况的注意。

将异常情况检测的任务放在士兵由于可能对他们有危险的条件而无法穿越环境的场景中。此外，由于可用带宽的限制和约束，接收环境的图像或实时流可能是不可行的。因此，机器人队友的作用就变成了在空间中导航，并通过简洁和信息丰富的自然语言陈述或文本报告向士兵传达信息。这种设想中的异常情况检测技术的成功部署必须能够：

识别环境中与预期相矛盾的方面；
详细说明为什么这种方面是矛盾的，并提供预期状态；
推断出至少一种可能导致偏差的合理可能性；以及
推断出至少一种合理的可能性，即由于偏差而可能发生的情况。

由ARL主持并通过国家安全创新网络X-Force奖学金招募的两名实习生组成的团队花了10周时间探索这个问题的空间。在本报告中详细介绍了贡献：借鉴视觉异常检测的相关工作，设计了一个异常分类法（第2和第3节）；设计了两个在虚拟环境中进行的实验，根据分类法，这些实验被操纵以表现出异常属性（第4节）；为异常检测和解释任务收集了一个人类语音和人类-机器人对话的小型语料库（第5节）；最后，设计了一个新的注释模式，并将其应用于我们语料库的一个子集（第6节）。

成为VIP会员查看完整内容