在许多浅水和沿海水域应用中,视觉制导水下机器人与人类潜水员一起执行合作勘探、检查和监测任务。这类陪伴机器人最基本的能力是在水下任务的各个阶段以视觉解读周围环境并协助潜水员。尽管近年来技术不断进步,但现有的实时视觉感知系统和解决方案在很大程度上受到能见度低、光照变化和突出特征稀少等海洋因素的影响。而水下光传播的脆弱性(如与波长相关的衰减、吸收和散射)所导致的一系列非线性图像失真又加剧了这些困难。在本论文中,我们提出了一套新颖的改进型视觉感知解决方案,以应对这些挑战,从而实现有效的水下人机合作。研究成果包括底层视觉和基于学习的算法的新颖设计和高效实施,以及广泛的现场实验验证和单板部署的实时可行性分析。
论文分为三个部分。第一部分侧重于为自动潜航器(AUV)开发实用的解决方案,以便在执行水下任务期间陪伴人类潜水员。其中包括基于视觉的强大模块,使自动潜航器能够理解人类的游泳动作、手势和身体姿势,以便在保持平稳的时空协调的同时跟随人类并与之互动。一系列封闭水域和开放水域现场实验证明了我们提出的感知算法在水下人机合作中的实用性和有效性。我们还确定并量化了这些算法在不利视觉条件下不同操作约束条件下的性能变化。论文的第二部分致力于设计高效的技术,通过恢复水下图像的感知和统计质量来克服能见度低和光学失真的影响。我们进一步证明了这些技术作为视觉导航自动潜航器自主流水线预处理器的实际可行性。最后,本论文的第三部分开发了高层次决策方法,如为快速视觉搜索建立空间注意力模型,学习识别何时需要图像增强和超分辨率模块来实现详细感知等。我们证明,这些方法可将机载视觉感知模块的处理速度提高 45%,使自动潜航器能够做出智能导航和操作决策,尤其是在自主探索任务中。
总之,本论文描述了我们为解决水下人机合作实时机器视觉所面临的环境和操作挑战而进行的尝试。针对各种重要应用,我们开发了稳健、高效的模块,让自动潜航器在仅依靠嘈杂的视觉传感的情况下,通过准确感知周围环境来跟随同伴潜水员并与之互动。此外,我们提出的感知解决方案能让视觉引导机器人在嘈杂条件下看得更清楚,并在有限的计算资源和实时限制条件下做得更好。除了推动最先进技术的发展之外,我们提出的方法和系统还让我们朝着缩小理论与实践之间的差距、改善野外人机合作的方向迈进了一步。