科技前沿丨基于立体视觉的水下三维测量系统研究

2018 年 12 月 11 日 无人机

一引言

作为海洋研究的一项基础技术，水下视觉测量技术已经得到众多研究者的关注。国外的研究者较早展开了水下测量方面的研究，国内起步稍晚，但也取得了丰硕的研究成果。如中国研制的“蛟龙号”深潜机器人、中国科学院沈阳自动化研究所的水下机器人、加拿大的 Sea-wolf3水下机器人和日本的“海沟号”水下机器人等，这些水下设备无一例外地搭载了视觉设备，并构建视觉测量系统。

目前使用的水下探测技术主要有水声学和水光学两大类。其中，水光学中水下视觉技术发展晚于其他水下探测技术，但由于其低成本、高精度、高分辨率等优良特点受到研究者的青睐。国内外学者对此展开了深入的探索和研究。光在水下有独特的传播特性，海水对0.47～0.58μm波段内蓝绿光的衰减比其他短波长的光衰减要小得多。光波在水中会被吸收，也会发生散射，因此光波在水中的衰减相当快，且衰减程度和传播距离呈指数关系。由于水下环境复杂，存在水对光的散射和吸收、水体自身的流动、水中的悬浮颗粒以及各种浮游生物等因素的干扰，水下光源会衰减直至消失，这是水下成像需要考虑并解决的关键问题之一。光在不同水质的传播特性对成像品质有较大影响。很多学者研究了不同水质(如泳池、水族箱、近海海水等)中相机的成像情况，结论是在浑浊度低、照明度适中的环境下，视觉测量能够取得更高的精度。

本文针对水下三维测量的需求，搭建了水下双目立体视觉系统，对水下光线散射、折射、吸收等问题展开讨论，并对在空气、池塘、近海等不同环境中的相机成像、双目相机标定、系统测量等问题进行了研究。实验结果表明，在水下环境中，系统成像距离高达 8m，有效测量范围为0.5～4.5m，测量误差小于2cm。实验验证了成像模型、立体标定、测量模型等方法的可靠性，水下测量结果符合预期的技术指标。

二相关研究进展

针对水质的差异、水上成像与水下成像的区别，水下视觉测量主要从图像增强、相机标定、畸变模型等方面着手对现有水上测量模型进行了改进。视觉测量完全依赖于图像质量的高低，图像复原成了图像预处理的首选操作。Sanchez-Ferreira 等研究中首先进行图像复原，然后再进行后续标定、匹配、测量等操作并得到了预期的测量结果。

相机标定是视觉测量中的关键步骤之一，水下视觉测量的标定需要考虑光在水下的传播特性。Li 等基于张氏标定法，结合 Jean-Yves Bouguet 灭点标定方法，建立了综合考虑径向畸变和切向畸变的水下相机非线性数学模型，获取了更高精度的参数和平均误差更小的重投影误差。由于水的流动性较强，流动过程中的水可能导致图像运动模糊、光路变化等问题，从而得到错误的测量结果。Pang 等针对静态水池和动态水流环境分别采用不同的标定方法，在两种状态下均得到了有效的标定参数和测量结果，但是水流变化多端，无法预测，因此面对不同运动状态下的水流采用不同的标定方法适用场景有限。

随着研究的深入，研究成果也逐步落地，越来越多基于双目视觉的水下三维重建、水下跟踪定位、水下目标检测识别等应用层出不穷。Massot-Campos 等[对比了结构光和双目立体视觉在水下环境下的三维重建，也有研究者将双目视觉应用于水下洞穴、水底地形的探测和三维重建。

潜水、捕鱼、测绘等水下活动日渐频繁，水下目标实时跟踪监控的应用也日趋成熟，如潜水人员位姿监测、鱼群监测、珊瑚礁监测等。Xu等建立基于混合高斯模型的目标识别模型，提取目标图像中的特征点进行匹配，从而获得目标的位置和朝向。Chavez等将双目视觉应用于水下环境中场景或物体的三维点云，并结合LSTM-RNN监测算法实时监测潜水人员姿态，确保潜水人员生命安全。

水下机器人广泛应用于水下测绘、海洋资源勘探、海洋生物探测等方面，而自主水下机器人则需要更多外部信息辅助自身的定位、导航、运动控制。Carrasco等使用双目视觉构建了SLAM系统，并且取得了优于 IMU和 GPS的定位、导航和控制效果。水下机器人的伺服控制大多依赖于视觉定位，研究者将双目视觉技术应用于水下机器人的研制，目的是获取水下目标的位置、姿态，控制机械臂对目标进行抓取。

Bruno等将双目视觉和结构光技术结合，构建了用于水下近场三维重建的测量系统(如珊瑚礁监控、水下遗址建模)；并且研究了不同浑浊度的水下环境中的重建问题。调研结果表明，结构光能有效克服高浑浊水质中的强散射、强吸收问题，获得高质量的三维重建结果。

综上所述，基于双目视觉的水上视觉测量技术基础研究涉及范围较广。由于双目测量具有准确、高效的特点，双目测量技术已经应用到水下三维重建、水下目标检测、水下定位导航等各个方面。尽管水下双目视觉得到了广泛而又深入的研究，但由于水下成像特性导致图像质量下降、模型退化的问题还没有得到完全解决。

三双目立体视觉模型

相机通常使用针孔相机模型表征相机的成像过程。如图 1所示，使用带有小孔的板遮挡在成像平面与物体之间，屏幕上会形成物的倒像。其中，像的大小会随遮挡板的前后移动而变化。针孔相机模型表达为：

－x＝f×X/Z

其中，f为小孔到成像平面的距离；Z为相机到物体的距离；X为物体的长度；x为成像平面上物体的长度。

图1 针孔相机模型

为了更好地描述物体三维信息到图像的转换过程，采用如图2所示的世界坐标系O-X_wY_wZ_w、相机坐标系O-X_cY_cZ_c、图像像素坐标系O₀-uv和图像物理坐标系O₁-xy来简化复杂的转换过程。其中，世界坐标系是自由确定的三维空间坐标系。在实际应用中，世界坐标系通常与相机坐标系一致。相机坐标系中X_c和Y_c平行于成像平面，Z_c与成像平面垂直。图像像素坐标系O₀-uv是以图像本身左上角O₀为原点的一个平面坐标系，uv值分别代表像素坐标值，即像素所在图像中的行数和列数，单位是像素。图像物理坐标系O₁-xy是以相机光轴和成像平面垂直相交的点O₁为原点的平面坐标系，xy轴(单位是毫米)分别与像素坐标系的uv轴平行。

图2 坐标系之间的转换

实现世界坐标系到图像像素坐标系的转换就是建立空间三维点到图像二维点之间的联系，可由相关公式推导得到（略）。立体视觉中理想的相机排列关系是成像平面前向对准，光轴平行。图3为立体视觉模型，两个相机固定在同一轴线上，相机的基线距离为b。f表示相机焦距；P(X_w,Y_w,Z_w)表示场景中的一点；p_l(x_l,y_l)表示P投影到左相机图像上的点；p_r(x_r,y_r)表示 P投影到右相机图像上的点。图像立体校正之后可得y_l＝y_r，(x_l－x_r)就是P点在左、右图像上的视差。

图3 立体视觉模型

在立体视觉模型中，除了标定获取每个相机的内外参数，还需要获取两个相机之间的位置关系。在单个相机的标定过程中，可以获得左、右相机与世界坐标系之间转换关系(外参数)。左相机的外参数为旋转矩阵R_l和平移向量 T_l，假设左相机的外参数为旋转矩阵R_r和平移向量T_r。因此，假设世界坐标系中一个点P在 x轴上的坐标是x_w，x_l和x_r分别表示点P在左、右相机坐标系X轴上的坐标，可以得到：

x₁＝R₁x_w＋T₁

x_r＝R_rx_w＋T_r

由此，左、右相机的位置关系可以通过R₀和T₀表达为：

R₀＝R_rR_l^-1

T₀＝T_r－R_rR_l^-1T_l

4水下双目立体世界系统水下成像分析

光在水下传播与空气传播存在差异，Mcglamery和Jaffe对水下成像做了细致的研究。图 4所示为 Jaffe文中提出的水下环境中的光线传播模型，提出了水下图像光量由直接反射光、前向散射光和后向散射光三种光分量叠加生成的观点。其中，直接反射光经过物体对光线的反射和水的吸收后到达成像平面的光分量；前向散射光是物体反射后的光经过水中悬浮物和水的吸收后到达成像平面的光分量；后向散射光是光源发出的光经过水中悬浮物和水的吸收到达成像平面的光分量。

图4 水下环境中的光线传播

在水下使用相机时，将相机放置在密封防水罩中，由于防水罩与水、防水罩与空气传输介质差异，光线从水中进入防水罩时会发生折射，光线从防水罩进入空气中时也会发生折射。由于光线在防水罩处发生两次折射，且防水罩厚度较薄(可忽略不计)，因此将水中的成像过程简化为如图 5所示。其中，防水罩所在平面与相机成像平面平行，世界坐标系下一点P(X_w,Y_w,Z_w)反射的光线与防水罩相交于点O(x_r,y_r,z_r)，光线在O点发生折射，通过镜头最后在成像平面p(u,v)点成像。假设防水罩表面与成像平面平行，防水罩到相机镜头的距离为d，相机焦距为f，(α_w,β_w,γ_w)^T和 (α_a,β_a,γ_a)^T分别为入射光线发生折射前后的方向向量，θ_air与θ_Water分别为光线在空气、水中与光轴的夹角，如果折射平面与相机光轴垂直，那么光轴在相机坐标系下的方向向量为(0,0,1)^T。

图5 水下成像分析

通过相关公式（略）计算可以明白，加了防水罩的相机在水下拍摄的成像过程，光线传播从水介质到玻璃防水罩介质发生一次折射，从玻璃防水罩到空气介质中发生一次折射。由于防水罩较薄，且在玻璃防水罩上发生两次折射，所以玻璃防水罩的折射影响可以忽略。

五水下双目成像实验系统

实验中采用 SV-16HR水下彩色相机、EasierCAP USB图像采集卡、LED补光灯、信号传输线缆、电源转换器、固定支架等设备搭建双目测量系统，实验装置实物组成如图 6所示。

图6 实验装置组成部分

其中，相机工作电压为 5V；LED 补光灯工作电压为12V；图像采集卡的工作电压为5V，图像分辨率为640×480像素，采集帧率为30帧/秒；信号传输线缆长10m；电源转换器提供12V电压输出。图7为本系统在泳池中测试的现场情况。

图7 泳池现场测试情况

图8为水下相机在 4种不同环境中采集的图像。分别为实验室(无水环境)、泳池、池塘、近海海水4种不同环境下目标物体距离相机约为1m时的成像情况。

图8 不同水质中的成像情况

由于水质问题引起的成像差异显而易见，池塘和近海海水水质太差，目标成像距离较短，立体视觉测量相关实验没有完成。图9和图10分别为水上(实验室)和水下(泳池)环境中测量目标距相机不同距离的成像结果。

图9 水下测量目标在不同距离处的成像结果

图10 水上测量目标在不同距离处的成像结果

六水下双目系统测量实验

采用 6×4(10.9cm)尺寸的棋盘格标定板对相机的内外参数进行标定。由于池塘和近海海水中成像效果不佳，在此仅提供实验室和泳池中的相机标定实验结果。

⒈系统标定实验结果

使用立体视觉测量装置采集棋盘格在相机前方不同角度、不同倾斜度的图像共20幅，而后通过本文第2部分介绍的模型进行计算，得到两个相机与每幅图像上棋盘格之间的位置关系，从而确定两个相机之间的位置关系，最终确定立体视觉测量系统的内外参数。整个标定过程包括原始图像采集、棋盘格角点提取、单目标定、立体标定等步骤。图 11(a)为在泳池中采集的16幅不同的标定板图像，图11(b)为16幅标定板图像的角点提取结果。图12(a)、(b)分别为实验室采集的16幅标定板图像及其角点提取结果。

图11 水下原始图像与棋盘格角点提取(右相机)

图12 水上原始图像与棋盘格角点提取(右相机)

表1中所呈现的数据是两种环境中获得的相机标定结果。水上标定得到的参数与水下标定得到的参数存在较大差异，由此可知，直接使用水上标定的参数进行水下测量是不可行的。从标定结果中选取相机的内外参数应用于图像畸变校正和立体校正，校正结果如图13所示。图13(a)、(b)分别为水上和水下环境中的校正图像。为了方便观察，图像中添加了对齐线，如图13中所标注的p_l、p_r为同一目标位置分别在左、右校正图像上的成像点，p_l、p_r位于左、右校正图像的同一条对齐线上。

表1相机标定结果

(a)水下图像立体校正

(b)水上图像立体校正

图13 立体校正图

⒉系统测量误差评估结果

本文采用的误差测量方法是，先测量标定板n个角点的空间位置，然后计算相邻两个角点之间的距离di，相邻角点之间的实际距离为10.9cm(即棋盘格单个方格的边长)，分别通过以下公式计算最大误差和平均误差。

在测量装置前方，以不同位置、不同角度和不同距离放置棋盘格标定板，测量棋盘格标定板上每个角点的空间位置，并计算测量误差。图14为在水下、水上环境中得到的测量误差。从误差测量结果中可以得到，当测量距离小于3.8m时，测量误差小于 1cm；当测量距离为3.8～4.5m时，测量误差小于2cm；当测量距离为5m时，系统的最大误差已经大于2cm。随着测量距离的增大，误差迅速增大，且水上测量误差上升趋势比水下测量误差更明显。由于本系统水下相机所采集的图像分辨率仅为 640×480像素，在测量距离增加的情况下，标定板在图像中的成像区域减少，标定板角点提取难度加大，角点误提取导致角点误匹配的数量增加，从而导致随着测量距离的增加，测量误差迅速增加。水上和水下环境中的误差测量曲线相差不大，说明水下成像理论的加入以及水下标定方法的加持，使水下双目视觉系统达到了与水上测量可媲美的测量结果，从而表明本文方法的有效性。结果表明，本系统在误差小于2cm的情况下，有效测量范围是0.5～4.5m。

图14 误差测量结果

由上述成像实验、标定实验和误差测量实验得到了双目测量系统的成像距离、标定参数、有效测量距离和测量误差，结果如表2所示。由于池塘和近海海水成像距离受限，其测量范围和测量误差未能进行正常测量。在保证测量误差不大于2cm的情况下，双目测量系统的测量指标如表2所示。

表2 本系统在各环境下的测量指标

⒊系统实物测量结果

⑴角螺丝刀长度测量

如图15(a)所示，六角螺丝刀实际长度为17.2cm。如图15(b)所示，在泳池中距离相机3.2m处，测量的六角螺丝刀长度为17.5cm，与实际长度相差0.3cm。如图15(c)所示，在水上(实验室)距离相机1.1m处，测量的六角螺丝刀长度为17.9cm，与实际长度相差0.7cm。水下测量结果与水上测量结果相差0.4cm。

(a)六角螺丝刀实际长度

(b)六角螺丝刀测量结果(水下)

(c)六角螺丝刀测量结果(水上)

图15 六角螺丝刀长度测量结果

⑵标定板测量

如图 16(a)所示，标定板距离相机2.4m处，五个方格的长度测量结果为54.9cm，与方格实际长度(54.5cm)相差0.4cm。如图16(b)所示，在水上(实验室)标定板距离相机 2.9m 处，五个方格的长度测量结果为55.9cm，与实际长度相差1.4 cm。水下测量结果与水上测量结果相差1cm。

(a)棋盘格长度测量(水下)

(b)棋盘格长度测量(水上)

图16 标定板长度测量结果

⑶泳圈测量

图17(a)为泡沫游泳圈内径和外径的实际距离：外径为 60cm，内径为39cm。如图17(b)所示，泡沫游泳圈在水下距离相机4.4m处，泳圈外径测量结果是59.78cm，与其实际长度相差0.22cm。

(a)泡沫游泳圈外径、内径长度

(b)泡沫游泳圈外径测量(水下)

图17 泡沫游泳圈外径测量结果

⒋实验结果分析

上节中所展示的六角螺丝刀、标定板测量实验结果表明，在测量误差允许的范围内，本系统在水上和水下均能获得准确的测量结果；而根据泳圈的水下测量结果与泳圈实际长度进行对比，测量误差仅0.22cm，进一步验证了本系统水下测量结果的可靠性。

虽然水下测量相关工作已有不少的研究成果，但这些工作使用不同的相机，在不同的测试环境下，采用不同的测量原理，对水下物体进行三维测量或者三维重建。由于实际实验过程中的差异，不同工作呈现的测量效果差异较大。表3展示了一些具有代表性的水下三维测量工作，Sanchez-Ferreira 等使用的相机分辨率为800×480像素，在实验室环境中进行实验，实验结果中多数测量点的误差在0.6cm左右，由于相机视场受限，某些测量点的误差达到了10cm。Bruno等使用高分辨(3872×2592像素)相机搭建双目视觉系统，并使用结构光作为图像匹配特征，在实验室水池中(3m×2m×0.7m)使用不同水质的水进行物体三维重建实验。结果显示，在空气中的重建结果最佳，随着水质浑浊度的增加，结构光在水中被散射和吸收的光分量增加，三维重建得到的点云越来越稀疏。

表3 与其他方法的对比

注：“*”表示单个测量距离下得到的测量误差，文中未给出测量范围

这表明，结构光在水下环境中的散射和吸收会增加基于结构光的三维重建方法的局限性。Massot-Campos等结合了单目结构光方法与双目立体视觉方法：双目视觉设备是 PGR Bumblebee 2立体相机，该设备由两个1024×768像素的彩色相机组成，单目结构光设备由一个激光投射器和一个1920×1440像素的相机组成。在 4m×3m×2m的水池中进行了实验，分别使用两套设备对同一场景进行三维重建，并对重建出来的两组点云进行配准。通过对比发现，双目设备能够获取更多、更全面的点云，但是缺少细节；而单目结构光设备能够获取更为精确的细节部分，但只能获取有限数量的点云且缺少物体表面的颜色。

综上，基于双目结构光测量原理的系统测量误差较小，但由于结构光在水下环境中的散射和吸收导致其测量范围受限；基于传统双目结构光的系统测量误差较大，但测量范围较广。本文采用的水下标定与折射补偿相结合的标定方法，不受结构光投射范围受限的影响，从而大大降低了双目立体视觉系统的测量误差，增大了系统的有效测量范围。

七总结与展望

本文介绍了一种水下几何测量的方法，搭建了一套水下立体视觉测量系统，水上、水下两种环境均可使用。相机水上成像距离10m，水下成像距离8m，测量范围为0.5～4.5m，测量误差小于2cm。对不同的水质环境进行了对比实验，并采用不同的图像预处理方法克服了水下光源不足、光照不均匀、水质恶劣等问题。最终得到了在不同水质下均能良好工作的三维测量系统，具有较高的实用价值。本文从水下成像出发，以传统双目视觉测量技术为基础，对水下双目测量技术进行探索，探讨了水下与水上标定的差异，是对水下视觉测量技术的一次有益探索。在误差允许的情况下，水上与水下测量实验都达到了预期目标。尽管实验结果满足了当前需求，但在系统搭建和实验过程中暴露了很多亟待解决的问题。

未来研究中，将着手并解决以下几个问题：提高成像品质、改进相机模型、减少立体匹配误差、去除噪声干扰引起的标定误差、弱化标定过程中人为抖动引起的图像模糊。另外，因现提供的三维信息仅提供指定点的测量结果，将考虑对相机可视范围内的物体做完整的三维重建，并将该技术扩展到水下设备三维建模、水下地形测绘、水下机器人导航等应用领域。

【作者简介】文/张洪龙陈涛庄培钦周志盛宋展焦国华乔宇，分别来自中国科学院深圳先进技术研究院深圳市虚拟现实与人机交互重点实验室和中国科学院大学深圳先进技术学院。张洪龙，硕士研究生，研究方向为三维重建、视觉测量、机器学习等；陈涛，硕士研究生，研究方向为光学设计、控制工程等；庄培钦，硕士研究生，研究方向为深度学习、计算机视觉、人工智能等；周志盛，博士后，研究方向为光学设计、控制工程等；宋展(通讯作者)，研究员，研究方向为计算机视觉、模式识别等；焦国华，高级工程师，研究方向为光学工程、光电传感、微光学制造等；乔宇，研究员，研究方向为计算机视觉、图像处理、模式识别等。本文为基金项目，国家重点研发计划(2017YFB1103602)；国家自然科学基金项目(U1613213、U1713213)；深圳市科技计划(JSGG20150925164740726)。文章来自《集成技术》（2018年第3期）。

转自丨溪流之海洋人生