【CVPR2022】端到端实时矢量边缘提取（E2EC）

季顺平教授摄影测量与计算机视觉团队（GPCV）2020级硕士研究生张韬及合作者论文“E2EC: An End-to-End Contour-based Method for High-Quality High-Speed Instance Segmentation”，采用更接近人类理解的方式，提出一种全新的端到端实时矢量边缘提取（E2EC）方法，在降低边缘提取任务难度的同时极大提升了分割质量。

基于轮廓的实例分割方法近年来发展迅速，但其特点是前端轮廓初始化粗糙、手工制作，限制了模型的性能，后端预测标签顶点配对经验固定，增加了学习难度。在本文中，我们介绍了一种新的基于轮廓的方法，命名为E2EC，用于高质量的实例分割。首先，E2EC采用了一种新的可学习的轮廓初始化体系结构，而不是手工的轮廓初始化。该模型由轮廓初始化模块和全局轮廓变形模块组成，前者用于构建更明确的学习目标，后者用于更好地利用所有顶点的特征。其次，我们提出了一种新的标签采样方案，即多方向对齐，以降低学习难度。第三，为了提高边界细节的质量，我们动态匹配最合适的预测地真点对，并提出相应的损失函数动态匹配损失。实验表明，E2EC在KITTI实例数据集(KINS)、语义边界数据集(SBD)、城市景观数据集(Cityscapes)和COCO数据集上都能实现最先进的性能。E2EC在实时应用程序中也很有效，在NVIDIA A6000 GPU上对512×512图像的推理速度为36帧/秒。代码将在https://github.com/zhang-tao-whu/e2ec发布。

E2EC在所有主流数据集COCO、SBD、KINS和Cityscapes上都取得了最好的性能。在SBD数据集上，相比于最新的SOTA算法Deep Snake，E2EC的mask AP精度高8.8%、boundary AP精度高76.8%，速度快11.4%。据悉，E2EC代码已开源，可便捷地嵌入其他方法，有望成为边缘实例分割的新基准，可广泛应用于自动驾驶、遥感制图、城市规划等。

端到端矢量边缘提取（E2EC）方法