SAM2 用于图像和视频分割：全面综述

尽管深度学习在图像和视频分割领域取得了显著进展，现有模型在跨领域适应性和泛化能力方面仍面临挑战。图像和视频分割是计算机视觉中的基础任务，广泛应用于医疗、农业、工业检测和自动驾驶等领域。随着大规模基础模型的出现，SAM2——SAM（Segment Anything Model）的改进版本——已针对分割任务进行了优化，在复杂场景中展示了增强的性能。然而，SAM2在特定领域的适应性和局限性仍需进一步研究。本文系统分析了SAM2在图像和视频分割中的应用，并评估了其在不同领域的性能。我们首先介绍了图像分割的基础概念，对基础模型进行了分类，并探讨了SAM和SAM2的技术特性。随后，我们深入研究了SAM2在静态图像和视频分割中的应用，重点分析了其在医学影像等专业领域的表现以及跨领域适应性的挑战。作为研究的一部分，我们回顾了200多篇相关论文，以提供对该主题的全面分析。最后，本文总结了SAM2在分割任务中的优势和不足，指出了其面临的技术挑战，并提出了未来的发展方向。本综述为在实际场景中优化和应用SAM2提供了有价值的见解和实践建议。

关键词：SAM2，SAM，图像分割，视频分割，基础模型，性能评估1 引言图像分割和视频分割是计算机视觉中的基础任务，旨在根据语义或空间特征将图像或视频划分为有意义的区域 [1]。这些任务在多个领域得到了广泛应用，包括医疗 [2]、[3]、农业 [4]、工业检测 [5]、自动驾驶 [6] 和卫星遥感 [7]、[8]。图像分割专注于从单张图像中识别和提取目标物体、边界或纹理，而视频分割则将这一过程扩展到时间维度，旨在准确分割连续视频帧的同时确保时空一致性。近年来，深度学习的进展在这些任务中取得了显著突破，即使在复杂场景中也能表现出色。然而，大多数现有模型针对特定的成像模式或任务进行了优化，这限制了它们在多样化领域中的泛化能力。因此，开发更具通用性和适应性的分割模型已成为推动该领域发展的关键方向。大规模基础模型的出现彻底改变了人工智能的研究范式，展示了显著的零样本和少样本学习能力 [9]。作为图像分割领域的开创性基础模型，SAM（Segment Anything Model）[10] 在自然图像分割任务中取得了显著成功。然而，SAM在应用于图像和视频分割时面临一些挑战。首先，由于SAM的预训练主要依赖于自然图像 [11]、[12]、[13]，它在适应其他领域时表现不佳，导致精度下降。其次，SAM主要在2D图像上进行训练，这限制了其在处理3D医学图像和其他复杂数据类型时的性能 [14]。最后，由于视频数据具有时间连续性和动态特征 [15]，SAM在视频分割任务中遇到困难，这与静态图像的需求显著不同。为了解决这些局限性，SAM2 [16] 作为SAM的改进版本被提出。SAM2旨在更好地适应各种分割任务的特定需求，为图像和视频分割提供更鲁棒和准确的解决方案 [11]。为了更深入地理解SAM2在图像和视频分割中的作用并提供全面的视角，我们对相关研究进行了系统性回顾 [17]、[18]、[19]、[20]、[22]。尽管一些综述总结了基于SAM或SAM2的分割方法，但这些综述通常专注于特定领域或问题，忽视了SAM2在图像和视频分割中的广泛应用（见表1）。本综述首次全面评估了SAM2的性能，突出了其在分割任务中的有效性，同时考察了其在不同领域中的适应性和局限性。本研究重点分析了SAM2在多个领域的图像和视频分割任务中的表现。首先，我们全面概述了图像分割、基础模型的概念和分类，以及SAM和SAM2的技术特性。我们还讨论了将SAM/SAM2扩展到其他领域的努力。接下来，我们总结了最新的研究进展，并评估了SAM2在两个主要领域的分割性能：视频和静态图像。在分析其在自然图像上的表现时，我们特别强调了其在医学影像这一专业领域的应用，因为其他专业领域的研究仍然有限。最后，我们总结了SAM2在图像和视频分割中的特性，讨论了当前的技术挑战，并探讨了未来的发展方向。本研究的主要目标是评估SAM2在图像和视频分割任务中的表现。第2节介绍了分割的基本概念，涵盖了图像分割的基础知识、基础模型的分类，以及SAM和SAM2的详细比较，重点分析了它们在任务中的优势和差异。第3节回顾了SAM2在图像分割中的最新研究和应用。我们考察了最先进的网络，总结了基于SAM和SAM2的方法，收集了自然图像和医学图像的数据集，并讨论了常用的评估指标，为性能评估奠定了理论基础。在第4节中，我们将重点转向视频分割任务，评估了SAM2在动态场景中的表现。我们对最新的视频分割网络进行了分类，整理了相关的视频数据集，并介绍了该领域的评估指标，以全面分析SAM2的能力。最后，第5节总结了SAM2在图像和视频分割中的特性，指出了其面临的技术挑战，并提供了未来发展的见解。通过本研究，我们的目标是为SAM2在实际场景中的应用和进一步优化提供有价值的信息和可操作的建议。