公众号GIF.gif

IEEE国际计算机视觉与模式识别会议（CVPR），是计算机视觉领域三大顶级会议之一。CVPR 2025将于6月11日至15日在美国田纳西州纳什维尔举办。我们将分期对自动化所的录用研究成果进行简要介绍（排序不分先后），欢迎大家共同交流讨论。

点击上图查看第一期

**22. **揭示关键细节以辨差异：基于骨架动作识别的全新原型视角

Revealing Key Details to See Differences: A Novel Prototypical Perspective for Skeleton-based Action Recognition **作者：**刘宏达，刘云帆，任民，王昊，王云龙，孙哲南在基于骨架的动作识别中，由于骨架表示缺乏图像级的细节信息，区分具有相似关节轨迹的动作成为一个关键挑战。我们发现，相似动作的区分依赖于特定身体部位的微妙运动细节，因此本文方法聚焦于局部骨架结构的细粒度运动特征。为此，我们提出ProtoGCN，一种基于图卷积网络（GCN）的模型。该模型将整个骨架序列的动态分解为一系列可学习原型的组合，这些原型代表了不同的核心运动模式。通过对比原型重建结果，ProtoGCN能够有效识别并增强相似动作的判别性表示。在不依赖复杂技巧的情况下，ProtoGCN在多个基准数据集（包括NTU RGB+D、NTU RGB+D 120、Kinetics-Skeleton和FineGYM）上均达到了最先进的性能，充分验证了所提方法的有效性。

骨架及学习拓扑结构的示意图。如图中(a)和(c)所示，对于相似动作“书写”和“键盘打字”，基线模型虽然能够关注手部相关关节，但在揭示其独特运动特征方面存在不足。相比之下，本文提出的图原型重建机制能够准确区分这两个动作，这点从(b)和(d)所体现的显著运动模式差异上得到了验证。

**23. **在持续测试域自适应中维持类间拓扑一致性

Maintaining Consistent Inter-Class Topology in Continual Test-Time Adaptation **作者：**倪成功，吕凡，檀佳垚，胡伏原，姚睿，周涛本文介绍了一种名为Topological Consistency Adaptation (TCA)的新型持续测试时自适应(CTTA)方法，旨在解决测试场景中领域偏移和错误累积的挑战。TCA通过引入类拓扑一致性约束，确保在连续自适应过程中类间关系的稳定性，最小化类中心的失真并保持拓扑结构。此外，TCA还提出了一种类内紧凑性损失，以保持类内特征的紧凑性，间接支持类间稳定性。同时，引入了一种批不平衡拓扑加权机制，以考虑每个批次内类分布的不平衡，优化中心距离并稳定类间拓扑结构。实验结果表明，TCA方法在处理连续领域偏移方面表现出色，能够确保特征分布的稳定性，并显著提高预测性能。在CIFAR-10-C、CIFAR-100-C和ImageNet-C三个基准任务上的广泛实验表明，TCA在平均错误率方面优于其他方法，分别将平均错误率降低到14.7%、29.7%和59.3%。这表明，保持平衡和稳定的类间拓扑以及类内特征的均匀性，可以有效缓解CTTA中的错误累积问题。

框架概述。TCA首先关注类间特征分布的均匀性，利用增强的伪标记预测来计算伪质心代理，从而使类间特征均匀化。随后，TCA保持了类内特征的紧凑分布，从而减轻了类特征分布内的不平衡。最后，TCA根据详细的历史预测分布连续地维护类间质心的动态权重，从而保持类间潜在的拓扑关系。

24. 超越背景偏移：重新思考持续语义分割中的实例重放

Beyond Background Shift: Rethinking Instance Replay in Continual Semantic Segmentation **作者：**尹红梅，冯廷亮，吕凡，尚凡华，刘红英，冯伟，万亮在这项工作中，我们聚焦于持续语义分割（CSS）任务，其中分割网络需要不断学习新类别，同时避免遗忘已学类别的知识。尽管在分类任务中，存储旧类别的图像并将其直接纳入新模型的训练已被证明可以有效缓解灾难性遗忘，但这一策略在 CSS 任务中存在显著局限性。具体而言，存储的图像和新图像通常只包含部分类别的标注，这可能导致未标注类别与背景混淆，从而增加模型拟合的难度。为了解决这一问题，本文提出了一种 EIR 方法，该方法不仅通过存储旧类别的实例来保留旧知识，并同时消除背景混淆，还通过将存储的实例与新图像融合来缓解新数据中的背景偏移问题。通过有效解决存储图像和新图像中的背景偏移，EIR 能够显著缓解 CSS 任务中的灾难性遗忘，从而提升模型在 CSS 任务中的表现能力。实验结果验证了我们方法的有效性，EIR 方案在 CSS 任务上显著优于当前最先进的方法。

图1. 传统图像重放方法与我们提出的重放方法的示意图。(a) 该图展示了存储图像中仅标注了旧类别 “horse”，而其他类别（新类别 “person” 和旧类别 “car”）被标注为背景。此外，新图像中的旧类别（“horse”）以及未来类别也被标注为背景。(b) 我们的方法通过保留实例来避免存储图像中的混淆信息，并通过将这些实例融合到新图像中来缓解背景偏移问题。

图2. 方法的详细架构图。首先，根据类别从旧数据中采样实例。随后，在类别组合阶段，通过旧模型识别潜在的旧类别。在实例选择阶段，从实例池中选择潜在类别的实例。之后，计算实例在新图像中的放置位置，并将其与新图像融合生成融合图像。最后，对融合图像进行增强训练。

**25. **基于双重语义引导的开放词汇语义分割

Dual Semantic Guidance for Open Vocabulary Semantic Segmentation **作者：**王正扬，冯廷亮，吕凡，尚凡华，冯伟，万亮开放词汇语义分割旨在使模型能够分割任意类别。目前，尽管像 CLIP 这样的预训练视觉语言模型（VLM）通过从大规模数据中学习匹配文本和图像表示为该任务奠定了坚实的基础，但它们缺乏像素级识别能力。大多数现有方法利用文本作为引导来实现像素级语义分割。然而，文本语义的固有偏差以及缺乏像素级监督信息难以有效微调基于 CLIP 的模型颇具挑战性。本文考虑同时捕获图像和文本中包含的语义信息，构建双重语义引导及相应的像素级伪标注。本文提出增强区域感知来正确捕捉视觉语义引导，并从文本中抓取名词作为文本于一引导，联合微调基于 CLIP 的分割模型，从而实现良好的细粒度识别能力。综合评估表明，在八种常用数据集上，我们的方法大幅超越了最先进的成果。

图1. 目前开放词汇分割方法的不足以及我们双重语义引导的示意图。(a)该图展示了仅依赖名词会导致图像表示在大类上收敛，存在语义偏差。(b) 该图展示了先前方法使用图像-文本匹配来监督分割的局限性，这类方法的会导致粗糙的分割，甚至是未分割的狗都被判定为分割完整。(c) 我们的方法从图像-文本对中捕获双重语义引导，协同指导模型训练。

图2. 双重语义引导生成阶段的示意图。（1）该图的左部分展示了数据处理的流程，具体来说，我们通过SAM获得实例集，并通过区域感知加强模块提取实例特征，再经过聚类筛选获得视觉语义引导与对应分割标签。其次，我们提取文本中名词，获得文本语义引导。（2）该图右部分展示了区域感知加强模块。通过依据实例的掩码改变注意力图，加强对前景区域的感知。

**26. **打破线性注意力的低秩困境

Breaking the Low-rank Dilemma of Linear Attention **作者：**樊齐航，黄怀波，赫然 Transformer 模型中的 Softmax 注意力机制因其二次复杂度而计算代价高昂，在视觉应用中面临巨大挑战。相比之下，线性注意力（Linear Attention）通过将计算复杂度降低到线性水平，提供了一种更加高效的解决方案。然而，线性注意力通常比 Softmax 注意力表现更差。我们的实验表明，这种性能下降主要源于线性注意力输出特征映射的低秩特性，导致其难以充分建模复杂的空间信息。为了解决这一低秩问题，我们从KV缓冲区和输出特征两个角度对其秩进行了深入分析。基于此，我们提出了Rank-Augmented Linear Attention（RALA），它在保持线性复杂度和高效性的同时，性能可与Softmax注意力相媲美。在RALA的基础上，我们构建了Rank-Augmented Vision Linear Transformer（RAVLT）。大量实验表明，RAVLT在多种视觉任务上均能取得出色的性能。

对比 Softmax 注意力和不同线性注意力所输出的特征图。所有实验均基于 DeiT-T 架构进行，设 N = 196，d = 64，图中矩阵的满秩为 64。与 Softmax 注意力相比，各种线性注意力的输出特征表现出明显的低秩特性，这表明线性注意力所学习到的特征多样性远不及 Softmax 注意力。RALA解决了这一问题，有效提升了模型学习到特征的秩。

**27. **迈向驾驶场景的自由视角仿真

FreeSim:Toward Free-viewpoint Camera Simulation in Driving Scenes **作者：范略，张淏，王启泰，李鸿升，张兆翔我们提出了FreeSim，一种面向自动驾驶的相机模拟方法。FreeSim强调在记录的自车轨迹之外的视角上实现高质量渲染。在此类视角下，由于缺乏训练数据，以往方法存在不可接受的性能下降。为解决数据稀缺问题，我们首先提出了一种生成增强模型，并搭配匹配的数据构建策略。该模型能够在略微偏离记录轨迹的视角上生成高质量图像，条件是该视角的降质渲染。随后，我们提出了一种渐进式重建策略，从略微偏离轨迹的视角开始，逐步将未记录视角的生成图像加入重建过程，并逐步扩大偏离距离。通过这种渐进生成-重建流程，FreeSim支持在超过3米的大幅偏离下实现高质量的轨迹外视角合成。

FreeSim 方法使得大范围相机偏移下仍然有着较高的保真度，支持自由视角的驾驶场景仿真。

28. 灵活轨迹上的驾驶场景重建和渲染

FlexDrive:Toward Trajectory Flexibility in Driving Scene Reconstruction and Rendering **作者：周静秋，范略，黄林江，石晓宇，刘偲，张兆翔，李鸿升利用3D高斯泼溅技术，驾驶场景重建和渲染取得了显著进展。然而，先前的研究大多集中在预记录车辆路径上的渲染质量，难以推广到路径外的视角，这是由于缺乏这些视角的高质量监督。为解决这一问题，我们引入了逆视图扭曲技术，生成紧凑且高质量的图像作为路径外视角重建的监督，从而实现这些视角的高质量渲染。为了准确且稳健地进行逆视图扭曲，提出了一种深度引导策略，在优化过程中实时获取密集深度图，克服了LiDAR深度数据的稀疏性和不完整性。我们的方法在广泛使用的Waymo Open数据集上实现了优异的路径内和路径外重建与渲染性能。此外，提出了一个基于模拟器的基准测试，以获取路径外的真实数据并定量评估路径外渲染性能，我们的方法在此方面显著优于以往方法。

FlexDrive方法可以在高速环境下模拟cut-in等行为，并保证视觉保真度。

**29. **R-TPT：通过测试时提示调整提高视觉语言模型的对抗鲁棒性

R-TPT: Improving Adversarial Robustness of Vision-Language Models through Test-Time Prompt Tuning **作者：**生力军，梁坚，王子磊，赫然随着CLIP等视觉语言模型作为基础模型的广泛应用，针对下游任务的微调方法层出不穷。然而，由于这些模型固有的脆弱性以及有限的开源选择，视觉语言模型比传统视觉模型面临更高的对抗攻击风险。现有的防御技术通常依赖于训练期间的对抗性微调，这需要标注数据且难以跨任务泛化。为了解决这些局限性，我们提出了R-TPT方法，通过在推理阶段减轻对抗攻击的影响来增强模型的鲁棒性。我们首先通过消除经典的边际熵目标中对于对抗样本冲突的损失项，仅保留点熵最小化。此外，我们引入了一种即插即用的基于可靠性的加权集成策略，该策略从可靠的增强视图中聚合有用信息以加强防御。R-TPT方法在不需标注训练数据的情况下增强了对对抗攻击的防御能力，同时为推理任务提供了高度的灵活性。

R-TPT的方法流程示意图

**30. **通过大语言模型对步态识别特征进行序列建模

Bridging Gait Recognition And Large Language Models Sequence Modeling **作者：杨少鹏，王继隆，侯赛辉，刘旭，曹春水，王亮，黄永祯步态序列展现出与自然语言相似的序列结构和上下文关系，其中每个元素——无论是单词还是步态步骤——都与其前后元素相关联。这种相似性使得步态序列可以转化为包含身份信息的“文本”。大型语言模型（LLMs）旨在理解和生成序列数据，因此可以用于步态序列建模，以提升步态识别的性能。基于这些见解，我们首次尝试将LLMs应用于步态识别，并将其称为GaitLLM。我们提出了步态到语言模块，将步态序列转化为适合LLMs的文本格式，以及语言到步态模块，将LLMs的输出映射回步态特征空间，从而弥合LLM输出与步态识别之间的差距。值得注意的是，GaitLLM利用LLMs强大的建模能力，而无需依赖复杂的架构设计，仅通过少量可训练参数即可提升步态识别性能。我们的方法在四个流行的步态数据集上取得了最先进的结果，证明了LLMs在这一领域应用的有效性。

GaitLLM的概念示意图

**31. **在多模态大型语言模型的安全对齐中我们是否真的需要精心挑选的恶意数据？

Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models？ **作者：**王彦博，关霁洋，梁坚，赫然多模态大型语言模型 (MLLM) 取得了重大进展，但其安全性对齐仍然有限。通常，当前的樊齐航开源 MLLM 依靠从其语言模块继承的对齐来避免有害内容的生成。然而，缺乏专门为多模态输入设计的安全措施会造成模态间的对齐差距，使 MLLM 容易受到视觉域攻击，例如排版操纵攻击。当前的安全对齐方法利用精心设计的安全数据集来增强模型防御能力，但仍不清楚模型从高质量数据集学到了什么具体的特定知识或模式。通过比较实验，我们发现对齐差距主要源于数据分布偏差，而图像内容、响应质量或数据集的对比行为对提高多模态安全性贡献有限。为了进一步研究这一点并确定提高 MLLM 安全性的关键因素，我们建议在一小组良性的指令遵循数据上对 MLLM 进行微调，将响应替换为简单、清晰的拒绝回答格式。实验表明，无需耗费大量人力收集高质量恶意数据，只要微调集中存在特定比例的拒绝数据，模型安全性仍可得到显著提升，这表明在多模态预训练或指令微调期间，安全性对齐不会丢失，而仅仅会被掩盖。只需纠正底层数据偏差，即可缩小视觉领域的安全差距。

研究流程示意图

**32. **PhysVLM: 让视觉语言模型理解机器人的物理可达性

PhysVLM: Enabling Visual Language Models to Understand Robotic Physical Reachability **作者：**周伟杰，陶满礼，赵朝阳，郭海云，董宏辉，唐明，王金桥大模型作为具身智能体决策的“大脑”，是实现现实世界中泛化操作的关键要素之一，但环境的视觉感知与物理空间约束的协同理解仍是实现可靠操作的主要挑战。本研究提出首个机器人物理空间具身大模型——PhysVLM，有效整合了对环境的视觉理解和对具身智能体的物理空间约束感知，从而生成更加可行和可靠的动作决策。研究亮点体现为：

具身空间-物理约束建模（S-P Map encoding）。将机器人物理空间约束转化为可学习的视觉语义表征，使模型无需学习具体机械参数，即可实现跨机器人平台的泛化能力。
视觉-物理空间协同推理架构。PhysVLM创新性地采用双分支特征编码器设计，实现环境视觉语义与本体物理空间约束的特征交互，在保持通用视觉推理性能的同时，显著增强对操作可行性的推理能力。
具身物理空间多模态数据集Phys100K。包括6类工业机械臂、10万组操作场景，涵盖RGB图像—可达物理空间图（S-P Map）—具身物理问答三元组数据。配套开发的EQA-phys评估基准包含带有4类工业机械臂的仿真环境和问答数据。实验结果表明，PhysVLM相较于GPT-4o实现了14%的性能提升；在通用具身推理任务中，超越RoboMamba等具身多模态大模型（+8.6%）。所提方法展现出优秀兼容性，与GPT-4o集成后，操作可行性判断准确率提升7.1%。模型可准确识别机器人对物体的空间不可达性，并提出如“先利用地盘移动靠近目标再进行机械臂操作”等合理建议。

图1. PhysVLM框架图

图2. 机器人物理可达性理解任务展示

**33. **UniVAD: 面向小样本视觉异常检测的跨领域统一模型

UniVAD: A Training-free Unified Model for Few-shot Visual Anomaly Detection **作者：**古兆鹏，朱炳科，朱贵波，陈盈盈，唐明，王金桥视觉异常检测旨在识别图像中偏离正常模式的异常样本，涵盖工业、逻辑、医疗等多个领域。由于这些领域之间存在数据分布差异，现有的异常检测方法通常需要针对每个特定领域量身定制，采用专门设计的检测技术和模型架构，难以在不同领域之间泛化应用，这阻碍了异常检测的跨领域统一。为解决这一问题，我们提出了一种无需训练的跨领域统一的小样本异常检测方法——UniVAD。UniVAD无需在特定领域数据上进行训练，仅在测试阶段提供少量正常样本作为参考，即可检测先前从未见过的物品类别中的异常。具体而言，UniVAD采用基于视觉基础模型和聚类方法的上下文组件聚类（C3）模块精确分割图像中的组件，并利用组件感知补丁匹配（CAPM）和图增强组件建模（GECM）模块分别检测图像中不同语义层次的异常，从而实现跨领域统一异常检测。在涵盖工业、逻辑、医疗领域的九个数据集上的实验结果表明，UniVAD在多个领域的小样本异常检测任务中均实现了最先进的性能，优于特定领域的异常检测模型。相关代码已开源。

图 1. UniVAD 与现有异常检测方法在 1-shot 场景下的性能对比

图2. UniVAD 整体结构图

**34. **基于对话优化的跨模态对齐的对话式行人检索

Chat-based Person Retrieval via Dialogue-Refined Cross-Modal Alignment **作者：**白杨，季榆程，曹敏，王金桥，叶茫传统基于文本的行人检索依赖单次输入的文本描述作为查询。然而，在实际场景中，难以确保该查询能够完全反映用户的检索意图。为解决这一问题，我们提出了一种新的检索范式——对话式行人检索，通过交互式对话作为查询，并结合对话上下文逐步优化查询内容，从而实现更精准的行人检索。然而，该任务面临的首要挑战是缺乏可用的对话-图像配对数据。为此，我们构建了首个面向对话式行人检索的数据集ChatPedes，该数据集利用大语言模型自动生成问题并模拟用户响应，从而完成对话构建。此外，为了减少对话与图像之间的模态差异，我们提出了一种对话优化的跨模态对齐框架，该框架通过两个自适应属性挖掘模块，分别从对话和图像中提取行人关键属性，从而实现细粒度的跨模态对齐。同时，我们还设计了一种针对对话的数据增强策略——随机轮次保留，以增强模型在不同对话长度下的泛化能力。

对话式行人检索概述：对话构建（Dialogue Building）通过对话历史生成后续问题，提示用户逐步提供更多关于目标行人的信息，最终形成关于目标行人的对话查询（Dialogue Query）。对话优化的跨模态对齐框架（DiaNA）旨在减少对话与图像之间的模态差异，并利用可学习的属性查询提取关键信息，从而实现细粒度的跨模态对齐。

**35. **合成数据是持续视觉语言模型的一份优雅礼物

Synthetic Data is an Elegant GIFT for Continual Vision-Language Models **作者：**吴彬，施武轩，王金桥，叶茫预训练视觉语言模型（VLM）需要通过持续学习来更新知识并适应多种下游任务。然而，在持续微调的过程中，VLM不仅容易遗忘历史下游任务，还可能遗忘预训练习得的通用知识，导致泛化能力退化。传统方法依赖重放部分历史数据来缓解遗忘，不适用于预训练数据通常无法获取的VLM。本文提出合成数据辅助的持续微调（GIFT），利用扩散模型重现VLM的预训练和下游任务数据。我们设计了对比蒸馏损失和图文对齐约束，通过匹配合成图像和对应的文本提示，引导VLM在知识蒸馏中回顾习得的知识。此外，为了降低合成数据量有限带来的过拟合风险并提升蒸馏效果，我们引入了自适应权重巩固，基于合成图像-文本对中的Fisher信息实现更好的稳定性-可塑性平衡。实验结果表明，当提示词分别由语义多样的外部视觉概念和下游任务类别名构建时，扩散模型生成的图像能够有效近似VLM的预训练和下游任务数据，从而有助于维持VLM在持续微调中的泛化能力并减轻灾难性遗忘。

GIFT框架图。子图（a）为基于合成数据的蒸馏，通过对比蒸馏损失对齐当前模型和历史模型在匹配合成图像-文本对时的输出，通过图文对齐约束修正教师模型可能存在的错误。子图（b）为自适应权重巩固，使用合成图像-文本对的Fisher信息加权L2约束，惩罚导致遗忘的参数更新。

**36. **运动感知的高效视频多模态语言模型

Efficient Motion-Aware Video MLLM **作者：**赵子嘉，霍宇琦，岳同天，郭龙腾，卢浩宇，王炳宁，陈炜鹏，刘静大多数当前的视频多模态语言模型（MLLM）依赖于均匀帧采样和图像级编码器，这导致了数据处理效率低下和有限的运动感知。为了解决这些问题，我们提出了EMA，一种高效的运动感知视频多模态语言模型，利用压缩视频结构作为输入。我们提出了一种运动感知GOP（图像组）编码器，它在压缩视频流中的GOP单元内融合空间和运动信息，生成紧凑且富有语义的视觉标记。通过在这种原生慢-快输入架构中，将较少但密集的RGB帧与更多但稀疏的运动向量结合，我们的方法减少了冗余并增强了运动表示。此外，我们还引入了MotionBench，一个评估四种运动类型（线性、曲线、旋转和基于接触的）运动理解的基准。实验结果表明，EMA在MotionBench和流行的视频问答基准上均达到了最先进的性能，同时降低了推理成本。此外，EMA还表现出强大的可扩展性，在长视频理解基准上也展现了具有竞争力的性能。

基于GOP编码模式的高效理解架构

**37. **面向异步视频生成的自回归扩散生成方法

AR-Diffusion: Asynchronous Video Generation with Auto-Regressive Diffusion **作者：**孙铭真，王卫宁，李根，刘佳伟，孙家辉，冯万泉，劳珊珊，周思宇，何茜，刘静视频生成的任务需要合成视觉上逼真且时间上连贯的视频帧。现有的方法主要使用异步自回归模型或同步扩散模型来解决这一挑战。然而，异步自回归模型通常存在误差累积等问题，而同步扩散模型则受限于其对固定序列长度的依赖。为了解决这些问题，我们提出了一种新颖的模型——自回归扩散模型（Auto-Regressive Diffusion, AR-Diffusion），它结合了自回归模型和扩散模型的优势，实现了灵活、异步的视频生成。具体来说，我们的方法利用扩散过程在训练和推理阶段逐渐破坏视频帧，从而减少这两个阶段之间的差异。受自回归生成的启发，我们在单个帧的破坏时间步上引入了非递减约束，确保较早的帧比后续的帧保持更清晰的状态。此外，我们设计了两种专门的时间步调度器：FoPP调度器用于在训练期间平衡时间步采样，AD调度器用于在推理期间实现灵活的时间步差异，支持同步和异步生成。大量实验证明了我们提出的方法的优越性，该方法在四个具有挑战性的基准测试中取得了具有竞争力且领先的结果。