【CVPR2025】面向自监督场景文本识别的语言学感知掩码图像建模

文本图像具有独特的双重属性，同时包含视觉与语言信息。视觉成分涵盖结构和外观特征，而语言维度则包含上下文与语义要素。在视觉质量退化的场景中，语言模式成为理解的关键补充，这凸显了融合双重特征对于鲁棒场景文本识别（STR）的必要性。当前STR方法通常依赖语言模型或语义推理模块来捕捉语言特征，往往需要大规模标注数据集。缺乏标注的自监督学习在解耦全局上下文相关的语言特征方面面临挑战：序列对比学习通常强调局部特征对齐，而掩码图像建模（MIM）倾向于利用局部结构重建视觉模式，导致语言知识获取有限。本文提出**语言学感知掩码图像建模（LMIM）**方法，通过独立分支将语言信息注入MIM解码过程。具体而言，我们设计：语言对齐模块：利用不同视觉表现的输入，提取与视觉无关的特征作为语言引导全局上下文整合机制：迫使模型超越局部视觉结构，基于全局语境完成重建实验表明，LMIM在多个基准测试中达到SOTA性能（如ICDAR2015准确率提升3.2%），注意力可视化定性地展示了其对视觉与语言信息的同步捕获。代码已开源：https://github.com/zhangyifei01/LMIM