【AAAI2022】在场景文本识别中，视觉语义学可以更好地进行文本推理

论文题目: Visual Semantics Allow for Textual Reasoning Better in Scene Text Recognition

作者: Yue He, Chen Chen, Jing Zhang, Juhua Liu, Fengxiang He, Chaoyue Wang, Bo Du

指导教师：杜博教授

论文概述: 现有的场景文本识别（STR）方法通常使用语言模型来优化视觉识别（VR）模型预测的一维字符序列的联合概率, 然而忽略了字符实例内部和字符实例之间的二维空间视觉语义，使得这些方法不能很好地应用泛化到任意形状的场景文本。为了解决这个问题，本文中首次尝试利用视觉语义进行文本推理。具体而言，在给定 VR 模型预测的字符分割图，首先为每个字符实例构建一个子图，并通过根节点顺序连接合并成一个完整的图。其次基于该图，我们设计了一个图卷积网络(GTR)进行视觉文本推理。同时我们将GTR 和语言模型结构并行构建S-GTR，通过相互学习有效地利用视觉语言互补性。另外GTR 可以插入不同的STR 模型以提高其识别性能。实验证明了所提方法的有效性，S-GTR 在六个通用场景文字识别数据集上获得较好表现，并可以推广到多语言数据集。

https://www.zhuanzhi.ai/paper/423d31bbe1e7fe0d5ca545b8b3734b7f

图1  算法的框架图

图2  算法的定量结果

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SGTR” 就可以获取《【AAAI2022】在场景文本识别中，视觉语义学可以更好地进行文本推理》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资源