【CSIG奖励访谈】2021年度CSIG科技进步奖二等奖 “复杂场景文档图像识别与理解关键技术及应用”团队

会员服务 ·

【CSIG奖励访谈】2021年度CSIG科技进步奖二等奖 “复杂场景文档图像识别与理解关键技术及应用”团队

2022 年 8 月 4 日 中国图象图形学学会CSIG

CSIG科技进步奖授予在我国图像图形学领域应用推广先进科学技术成果，完成重大科学技术工程、计划、项目等方面，做出突出贡献的个人和团队。

为宣传科技工作者积极进取的工作精神，聚焦获奖团队背后的故事，学会近日对荣获2021年度CSIG科技进步奖二等奖“复杂场景文档图像识别与理解关键技术及应用”的项目团队进行了专访，以对话的形式，为读者们提供一次了解他们的机会。

下面就跟着我们的脚步，走近今天的受访团队吧。

问题一：首先非常感谢各位老师接受我们的采访，请先介绍一下团队成员：

本项目由上海合合信息科技股份有限公司牵头，依托于上海市领军人才培养计划和合合信息-华南理工大学文档图像分析识别与理解联合式实验室，共同开展面向复杂多场景文字识别理解及应用的研究工作，多维度来研究解决文档图像的文字识别智能感知与结构化认知理解问题。

项目第一完成人是上海市领军人才，合合信息董事长镇立新博士。镇立新博士主要负责整体策划了项目的研究总体框架、产品技术方案及技术路线，确立了整个项目的研发和应用方向，主持了整个项目的研发和市场应用拓展。第二完成人是华南理工大学金连文教授，金连文教授主要负责参与了项目总体技术创新路线的整体方案规划及学术理论研究，提出了深度学习场景文字检测与识别、无约束手写体文字识别等新方法。

项目其他完成人均为合合信息的核心研发人员和华南理工大学教授，他们在文档图像识别与理解、计算机视觉、人工智能领域均有着十多年的研发经验,，有较为专业的行业理解与技术成果，全部完成人简介如下：

问题二：了解完了团队内的各位老师，请为大家简单的介绍一下项目的情况：

复杂多场景文档图像识别与理解关键技术及应用是基于新一代人工智能基础理论及核心技术，开展面向复杂多场景文字识别及理解的研究工作，多维度来研究解决文档图像的文字识别智能感知与结构化认知理解问题。针对OCR关键共性技术问题，从复杂场景文档图像智能处理、复杂场景文字检测、复杂场景字识别理论与技术、文档结构化理解等方面开展OCR关键共性核心技术研究，来解决复杂场景下新一代文字识别中得到“看不清、看不准、认不全、难理解”等四个方面的关键技术问题。项目组提出了多项文档识别与理解新方法，构建了面向复杂多场景文档图像OCR的技术方法体系，取得了具有自主知识产权的创造性科技成果，为智慧金融、智慧办公、智慧城市、智能制造、电子商务等多应用场景的数字化转型升级提供关键核心技术支撑及产品解决方案。

项目研发过程中产生了相关核心技术累计获得发明专利授权82项（其中国际专利授权26项），获得计算机软件著作权30项，发表代表性学术论文20余篇。近三年获得国际权威学术竞赛冠军12次。相关核心技术应用在合合信息旗下产品扫描全能王、名片全能王产品，产品覆盖了全球百余个国家和地区的亿级用户，全球用户累计首次下载量合计超过6亿。

问题三：请问各位老师在科研过程中，有没有什么好的方法可以推荐给大家？

本项目的一个显著特点就是既需要基础理论的创新和突破，也需要与实际用户需求和业务场景相契合的技术突破，最终形成自主知识产权的核心技术和规模化的产业应用。

在基础理论创新方面，一方面合合信息自身拥有一个由上海市领军人才镇立新博士领衔底层技术研发团队，专注于底层理论技术的创新和突破，同时为了进一步提升基础理论水平，合合信息与华南理工大学金连文教授合作，共同成立了合合信息-华南理工大学文档图像分析识别与理解联合实验室，充分利用顶尖高效的科研力量，提升基础理论水平，为后续的技术创新和突破提供理论基础。

在技术创新和落地方面，注重对用户需求和业务场景的理解，思考如何通过技术突破来解决实际用户和业务场景下的问题。例如我们的扫描全能王，名片全能王，“票据机器人”、“证照机器人”、“财报机器人”等多个产品都是基于用户面临的拍照环境多样导致文档图像形变、背景干扰、书写风格多样、文字方向多样等实际的问题，通过技术创新，提出了多项文档识别与理解新技术，解决了用户的痛点和问题，从而产生了多项科技应用成果。同时该技术创新也获得了各行各业的认可，银行、证券、保险、政府、物流、制造、地产、零售等近30个行业的众多头部客户与合合信息开展合作，采购相关技术应用，帮助企业实现数字化与智能化的转型升级。

问题四：在项目的研究过程中有遇到什么困难吗？大家是如何解决的呢？

项目研究中的主要困难在于两个方面，一个是如何在基础理论创新上取得突破，一个是实际用户需求和业务场景的及其复杂多样，如何通过技术突破满足甚至超越用户预期。

我们知道，基础理论创新是一件非常困难的事情，可能面临长时间无法取得成果和突破。针对这个难题，我们一方面基于公司对文档图像识别与理解领域内的深刻理解以及对该领域前沿技术的持续跟进，同时通过联合实验室和这个领域内顶尖的高校教授一起研究探索，把握好基础理论创新的大方向，确保理论创新始终在正确的方向上。其次就是坚持长期主义，合合信息从创立开始就一直保留着一个底层理论技术研发团队，同时2010年就和华南理工大学签署战略合作协议，在理论创新领域持续长期投入，最终形成了20多篇高水平论文和超过80项的核心技术专利。

第二个困难就是用户需求和业务场景的极度复杂，在核心技术研发上，需要面对文档图像背景干扰，图像形变，字体风格多样，文字重叠，书写潦草，类型和版式多样等各种难题；在数据上，我们需要支持50多种语言，却缺乏相关语言的各种类型的文档图像数据进行训练；在应用上，会面临不同终端硬件环境，操作系统平台，型号差异造成的影响。针对这样的问题，我们首先是深刻的理解用户需求和场景，找到背后的核心问题，然后针对核心问题进行技术攻关，通过长期持续的技术创新解决一个个用户需求和实际场景中的关键问题，最终形成了像“扫描全能王”，“名片全能王”这一类深受用户欢迎的产品和服务。

问题五：最后，大家有什么获奖感言想说呢？

合合信息非常荣幸获得中国图象图形学学会颁发的科技进步奖，我们感到由衷的兴奋和自豪，这是合合信息和华南理工大学两个团队共同协作奋斗的结果，也是上级领导、社会各界以及海量用户支持的结果，同时对评奖的组织单位和各位专家给予合合信息的厚爱表示最诚挚的感谢。

合合信息会继续坚持“让世界更高效”的使命，依托合合信息华南理工联合实验室，通过不断的技术开发，解决用户需求，帮助企业转型数字化，通过技术创新为全球个人用户和企业客户提升效率。接下来，合合信息将通过长期持续的技术创新，实现让“机器像人类一样阅读”，进一步提升人类的效率。未来，合合信息将继续从机器感知向机器认知方向升级，努力实现“让机器像人类一样思考”。