![]()
CSIG自然科学奖授予在我国图像图形领域基础研究和应用基础研究中阐明自然现象、特征和规律，做出重大科学发现的个人和团队。
为宣传科技工作者积极进取的工作精神，聚焦获奖团队背后的故事，学会近日对荣获2021年度CSIG自然科学奖二等奖“基于语义关联建模和结构知识表达的智能学习理论与方法”的项目团队进行了专访，以对话的形式，为读者们提供一次了解他们的机会。
下面就跟着我们的脚步，走近今天的受访团队吧。
问题一：首先非常感谢各位老师接受我们的采访，请先介绍一下团队成员：
李玺，浙江大学计算机科学与技术学院，教授，博导，IET Fellow，IEEE Senior Member，浙江大学上海高等研究院副院长，国家杰出青年科学基金获得者，国家青年特聘专家，科技部科技创新2030新一代人工智能重大项目负责人，国家自然科学基金委联合基金重点项目负责人，教育部重点规划研究项目负责人，第七届中国图象图形学学会理事，浙江省杰出青年科学基金获得者，浙江省特聘专家。在国际权威期刊和国际顶级学术会议发表或录用文章180余篇，拥有多篇ESI高被引论文。担任CVPR、ICCV、ECCV、ACM Multimedia等国际顶级会议的Area Chair，担任IEEE TNNLS、IEEE TCSVT、IEEE TMM和IEEE TCDS的Associate Editor，中国图形图像学报青年编委。获得2021年世界人工智能大会SAIL奖，两项最佳国际会议论文奖（ACCV 2010和DICTA 2012），一项最佳学生论文奖（ACML 2017），2019年和2020年中国图象图形学报最佳封面文章和年度优秀论文，ICIP 2015 Top 10%论文奖。另外，获得2021年中国图象图形学学会自然科学奖二等奖，2021年中国电子学会科技进步一等奖，2021年中国产学研合作促进会产学研合作创新与促进奖，两项北京市自然科学技术奖（包括一等奖和二等奖），以及一项中国专利优秀奖。
吴飞，浙江大学求是特聘教授，博士生导师。主要研究领域为人工智能、多媒体分析与检索。浙江大学上海高等研究院常务副院长、浙江大学人工智能研究所所长。科技部重点研发计划项目负责人、主持国家自然科学基金重点项目2项。国家杰出青年科学基金获得者（2016年）、入选“高校计算机专业优秀教师奖励计划”(2018年)、宝钢优秀教师奖（2019年度），科技部科技创新2030“新一代人工智能”重大项目指南编制专家、教育部人工智能科技创新专家组工作组组长（2018.8-2020.12），中国工程院院刊《Engineering》信息与电子工程学科执行主编。著有《人工智能导论：模型与算法》（高等教育出版社），开设国家级首批线上一流课程《人工智能：模型与算法》，曾获中国电子学会科技进步一等奖（2021年度）和世界人工智能大会最高奖“卓越人工智能引领者奖”（2021年度）。
王井东，百度AIG计算机视觉首席架构师，负责计算机视觉领域的研究、技术创新和产品研发。加入百度之前，曾任微软亚洲研究院视觉计算组首席研究员。研究领域为计算机视觉、深度学习及多媒体搜索。他的代表工作包括高分辨率神经网络（HRNet）、基于有监督的区域特征融合（DRFI）的显著目标检测及基于近邻图的大规模最近邻搜索（NGS，SPTAG）等。他曾担任过许多人工智能会议的领域主席，如 CVPR、ICCV、ECCV、AAAI、IJCAI、ACM MM等。他现在是IEEE TPAMI、IJCV、和IEEE TCSVT的编委会成员，曾是IEEE TMM编委会成员。因在视觉内容理解和检索领域的杰出贡献，他被遴选为国际电气电子工程师学会和国际模式识别学会会士 (IEEE and IAPR Fellow)、国际计算机协会杰出会员。
庄越挺，国家杰出青年基金获得者（2005年），教育部长江学者特聘教授（2008年），973项目首席科学家（2011年），“百千万人才工程”国家级人选（2006年），享受国家政府特殊津贴（2000年），中国人工智能学会会士，中国图象图形学学会会士，浙江省特级专家（2014年）。曾任浙江大学计算机学院院长(2009年~2017年)，浙江大学人工智能研究所所长（2006年~2016年），中国图象图形学学会副理事长（2006年~2016年）。现任教育部人工智能协同创新中心主任，数字图书馆教育部工程研究中心主任，中国人工智能学会常务理事，浙江省计算机学会理事长。主要从事人工智能、大数据智能处理、多媒体信息检索、跨媒体计算理论等领域的研究。
胡卫明，中国科学院自动化研究所模式识别国家重点实验室研究员(二级)、博士生导师、视频内容安全研究团队负责人，国家杰出青年科学基金获得者、中组部万人计划科技创新领军人才入选者、科技部中青年科技创新领军人才入选者、人社部百千万人才工程国家级人选、国家有突出贡献中青年专家、享受国务院政府特殊津贴、国家863重点专项项目首席专家，IEEE Trans. on Cybernetics的Associate Editor。目前研究方向为网络多媒体敏感内容识别、视觉运动分析等，主持了国家自然科学基金重点项目、国家863重点专项项目、目标导向类课题等四十余项科研项目。已在PAMI、IJCV等国际刊物、国内一级刊物以及ICCV、ECCV、CVPR等重要国际学术会议上发表论文300余篇，获授权发明专利50余项。负责完成的敏感图像和视频识别等技术应用于二十余家企事业单位，已在实战发挥作用，取得了显著的经济效益和社会效益。以第一完成人获国家自然科学二等奖、北京市科学技术(技术发明类)一等奖、北京市发明专利一等奖和吴文俊人工智能科学技术一等奖。
问题二：了解完了团队内的各位老师，请为大家简单的介绍一下项目的情况：
人工智能技术的变革迫切需要基础理论算法的突破，以实现从数据到知识、从知识到决策和行动的计算范式。然而，当前人工智能方法疏于建模学习因子内部和因子之间的内在关联，以致于形成一系列相互割裂的因子孤岛，从而引发了诸如跨场景学习难度大，学习成本高，多源异构割裂等难题。为了化解这些难题，项目完成人以“智能计算”中语义关联建模和结构知识表达等关键科学问题为切入点，从学习机理和学习方式两个方面进行重点突破。具体创新性科学发现可归纳为如下三个方面（见图1）：1）多因子耦合模型学习-“打得通”。面对知识割裂的现状，打破孤岛，建立因子内部和因子之间的关联，进行多因子耦合学习和联合优化。实现了智能模型学习的因子跨越和语义关联，形成了完整、解释性强的模型表达与建模的新方法。2）知识引导的模型结构设计与搜索-“自动化”。通过自动化关联结构学习提出对融入领域知识的模型结构空间进行可微分的结构搜索的新思路，实现了模型结构的自动发现，形成了数据驱动和领域知识相结合的计算模式。3）数据与模型驱动的结构语义理解-“知识化”。引入结构先验知识，进行知识引导的结构语义建模，实现了数据与模型驱动的结构语义理解。
围绕上述科学问题，项目团队组建了一支过硬的人才队伍（杰青3人、长江1人、青千1人、IAPR/IET Fellow 2人），主持了科技部国家重点研发计划项目、科技部科技创新2030“新一代人工智能”重大项目、基金委重点项目、教育部重点规划研究项目、千万级重大横向合作项目等多项国家级项目。获得了两项北京市科学技术奖（包括一等奖和二等奖），四项最佳会议论文奖，一项ICIP 2015 Top10%论文奖，中国图象图形学报最佳封面文章和年度优秀论文，以及一项中国专利优秀奖。项目完成人将上述研究成果进行应用转化，与众多的国内外知名的人工智能企业进行校企联合研发合作，如华为、阿里、腾讯、百度、海康威视、科大讯飞、每日互动、福瑞泰克等。研发了一系列诸如跨域图像识别、行人匹配和步态识别、实时场景分割等实用的人工智能算法(或系统)，受到学术界和工业界的广泛关注，实现了经济和社会效益双重提升。
![]()
图 1 项目面临的核心挑战和解决思路
经过项目团队的攻坚克难，最终取得了丰厚的成果，其中8篇代表性论文SCI 他引共计877次，Scopus 他引共计1471次，Web of Science他引1416次。相关研究成果得到了人工智能、计算机视觉、模式识别、机器学习等领域国际知名学者的引用，并给予积极评价和充分肯定。例如，来自美国、英国、意大利、瑞典、芬兰、澳大利亚等多个国家的国际知名教授学者(如 IEEE Fellow、IAPR Fellow、SPIE Fellow、AAAS Fellow、国际权威期刊主编、Marr Prize 获得者等)，对相关研究成果给出了“开创性的(pioneering)、杰出的(outstanding) 、新组件(new component) 、 首个典型案例(first typical example) 、 可解释的(interpretable)、有效(effectiveness)、鲁棒(robustness)、实用的(practical)、令人鼓舞(very promising)、显著提升(tremendous/remarkable improvements)、证明有用(proven useful)和当前最新(latest state of the art)”等评述。
问题三：请问各位老师在科研过程中，有没有什么好的方法可以推荐给大家？
本项目的研究解决机器学习理论中语义关联建模和结构知识表达的重大需求，我们的研究方法是把重大需求先细化为打得通、自适应、知识化三大方向，再从中提炼科学问题和研究点。进行问题的科学归类，归纳总结后再展开对应的研究和突破是个切实有效的科研思路。
问题四：在项目的研究过程中有遇到什么困难吗？大家是如何解决的呢？
我们认为在本项目中，我们的困难是找到具体的切入点和研究方向。后来我们找了一些产业界的具体需求，结合我们的理论研究，我们从产业界里面具体的解决标注成本等问题，在产业界的需求中融入我们的结构知识表达方式，既帮助产业界解决了他们的需求，也帮我们自己找到了理论的具体切入方式，同时在我们研究过程中得到了上海交通大学施鹏飞教授、湖南大学李肯立教授等专家学者的帮助和大力支持，这对我们项目的后需研究工作的顺利开展非常重要。
感谢中国图象图形学学会对我们工作的肯定！感谢项目鉴定专家组对我们工作的中肯评价！感谢获奖团队每位成员的辛苦付出！也祝贺各位获奖同仁！我们的获奖项目是基于语义关联建模和结构知识表达的智能学习理论与方法，能获得奖励专家组的肯定非常感动！我们认为语义关联建模和结构知识表达是机器学习理论基础未来的方向之一，后续我们将继续在这个领域深耕，希望能取得更多突破。
微信扫码咨询专知VIP会员