【紫冬精选】国内近三年模式分类研究现状综述
今日聚焦
模式是指存在于时间和空间中可观测性、可度量性和可区分性的信息；模式识别是对模式进行分析与处理，进而实现描述、辨识、分类与解译[1]。用机器模拟实现人的模式识别能力，是智能信息处理的重要任务。模式分类是模式识别的核心研究内容，相关问题包括模式描述、特征提取和选择、聚类分析、分类器设计等。本文将主要介绍近三年国内在模式分类的基础理论与方法方面的主要研究进展，分析国内的研究特色，给出研究趋势和重大科学问题。
特征提取是高维模式分析的重要工具，是避免维数灾难的重要方法。在特征提取方面，近年来所取得的研究成果十分丰富。浙江大学的何晓飞教授等[3]提出了一种称为A-最优投影（A-Optimal Projection，AOP）的特征选择方法，中科院计算所的山世光研究员和陈熙霖研究员等[4]提出了一种多视角判别分析方法。在子空间学习方面，浙江大学的何晓飞教授等[5]采用一种称为可微分散度判别准则来构建子空间学习模型，可适用于大规模局部特征维数缩减。西北工业大学的聂飞平教授等提出了一种对野点和旋转变换均鲁棒的主成分分析方法[6]。西安电子科技大学高新波教授等提出了一种最优均值二维主成分分析方法。广东工业大学的尹明和北京大学的林宙辰教授等[7]提出了一种广义拉普拉斯低秩描述框架，能够较好地捕捉隐含于数据中的本质非线性几何信息。
在特征选择方面，浙江大学的何晓飞教授和蔡登教授等提出了一种基于图正则化的无监督特征选择方法，国防科技大学的侯臣平教授等提出了一种基于线性判别分析和稀疏正则化特征选择方法，南京航空航天大学的张道强教授等提出了一种基于相似点对和不相似点对约束的L1范数稀疏特征选择方法。西安电子科技大学的高新波教授等提出了一个最小最大非线性最优特征选择框架，其核心思想是保持所选特征的最大相关度和最小冗余。南京邮电大学的陈松灿教授等提出了一种基于能量正则化的稳定特征选择方法。中科院自动化所的王开业博士等[8]提出了一种可同时实现特征选择与子空间学习的多模态学习模型。为此，他们构建了一种多模态图正则化算子，并以此来保持模态内和模态间的相似性。该方法在跨模态检索中取得了较好的应用效果。
在分类器构造方面，国内学者取得了一系列研究成果。清华大学的朱军教授等[9]提出了一种有关核贝叶斯推断的最优化方法，构建了一类新的后验正则化核推断框架，给出了核贝叶斯推断新见解。南京大学的周志华教授等提出可用于大规模数据的多示例学习方法，提出了一种可充分利用未标注数据的大间隔分布学习方法，建立了一种半监督支持向量学习机，并设计出相关学习方法来确保未标注数据能够提升分类器性能[10]。南京航空航天大学的陈松灿教授等构建了一种在错误校正输出码框架下的可联合训练多个两类分类器的方法[11]，并提出了一种多类AdaBoost分类器设计方法，并对具有错误标注的样本具有较好的鲁棒性。中科院自动化所的张煦尧博士等提出了一个回重定位最小二乘回归方法，采用类别标签竞争机制来提升多类分类精度；徐贵标博士等提出了一种对野点鲁棒的支持向量机方法。针对支持向量机割平面算法，清华大学张长水教授等提出了一种高效的线搜索策略，并将该策略应用于多类线性支持向量机，降低了模型的计算复杂度。
在稀疏学习与字典学习方面，浙江大学的张文重博士等[12]提出了一种基于随机合成优化的稀疏学习方法，并给出了多个紧凑的算法和相应的理论分析。在低秩表示与建模方面，北京大学的林宙辰教授开展了系统性研究工作，并与张弘扬一起出版了相关专著[13]。字典学习与稀疏表示紧密相关。北京大学的林宙辰教授等提出基于双水平模型的判别字典学习方法。清华大学的鲁继文教授[14]等提出了一种可同时进行特征学习和字典学习的模型；中科院自动化所的向世明研究员等提出了一种耦合字典学习方法。南京信息工程大学的刘青山教授、袁晓彤教授、刘光灿博士等在稀疏优化、字典学习等方面也做了深入的研究工作[15,16]。这些工作丰富了字典学习的方法体系。
在度量学习方面，相关研究成果也较显著。南京大学的周志华教授等[17]提出了一个统一的多度量学习框架，能充分整合诸如空间关联和语义关联等多种不同内涵的度量。西安电子科技大学的高新波教授等提出了一种多任务稀疏度量层次学习方法。清华大学的周杰教授等[18]提出了一种深度迁移（转导）度量学习方法。中国科学院大学的田英杰教授等提出了一种局部和全局一致的度量学习方法。中科院计算所的山世光研究员和陈熙霖研究员等提出了一种欧几里德－黎曼度量学习方法，并在大规模视频人脸识别中得到应用。
随着人工智能技术的深度应用需要，强化学习也得到深入研究。针对大规模或连续状态空间马尔可夫决策过程，国防科技大学的Xin Xu等[19]提出了一种基于流形正则化的强化学习方法。南京大学的高阳教授等提出了基于非共享值函数的多智能体强化学习方法和基于稀疏交互、对话与知识传递的多智能体强化学习方法。清华大学的戴琼海院士等[20]提出深度方向强化学习方法，给出了任务敏感后向传播算法。北京科技大学的Ruizhuo Song等[219]提出了一种Off-Policy Integral强化学习方法，并将其应用于非线性连续时间多人非零和游戏对抗之中。同时，中科学院自动化所整合了相关力量，成立多个研究小组，在强化学习理论、方法应用和验证系统等多方面开展深入细致的综合性研究工作。
在概率图模型与结构模式识别方面也呈现出诸多亮点工作。特别地，清华大学的朱军教授的研究组取得了一系列研究成果。比如，他们提出了一种如何提升贝叶期隐变量学习模型多样性的方法，所提方法能够利于捕捉到不常见的模式并同时减少模型规模；提出了一种大规模隐狄利克莱分派模型学习方法，给出了一种基于随机梯度Langevin动力学的并行分布式采样方法；提出了判别相关主题模型和最大无限隐马尔可夫模型。另外，电子科技大学的Chunlei Peng等[22]提出采用马尔可夫网络来获取异质人脸图描述方法，可较好地利用图像空间来提高识别精度。南京航空航天大学的陈松灿教授等提出了多稀疏高斯图模型的联合学习方法。中山大学的林倞教授等[23]提出了一种“与－或”图结构，并将其应用于形状检测。
最近几年，深度学习无疑是模式识别和机器学习领域中的热点研究方向。国内在深度学习的应用方面取得了前所未有的新成果，并在自然图像目标检测与识别、图像分割、语音识别、生物特征识别等方向上尤为显著。相关研究成果已有很多专题进行过论述。这里主要从新型网络结构及学习的角度对国内近年来相关研究成果进行总结。
清华大学的朱军教授等提出了一种条件生成矩匹配网络。该网络的作用是在给定一些变量的情况下借助于平均最大差异来学习条件分布。同时，他们还提出了一种三元生成式对抗网络。该网络的结构由生成器、判别器和分类器所构成。中科院自动化所的胡卫明研究员等提出了一种判别相关滤波网络，可在深度学习的框架下充分利用相关滤波器的优势，在视觉目标跟踪任务中取得较好的应用效果；王亮研究员等提出了一类基于不规则滤波器的深度卷积神经网络，扩展了现有模型的网络拓扑结构。浙江大学的蔡登教授等提出了一种深度旋转等变网络，该网络由循环层（cycle layer）、等分层（isotonic layer）、回收层（decycle layer）所组成，并可通过对滤波器的旋转操作来获得更快的计算速度。上海交通大学的俞勇教授等研究了多类标签对生成式对抗网络训练的影响和作用，并在此基础上提出一类称之为激励最大化对搞训练方法。
中科院自动化所的程健研究员等则对神经网络的压缩进行了深入研究，提出了一种称之为量化卷积神经网络的新技术。另外，南京大学的周志华教授和冯霁博士提出一种多示例多标签深度学习方法[24]，其网络结构由示例生成层、深度示例层、子概念层、示例－标签层等部件所构成，可充分利用多示例多标签任务的特点。同时，他们还提出了深度森林模型[25]，并将其命名为gcForest。在结构上，gcForest 是一种多粒度级联森林；在学习方法上，该模型是一个决策树集成学习模型。gcForest 使用相同的参数设置，在不同的域中都获得了优异的性能，并在大规模和小规模数据上均有较好的表现。因此，该方法是“向着深度学习以外的方向进军”的标志性工作。
（一）国内研究特色
参照国际模式识别、机器学习的研究水平和趋势，可以看出国内学术界的研究特色：
在模式分类与机器学习基础理论方面，国内学者在特征降维（包括参数方法和非参数方法、流形学习等）、分类器集成、多示例多标签学习、迁移学习等方面仍然处于国际前沿水平，发表了大量有学术影响的成果。在深度学习应用方面，国内学者也得取了十分可喜的成果，在多个有重要影响的国际竞赛中均得优异成绩。一些研究成果在国际上有重要影响。另外，中科院、“北京、南京、杭州、西安、上海、武汉、广州、天津、成都、哈尔滨等诸高校群体”在模式识别、机器学习及其应用研究方面均取得到了显著成果，在计算机视觉、信息检索、自然语言处理等方面成绩斐然。
总体说来，国内模式识别、机器学习发展势头良好，涌现出一批具有国际影响力的专家。比如，国内学者在人工智能国际重要学会担任Fellow的人数逐年增加。但是，相对于美国、加拿大等国家，在机器学习的重要原始成果创新方面数量（项数）方面相对较少。在学术界、工业界具有双重影响的原始创新工作（比如AlphaGo）也较少。
（二）国际模式分类研究趋势
互联网、人工智能等技术的普遍应用不断地催生着一些新的模式识别与机器学习问题。在技术上，传统的分类器构造、回归分析、局部学习、稀疏学习、迁移学习、多视图学习等仍然是解决小样本问题的主流方法。另外，以来自于物理空间、网络空间、社会与人的多源异构、海量混杂、时空演变的大数据为研究对象，出现了一些新型的模式识别问题，诸如物理空间与网络空间的协同感知与建模、跨场景复杂视觉数据分析与理解、面向多源异构数据（跨媒体、跨模态、跨空间数据）的分类器构造、聚类分析和关联学习等，迫切需要我们发展新的模式分类、机器学习理论与方法来解决这些问题。
大数据具有多模态、价值密度小、变化快速、海量等多个显著特征。未来的模式分类与机器学习方法将离不开大数据处理这一主战场。在理论与方法方面，主要呈现出以下一些研究趋势：研究高效的关联学习方法，充分挖掘蕴含于大数据多样性中的价值；构建面向大数据的价值模式分析方法，研究隐含模式发现方法、类不平衡模式分析方法，有效地解决大数据中小模式检测问题；研究冗余海量数据、海量噪声数据中的精准的知识激活方法、知识消歧方法，提高海量数据的利用效率；研究海量非结构化时序数据分析方法，建立高效的事件检测、演化和预测模型，以适应大数据快速演化特点；研究面向大规模数据的模式分类、模式聚类、知识推理、非结构化特征学习等方法，拓展现有经典方法的大数据并行处理能力。
近年来，基于深度学习的模式识别方法在语音识别、自然图像分类、自然语言处理、大数据等领域取得了巨大的成功，取得的识别精度比其他方法所取得的最高性能都有明显提高。深层神经网络中的层次处理的思想可推广到不同的信息处理问题。随着深度学习在模式识别传统任务上的成功应用，深度学习必将转向一些新的行业，比如商业领域基于各类大数据的挖掘与推荐、基于车辆受损图像的自动保险定损、智能驾驶、健康大数据分析、遥感时空大数据分析、空间分析与应用、天气预报、国防与公共安全保障、等等。
另外，随着AlgpaGo的成功，强化学习被提升到一个新的高度。实际上，强化学习已经在人机对抗中显示出强大的生命力。同时，强化学习的思想已在传统的模式识别任务中逐步发挥重要作用。强化学习也是未来一个主要发展方向。
最后，人脑具有多模态信息处理、自主学习、实时更新等特点。发展类脑模式识别理论与方法，充分引入人的感知机理，以脑结构、神经形态学、类脑研究的最新成果为引导，研究高效的跨模态非结构化协同学习方法、小样本主动可增强自学习自演化方法、自主特征学习方法、自动目标感知与识别方法、类脑神经网络结构学习方法等等，也是机器学习的一个新的研究领域。
因此，总结起来，笔者认为，当前尚有如下三大重要科学问题需要进一步深入研究：
1、面向大数据的模式识别理论与方法
大数据智能分析与处理的难点在于数据呈现多样性、海量、快速变化，且价值密度小。需要重点研究多源（多视角）协同模式分析理论与方法、异构数据的模式聚类与分类方法、海量超高维类不平衡数据模式分析理论与方法等。
2、非结构化数据模式分析理论与方法
大多数模式数据（如视觉感知数据）均为非结构化数据。建立从非结构化数据输入到结构化输出（如类别、关系等）的模式分析系统一直是多种不同应用行业的共同需求。需要重点研究基于特征自学习的模式分类理论与方法，建立以深度学习为基准的无监督特征学习理论与方法，构建面向复杂条件的、鲁棒的、环境无约束的模式分析理论与方法。
3、类人/类脑模式表示与学习理论与方法
人脑对非结构化感知数据的具有超强的学习和理解能力。人脑的神经系统结构与现行的计算机体系结构截然不同。因此，研究“能够模拟人脑神经结构的、认知机理的和类人学习的”新型模式表示、学习与识别的理论与方法、强化学习策略等，有望从根本上解决非结构化感知数据的高效处理和理解问题。
围绕模式分类和机器学习及其应用，本文主要介绍国内在模式分类方向上的主要研究进展，分析国际学科发展趋势及国内的研究特色与差距。总结起来，国内学者在模式识别与机器学习及其应用的研究上取得了一批具有国际水平的成果。在以后的工作中需要加强基础研究的力量，稳定现有研究队伍，拓宽人才培养途径，注重高层次人才引进，加强与企业的合作，促进模式识别、机器学习与脑科学、认知科学、社会科学等领域交叉与融合。
更多精彩内容，欢迎关注
中科院自动化所官方网站：
http://www.ia.ac.cn
欢迎后台留言、推荐您感兴趣的话题、内容或资讯，小编恭候您的意见和建议！如需转载或投稿，请后台私信。点击“阅读原文”免费获取PDF文件。
作者：向世明、刘成林
来源：人工智能前沿讲习班
编辑：鲁宁、欧梨成
中科院自动化研究所
微信：casia1956
欢迎搭乘自动化所AI旗舰号！
相关内容
微信扫码咨询专知VIP会员