【人工智能】焦李成教授谈深度神经网络发展历程
人工智能大讲堂
焦李成教授谈深度神经网络发展历程
2018年11月18日下午，计算机科学与技术学部主任、人工智能学院焦李成教授在成都参加了由中国人工智能学会主办的人工智能大讲堂并做特邀报告，焦李成教授在报告中回顾了深度神经网络发展历程，阐述了复杂影像的智能解译与识别问题，并激励大家在人工智能领域勇攀学术高峰，以下为报告记录。
焦李成：很高兴有这个机会跟大家一起交流。今天的演讲是命题作文，人工智能学会今年开始做人工智能大讲堂，学会理事会将其作为重要的品牌在做，以前是到各个学校去做，现在拿到高峰论坛来做是第一次。上午的也是张院长的命题作文，一定要谈人工智能，人才的培养，我觉得很高兴有这个机会，跟大家一起交流。
一个名字，深度神经网络，两句话大家记住了，李院士讲的是深度学习不是万能的，但是离开深度学习是万万不能的。这件事情作为我们内行人来讲，今年讲的也比较多，内行人也很自然能理解，给我们行业内讲是不讲这个事的，但是给一般的听众讲，包括给政府机关、百千万人才、长江杰青大讲堂都讲了这句话，这句话的意思是只要是能够结构化的、只要是能够有规则的、只要你是有数据的，那么这个问题，你不要企图和人工智能去拼。围棋就是这样，象棋也是这样，它们是封闭、完备的，在这些问题上你算不过人工智能，没有它算得快，同时这些规则在短时间内的实施性，人做不到，人有感情，机器没有感情，它下错一步，你说它怎么这么臭，它并不正视你，而是继续下，人工智能一秒钟算三千步，三万步，而人看三十步已经很伟大了。
这两个视频，一个是我学生做的，西安英卓未来公寓，另外一个是旷视做的。英卓未来公寓从房门开启一直到最后的离开都是通过智能完成的。当然你见不着人，但是人通过智能给了你最好的服务。所以他们开了第四家酒店，让大众能够体验到智能家居的生活、享受到智能的品质。旷视在做人脸识别这件事情，最早做这个事是商汤的Mark，我的学生、也是汤晓鸥老师的第一个学生，他做了20年的人脸识别，20年的坚守厚积薄发，去年的7月份到9月份，三个月内机场、高铁、银行全都用了他的技术。
大家都知道，这是波士顿动力狗。大家看，它的三级跳，人都不一定能够做得到，就是这么灵活，整个机器人经过这么几代以后，智能的行为、协调、所有的动作做的很棒，我觉得对我们人类是一种挑战。在反恐、排爆、探险，救险这些领域当中，这些技术是非常有用且必要的。我的学生做了一款为渐冻人服务的眼球控制智能出行及家居生活的轮椅系统，做了三代，正好有一位渐冻人“泰山英雄”，他的腿动不了，手也不能完全控制，但他靠着手登上了泰山、华山，所以公众叫他“泰山英雄”，有媒体联系到了我们，那么我们将赠送一台智能轮椅给他，人工智能确实能够改变我们人在某些情况下的不方便，我个人感觉还是一件非常有意义的事。这套轮椅系统能让渐冻人及其他肌肉或骨骼受损的人不仅在室外能自己走，跟刚才说的智能公寓结合起来，通过眼睛的控制，能完成从开门到开关灯、开关窗帘、洗澡间等所有的智能生活起居。在杭州的一个比赛中，这套系统也很轰动，得到了大家的认可，拿了一个奖项。当然回来了我们认识了“泰山英雄”，能让他有了适合他的轮椅、能切切实实的帮到渐冻人，这是更重要的，我和我的学生都感到非常高兴。
大家可能看不见，这是星载的，就是照相机和雷达装在卫星上然后拍摄地面的视频，船在动、高速上面的车在动、然后机场的飞机在起飞，这是卫星的视频。卫星视频数据量非常大也非常高维，我们同时做到了在卫星视频数据量级上的舰船、飞机、车辆的监测、跟踪和分类，就是你传送多少、运动速度多少、未知的信息全部能够同时的实时识别出来。
将来首先失业的有可能是播音员，为什么呢？现在的语音合成技术完全可以和董卿一样、和李梓萌一样，听上去有感情，但是声音是合成的。（视频）这样的话就可以全天候的进行播音。刚才举的波士顿动力、渐冻人的轮椅和智能工艺的结合、播音员的语音合成等例子都是活生生正在发生的。所以教育部也很重视人工智能，教育部各个专家组+咨询组31个人，整个分布在十几个高校。
其实我国的人工智能发展计划归结为三步走，四大任务，五大智能技术方向。三步走我们怎么跟、四大任务我们怎么去完成，还有五大方向我们在科研人才的培养上怎样去进行匹配，这是我们需要考虑的问题。我认为可以从四个部分考虑，一是基础理论，二是共性技术，第三是基础支撑平台，第四是智能化基础设施，智能基础设施建设怎么和物联网和云计算的基础设施的建设相互协调起来，是我们需要思考的。
工信部的《新一代人工智能产业发展三年行动计划》大家应该去看，目标很清楚，产品要出来，核心技术要突破，实际上是为整个智能社会和2025智能制造做准备，这件事大家一定要去做，要思考互联网、大数据、人工智能三个支撑体系和基础设施怎么样相互协同，相互协调，共同促进，你跟不上，你一定会落后。人工智能对全社会来讲是共性的技术、普适的技术，对教育来讲同样是共性的、普适的课程，这一点我们现在都无法去想象，人工智能对于教育或者是智慧教育带来的挑战，我希望大家一定要去关注。
高校的行动计划，今年教育部连发五文，时间规划涉及到2020年、2025年、2030年，内容涉及创新体系，人才培养体系，成果转化和示范应用的基地，它的目标是想干什么？对于高校教师，写写论文，带带学生已经不够了。人工智能的方向有什么呢？李院士讲了，这是经过多少次争论后列出来的主要方向，6到8个，要根据各个不同的学校、不同的单位，不同的特色去建相应的方向，一定要有特色而不能同质化。
围绕基础理论的研究基金委是有布局的，也经过了专家组充分的论证。人工智能的理论研究从56年到现在，一直在争论也一直在斗争，但不管你是三起三落还是八起八落，搞学术的人都得搞。别人不做的时候我们在做，别人不待见的时候我们也在做，高潮来的时候，该怎么样还怎么样，做学术的人就要初心不改做自己的事。所以人工智能从诞生之初到现在，从需要模拟人的基本智能，推理、知识、规划、学习、交流、感知到移动和操作物体的能力，始终在延伸，始终在往前走，水平在不断的去提高。人工智能不是人的智能，而是希望能够像人那样去思考，像自然演化那样去学习和进化。另外，进化计算和自然计算结合起来有一些挑战和问题，我觉得这两个之间的概括需要有人去做，我已经讲过几回，今天先不讲，未来希望有机会也跟大家聊一聊进化计算和自然计算的结合。
智能的两条道，学习和感知、优化和识别的能力什么时候都需要、什么时候都是智能的主体，怎么样能够把这两个结合起来？我认为这个时代说对了一部分，这部分就是可以用梯度算法去做，另外一部分是，进化计算在结构优化上一定是比BP强的，梯度从哪儿求这件事情我觉得还是值得思考,无法获得梯度怎么办？人工智能从开始的符号、联结、行为、贝叶斯到类推，人怎么认知、自然怎么学习演化、人是怎么想的、怎么看的、怎么听的、怎么说的、怎么走的、怎么动的……神经网络都做到了吗？我想说的是，从专家系统到中间基于特征的，再到声音、语言，文字、图像以及现在的感知行动结合起来，这件事上是值得我们去走的。
我个人认为人工智能四大挑战，无教师的学习何时能来？无监督的学习深度何时能做？机器人能够像人一样去感知和理解这个世界吗？机器的情感在哪里？前面说的这些都是网络范式去做的，而人是在环境、场景中、运动中去感知，首先是感知这个世界，然后理解这个世界，之后去指挥自己的行为，最后再做一系列的事情。所以最终人工智能要对环境、对场景、对情感去感知和理解，形成动力系统。更进一步，人工智能的发展最重要的还是人，这个时候带来的伦理、法律、道德、宗教等等深刻的社会问题我们怎么去思考它、怎么去理解它以及怎么去面对它。
美国白宫成立了人工智能研究中心，这是绝无仅有的，MIT结合AI成立新的计算机学院。这件事情我觉得对我们整个改革学校的教育，改革下一代的教育都有影响，我们要思考这意味着什么。人工智能改造了计算机的教育，斯坦福始终在创新引领的前沿，我们要思考他们做什么事情，我们要做以人为中心的人工智能的教育和改革。这件事情上，我们教育部的官员和教育工作者都要去好好学习，更要去看别人怎么去做。
所以说到对人工智能的战略投资，包括对社会的变革、长期的革命，MIT这件事情拿了10亿美金，CMU创办了世界上第一个人工智能本科专业，我知道在纽约办了一个艺术学院与人工智能的结合，他们用6.4亿美金，专门办了一个艺术学院。我们不能只知道人家做了这件事，更要看这件事的内容是什么，要眼光面向全世界，要看清楚怎么去做，我们要去引领。我就觉得这三件事情都是今年的，都是刚刚发生的事，所以这件事情上，我觉得美国还是清醒的，站在这个制高点，不能说我们人工智能计划已经很完美。当然国内的布局也很快，这件事情应该说叫做“顺势而为，趁势而上”，但我们千万不要说吃了一碗面条，我们脑子就很聪明，好像不是那么回事，要懂得做全局优化。
我想再强调一下，人工智能、机器学习和深度学习我们内行人应该要搞清楚。现在当然说没有比深度学习更有效的机器学习的办法，人工智能当然要去做事，肯定得靠深度学习，因为你面对的是黑箱、不完全的数据，而且宏观上是大数据，微观上对问题来讲又是小样本。所以对于深度学习，我们内行人离不开他但也不要起哄。在传统的体系结构下，机器学习和深度学习是什么？这个对话不在一个频道上。
有监督、无监督、半监督和强化的算法怎么用要看是什么情况，我们自己做这个内行的人，千万不要说你那个能干什么，这个能干什么，用的场合和问题不一样，你可能在不同的场合，不同的任务，不同的问题需要用不同的方法去解决。我现在就害怕大家陷入一个坑，我们再回到神经网络，最早1990年我出的书里神经网络的四个范式，反馈网络就是现在大家通常讲的网络，或者是递归反馈的。还有自组织网，以及没有体现的完全无监督的学习。
大数据就讲一句，我们所有处理的问题、深度学习的方法，机器学习的方法都一定是面向大数据的问题，但是单个问题拿到的又只是小样本，一定得记住这一点，这个意义上来讲，是大数据小样本再加学习，这件事情上我们一定要把它结合起来做。面对大数据，面对海量数据，面对结构和非结构的数据大部分深度神经网络是不可解释的、是黑箱的。大数据处理的很多方法，同样是不可解释的，因为我们现在处理这些数据时只讲大、只讲海，但处理数据其实也是物理过程，应当像人的认知过程那样是有生物意义和物理意义的，这个层面上来讲，你把那两个意义丢掉了，拿一堆数据就玩、算法递归迭代，最后什么都不解释，人的经验、规则哪里去了呢？你没有用上。我经常讲的，过马路的时候，对面有一个大美女，打了一个手机，还接了一个领导的电话，大车也穿过来了，旁边还有一个小偷跟着你，你怎么处理？肯定保命要紧，先过马路再说，人会分轻重缓急，而且是协同去做。回过头来，我认为最初研究神经网络的几个人是要提的。通过学习的概念，通过学习感知的思想，通过学习优化的思想，这个是神经网络的精髓。然后在这个基础上再去做。中间需要把任务完成得好，就要优化去做这件事情。所以说一定是学习、优化、协同、控制和数据结合的。
我的印象应该是在1988年Lippman的文章，所有神经网络做模式识别边界的分析，边界是那个时候划出来的。大家第一次知道，非线性的问题变得如此简单。那个时候才出来三层神经网络，但三层神经网络可以逼近任意函数，是理论上证明的，不是今天才做的。之后结构的设计、算法的构造，使得方法变得更加有效、实用，离问题更近。以前是数据不够、训练方法欠缺，同时人们的要求也没有那么迫切，硬件的运行也没有那么好，而现在这四个条件，大概相对30年前已经有了巨大的改善，我第一次看神经网络大概是83年，那个时候在成都听加州大学伯克利分校的蔡少棠讲了学一个月，讲的非线性和混沌，那时因为客观条件所限，研究发展不像现在那么迅速，而大数据的出现是应景了，这两者是契合了。这个意义上来讲，在具备了有利客观条件的今天，我们要把问题研究得更透彻，你怎么去进行感知、判断、决策，哪一个是决策者、哪一个是训练层、哪一个是推理层、哪一个是优化层得搞清楚了。非线性的嵌套是有结构的。从简单的特征，到特征的表征，到特征的学习，特征的表征与学习，现在演变成特征的表征学习，神经网络的演化进程是有脉络、有逻辑的。
关于神经网络和专家系统，专家系统三个要点要记住：知识的表示，知识的学习，知识的推理。早期推理知识的办法不多、表征的框架不多、手段不多。神经网络给了大家思想和方法，我希望大家记住对神经网络真正有贡献的是这些人，43年Hebb规则和MP模型。1962年Widrow和他的学生提出了LMS。第一台PC机是他发明的，其算法奠定了自适应信号处理和自适应控制技术基础。这个是俄罗斯籍的斯坦福的教授，这个人记住，其貌不扬，我觉得大家都应该记住他Werbos，BP算法是他提出来的，1974年在哈佛大学拿博士学位的时候，就发表了一篇论文就没有论文了，但是博士学位是拿到了，真正的BP算法是他提出来的，使三层神经网络可学习。整个大概十几年的时间很红火，而且是自己也做过世界神经网络学会的主席和先驱，加州工学院Hopfield，三篇文章奠定了他的基础。另外一个记住一个C.Mead，美国的三院院士，世界第一块神经网络的芯片是他做的，这个人在集成电路一直是明星，大家一定要记住这件事情，神经网络不仅是今天。这个是芬兰皇家科学院的院长T.Kohonen教授，他来过很多回，提出了自组织特征映射网。径向基神经网络出自Billing手，因为他是用基函数来做这件事情，做控制的人全部是用的，很高效。支撑向量机，这些都是神经网络模型，而且都是学习机，大家不要认为是完全跟神经网络没有关系，只是说那一阵跟神经网络“划清界限”。浅层到深层的学习，大家要明白，本质性上改变的是什么？你说前面的网络浅，那在哪里深呢？规模深、特征深、还是机理深？还是怎么做的呢？我说理解深度的时候，我们要去做深在什么地方，对数据的匹配在哪些上面是做了本质性的突破和改变，这件事情上我们一定要去做的。
我还是把他们列在一起，你记住所谓深度大咖的时候，别忘了上面这些人，这些人是他们的祖师爷。
中国神经网络的发展也是有一个过程的。
我们一直不说，但是路一直在走。简单的数据到了具体的对象，到了图像，从小波变换到了小波网络，从伸缩平移到了方向，到了图像旋转变换。所以说包括从地上到了天上，到了空中机载的。对象在变，需求在变，神经网络也好，机器学习也好，方法也在不断的往前走。所以我们是把这个结合起来在走。刚才为什么说我希望讲一下这些道理，因为进化计算的第一篇文章，不叫人工智能，是优化和学习在走，包括免疫的学习优化，包括我们用到多目标上面去做，包括做协同的、量子的，而且用到了真正目标的识别上，我们都做了。这个过程我们回过头来说，对于人工智能人才的培养，为什么我们心里面不太慌，经过了十四五年的实践和培养，反正我们也出了这些书，不敢说水平有多高，但是研究生，本科的教材是有参考的，我自己写的，我也在不断的更新。我们几十本书，应了人才培养教材之需，去年就包括做量子的，光学的，红外的，包括到认知的，稀疏的，一直到高分辨遥感，老先生一定要改成雷达图像，我们一路走过来，今年完成的是量子计算，计算智能，简明人工智能等七八本，大概也有好几十万字。计算智能还有模式识别，反正都是在50、60万字以上，还有自然计算的前沿，就是相当于深度学习的前沿，还有一个大数据智能挖掘的。
从第一代到第二代，一直到现在的第三代神经网络，变化在什么地方，本质在什么地方，做这件事情，我们一定要去。第一个是卷积神经网络，我理解的跟别人理解的卷积神经网络不一样，很简单就是内积。然后在电路里面，在学习信息里面，很简单，怎么走？一卷不就出来了嘛，卷积的概念大家知道是从数字信号处理出来的概念，物理概念和描述很清楚。其实最开始的时候，卷积也不火，不像现在牛哄哄的。
递归神经网络，一定有联想记忆的。其实模式识别，以前叫做联想记忆，联想记忆学习优化。这四件事情，要是在神经网络里实现了，你的功能就比单纯的卷积去做要强大得多。所以递归同样是可以做这件事情。
深度置信网提供的思想一定要记住，我能够通过概率的判断做某件事情。我通过概率的判断和生成，能够使这个神经网络的构造性设计更加合理和有效。这是置信网的贡献。其实现在更热的是贝叶斯网络学习。贝叶斯的分布。
分布完了以后，参数少。接下来就是可学习，这个参数我们可以学出来，学习关键的参数，那么这个分布就找到了，或者优化的分布就找到了。实际上就是做了一个分布的估计。贝叶斯的描述、表征，估计和深度结合起来，这是贝叶斯网络火起来最重要的原因。很自然，大家好不容易抓住一个贝叶斯分布，而且可以去做。深度可以给你学，何乐而不为，大家一定要找到一个结合点！
才能做这件事情。
生成对抗网大家觉得是突破，相对传统的网络来讲。多了一个判别器。所以这个是不一样，而且是跟概率结合起来，大家觉得一人搞了一种。我这么告诉你，有了卷积网，有了对抗网，你还要有新模型，千万不要觉得谁好用，谁不好用，这就是深度网络的全部。那是你本事不高，你有本事弄一个深度神经网络模型出来，联想记忆，学习，优化还要到后面的推理，你把这些功能实现了，就像人一样，你的功能就强大了。但是现在，为什么大家关注核心，是把感知和决策结合起来，通过概率，态势，估计和学习是有用的。这应该是非常有用的。
两件事情，浅层模块+堆栈理念就等于深度网络。梯度不好的时候，结合一下，混合一下去做。都是不同的选择，也有不同的学习方式，不管怎么样，都是为了提高它的效率，这件事情大家去做，就不讲那么多了。但是，讲大数据。第二个是过拟合。哪一个方法不过拟合。调参，哪一个方法不调参，你说缺乏可解释性，现有的机器学习方法，哪几个可解释，试试看。你不能说他不解释，这个不弄，那个不说，多任务的时候，人人都做不了，大家都在同一个起跑线上，你要勇闯无人区，要做领头雁就做一个算法出来。
现在回想起来，我觉得还是有一些工作，小波SVM网络，用在小样本上，包括ridgelet网络，深度contourlet网络模型等，和利用免疫进行优化学习，量子进化学习，多智能体协同进化学习与多尺度稀疏理论学习框架等。量子的免疫的，我刚才说的是两个学习进化，我们结合起来去做，可并行，可以非线性的表征和编码，这两件事情结合起来，量子优化也是这么去做。不是回到量子的器件，我们不做这事，但是思想是可以学的。免疫优化学，相对传统的，我们多了免疫项，多了引导项，多了容错经验项，那么你的学习优化就不一样，我们做了20万TSP和函数优化，做了千万级的皇后分类，后来我们这些结果，都是最好的结果，后来人们也不跟我们比了。那么你做到了极限了，你试试看。我能做的九个目标的优化问题，那么你去算算，这个东西就难。
我们做了大数据深度学习系统。我跟大家说一个结果，12万×16万的图像，0.5的分辨率，57个G，2766条船，将近300架飞机，整幅图像处理我们在128秒之内全部检测分类出来。
人是怎么做的呢？刚才讲的人看、听、说、触觉，声音连接图像。所有的声音的处理，输入，获取是人脑处理的基础。那么从这个意义上来讲，它的共性是什么。首先，它是稀疏性的，它是可学习的，是有选择的，同时是方向的。这四个是我们感知的基础，这不是我说的，这是生物上证明的，从这个意义上讲，大家光拿一个卷积网，其实没有回过头来想它的生物基础是什么。谁能回答这个问题？或者有多少体现了。
这个也是到现在有将近20年的历程，生物上不断证明这件事情，而且喜欢看牛人，看大咖，一直到现在，证明了大脑中是存在的，所有的这些结果都是有的。
我们的方法做到了吗？我们的深度做到了吗？，我们一代深度神经网络，二代深度神经网络，三代深度神经网络怎么体现人脑做这些事呢？从这个意义上来讲，你怎么去做稀疏感知，稀疏表征和稀疏学习。我们成功研制了国内第一个压缩感知雷达，就是把稀疏感知和稀疏学习这两件事情结合起来。所以说你要观得见，要观得清，辨得明，而且还要理解得了。从这个意义上来讲，不仅仅是场景的感知，而且是目标信息的感和知。昨天两位院士讲的成像的，知才是理解的过程。我刚才讲的模型，多小波也好，都做这件事情。
Wishart深度堆栈网络是我们提出来的，将这种物理特性是和神经网络结合起来，实现的结构网络，我们找到了 Wishart深度堆栈网络。我们做的任务是极化SAR图像分类。同样我们做了Wishart的DBN网络，做到了物理获取的机理，视觉的机理和脑处理的机理和结构的结合，构造了相应的深度神经网络。深度神经网络一定是将物理的、生物的、数学的原理结合起来。当然你要更有效，还要在平台上去实现这件事情。
刘芳教授已经做了很多工作，毕业了很多学生。做了哪件事情？语义深度网络。我们现在都在语法上想对策，考虑了数据之间的关联特性，这是理解数据的基础，是推理决策的基础。也是深度学习必由之路。尤其是在星载的电磁波雷达的摄像机，装在卫星上去做。这件事恰好是把物理的特性和生物的结合起来，我们结合了人是怎么理解的，人是通过语义通过过程，通过数据之间的关联关系，而不仅仅是看数据多和少，要看数据之间的关联特性。我们做到了在线表征，屈嵘老师做的超启发式学习优化，她的工作能够用在医院，车站，工厂。深度神经网络还没有做这件事情，超启发式的学习算法和深度神经网络在哪里？应该是打开现在大数据小样本，人工智能大数据瓶颈问题的一把钥匙，期待大家去努力，有问题向屈教授请教。
这件事情上做到了，表征这件事情做得很好。表征完了，找到了好的基函数。所以表征、滤波，函数和深度学习结合起来，就给出了深度的，张量的滤波，我们团队也在做深度，谁只拿卷积用用，这个稿子论文毕业都不行，出都出不了门，出了北门就是出了国门。学术只有一个标准，那就是国际标准，不存在哈佛和MIT的标准之分。从这个意义上来看，管他大咖，小咖，解决问题就是咖。从某种意义上来讲，误差小，结构要设计得好，能够实现得了，而且还能算得快。这件事情上是我们做深度的基础。
你不是要做嘛，那个算法是要上星上弹，在导弹上，卫星上装的，你载荷要小，怎么办？就要学得快，在线学习就得增量学习。怎么去做？不仅是增量的，而且还能自表征的，把那些经验不断找回来。然后半监督的去学习。我们承担了国家自然基金的重大专项，完成了星载的在线处理就是做的这件事情。
另外一个，是眼睛看的，脑子想的，还有眼睛怎么看的，脑子怎么想，那就是，显著看的，注意看的，选择注意的特征，看这个信息的时候，选择看的，注意看的，稀疏看的，然后脑子再去学它，跟生物结合起来。不管是雷达上还是光学相机上。我们用了变化检测，显著检测，前面讲的所有的模型你去做。有一个核心点，你一定能说出来，你的想法在哪里？你的目标在哪里？你是解决什么样的问题的，你是怎么样去提高的，你的生物意义在哪里，物理意义在哪里，结构上做了哪些变化，这个是怎么匹配的。多示例去做，特点在什么上面呢？不同的传感器获得像不一样，光学的，你的任务是多任务学习，你怎么去学的。
我们做的整个的方法，当时就是比别人的好，所以这个冠军就是我们。这个方法，应该说物理生物、再将深度的思想结合起来，是我们做工作的基本出发点。然后匹配稀疏的，大数据的，小样本的问题。而且能够满足在线的，在轨的大数据的需要。
将学习和优化结合起来，多小波和多尺度的网络模型是我们自己提的。多小波的大概是30年前就提了这样的事情。协同进化优化学习，这是第一个国奖，解决了优化和学习的一些基础性的问题。第二个找到了这些图像，需要表征，找到了这些特征，而且把中间的机理分析了，给出了重构的模型。第三个国奖就是找到了怎么编码，怎么稀疏。而且优化了模型，求解了，一代二代三代做了。那好，这就是这三个国奖。近五年拿的，都在人工智能领域。所以围绕的都是这样的问题去做的。
后来我们还是回过头来，这些东西国外才不给你。这个时候从眼睛，比如说大脑，第一件事情候院长我们做了。全世界第一个把眼睛装到大脑上，类脑别人没有做。而且看和理解同时做，我们全部变成铁块，变成了机箱。
第二个，刚才说的编码，这是探月的相机。只用很小的像素就可以成像，而且不失真。表征学习和应用，做这件事情。后来就是人像到画像，画像到人像，然后再做识别。
警察很厉害，山东的，把这个家伙画出来了。全黑的，画出来了。我们把这个人找出来，章颖莹的冤屈得到了伸张，至少把这个坏家伙找到了。所以我们也是参与其中，应该说为祖国人民也做了一点事情。刚才我说的东西就不说了。应该说XX艘航母回港的时候，我们同时把它全部的像拿到了，视频也做了，把我们最新的算法，装在了我们自己的FPGA上，只有这样才能用。
我们团队，有三个长江学者创新团队，三个国家平台，六个省部级平台，有111国家创新引智基地，我们有一支队伍在做这个事情。联合实验室有十几个。本科专业，05年开招，现在14届，今年招了249名，再加上58名转专业的同学，现在是四个人才能选一个过来，研究生招了240多人。这么多年在人工智能领域做工作，这个专业叫智能科学与技术，是国家级特色专业，我们本科生培养了2千多人，研究生培养了2千多。拿奖拿到手软。拿不到冠军都不愿意说。今年拿了两个国际的冠军。一个就是ECCV的无人机的竞赛。
给大家看一下。ECCV的无人机的竞赛的数据。全部数据主办方给的，他们飞的。这个数据看那个羊在哪里？所有的羊都是一样的。这个是所有的车，遮挡的情况下，无处可逃。这算法全是拿主办方的数据，在他们的机子上运行的。这是多目标的，你有多少目标，多少数据，都可以检测跟踪。我们的无人机，给大家看我们飞的视频。这个是西安南二环实况，检测、跟踪、分类全部是实时的，还能把几何参数找出来。包括人，包括三轮车，所有的分类检测跟踪，有多少给多少，遮挡也能捣腾出来。这是我们学生做的，他们现在做得很起劲的。
谢谢大家，我就讲这么多。
来源：西电人工智能学院
模式分类与机器学习发展现状及趋势
一、引言
模式是指存在于时间和空间中可观测性、可度量性和可区分性的信息；模式识别则是对模式进行分析与处理，进而实现描述、辨识、分类与解译。模式分类是模式识别的核心研究内容，相关问题包括模式描述、特征提取和选择、聚类分析、分类器设计等。取决于具体的数据对象，模式识别的研究内容还包括信号/图像/视频理解、视觉目标分类、图像/视频检索、文本分类等，以及各种面向应用的技术研究。
机器学习是一门研究机器获取新知识与新技能，并识别现有知识的学问。从人工智能的角度，机器学习是指从经验中产生模型的一切方法论的总称。学习模型的构建是机器学习的核心研究内容。取决于已有知识表示形式、学习任务与学习环境，机器学习的研究内容十分广泛，涉及规则学习、类比学习、统计学习、强化学习、深度学习、大数据机器学习等多个方面。
模式识别与机器学习紧密关联在一起。模式识别为机器学习提供应用舞台，机器学习则为模式识别提供数据分析与建模技术。本报告围绕模式分类与机器学习基础理论和相关应用等方面介绍近几年国内学者所取得的主要研究进展，分析国际学科发展趋势及国内的研究特色与差距。
二、我国的发展现状
（一）基础理论与方法
聚类和概率密度估计是模式识别的基本问题。近年来，相关研究主要集中于集成聚类、多视图聚类、子空间聚类等研究方向上。比如，中山大学提出了一种基于稀疏图和概率轨迹分析的集成聚类方法［1］，通过随机游走概率轨迹相似性来获得聚类结果；中科院西安光机所提出了一种重赋权判别嵌入K-均值多视图聚类方法［2］；西北工业大学构建了一个双边K均值快速协同聚类模型［3］。在子空间聚类方面，清华大学提出的贝叶斯非参数子空间聚类方法［4］、北京大学提出的基于张量低秩描述的子空间聚类方法［5］等均受到广泛关注。
特征提取与选择是高维模式分析的重要工具，是避免“维数灾”的重要方法。在特征提取方面，浙江大学提出了一种称为A-最优投影［6］，为图像描述提供新视野和新方法； 同时，提出一种可微分散度判别准则，并将其应用于大规模局部特征维数缩减［7］。另外，中科院计算所的多视角判别分析方法［8］、西北工业大学的白化重构二维主成分分析［9］、广东工业大学的广义拉普拉斯低秩描述框架［10］等都是一些亮点工作。在特征选择方面， 中科院自动化所提出了一种可同时实现特征选择与子空间学习的多模态学习模型［11］，并在跨模态检索中取得较好的应用效果。
在分类器构造方面，国内学者取得了一系列研究成果。清华大学提出了一个有关核贝叶斯推断的最优化方法，给出了核贝叶斯推断新见解［12］。南京大学提出建立了一种半监督支持向量机，并设计出相关学习方法来确保未标注数据能够提升分类器性能［13］。南京航空航天大学构建了一个在错误校正输出码框架下的可联合训练多个两类分类器的方法［14］。中科院自动化所提出了一个重定位最小二乘回归方法［15］，采用类别标签竞争机制作来提升多类分类精度。针对支持向量机割平面算法，清华大学提出了一种高效的线搜索策略［16］，降低了模型的计算复杂度。
在稀疏学习方面，浙江大学提出了一种基于随机合成优化的稀疏学习方法，并给出了相应的理论分析［17］；中科院自动化所提出了一种基于半二次最小迭代的鲁棒稀疏表示方法［18］、一种鲁棒的低秩矩阵恢复方法［19］。字典学习与稀疏表示紧密相关，中科院自动化所提出了一种耦合字典学习方法［20］，清华大学提出了一个可同时进行特征学习和字典学习的模型［21］。这些工作丰富了字典学习的方法体系。
在概率图模型与结构模式识别方面也呈现出一些亮点工作。特别是，清华大学提出了一种如何提升贝叶期隐变量学习模型多样性的方法［22］，提出了一种基于并行分布式采样 的大规模隐狄利克莱分派模型学习方法［23］，构建了判别相关主题模型和最大无限隐马尔可夫模型［24］。另外，电子科技大学提出采用马尔可夫网络来获取异质人脸图描述方法［25］，中山大学提出了一种“与—或”图结构［26］，并将其应用于形状检测。
深度学习无疑是模式识别和机器学习领域中的热点研究方向。国内在深度学习的应用方面取得了前所未有的新成果，并在自然图像目标检测与识别、图像分割、语音识别、生物特征识别等方向上尤为显著。在新型网络构建方面，比如，清华大学构建的条件生成矩匹配网络［27］和一种三元（生成器、判别器和分类器）生成式对抗网络［28］、中科院自动化所构建的不规则滤波深度卷积神经网络［29］、浙江大学的深度旋转等变网络［30］等均具有鲜明特点。另外，南京大学提出了深度森林模型［31］，并将其命名为gcForest。在结构上，gcForest是一种多粒度级联森林；在学习方法上，该模型是一个决策树集成学习模型。该方法是“向着深度学习以外的方向进军”的标志性工作。
（二）应用研究
最近几年，随着人工智能技术的广泛应用以及相关概念的提出，模式分类与机器学习的应用研究也取得了十分丰富的成果，涉及人工智能的各个方向和各种类型的应用。特别地，在文字识别、语音识别、自然语言处理、生物认证、医学图像分析、遥感图像分析、多媒体分析、信息检索、社会感知数据智能处理、大数据分析等多个任务中取得了重要的研究成果。对上述各方面全面的总结已超出本报告的范围。这里仅列举部分应用研究成果。
在多媒体检索方面，浙江大学提出的密度敏感哈希方法［32］，中科院自动化所的非对称哈希编码［33］、清华大学的非离散哈希学习方法［34］等丰富了哈希学习的方法体系。在跨模态检索方面，中科院自动化所提出了基于特征选择与子空间学习的跨模态检索［27］和端到端跨模态检索双向深度神经网络模型［35］，可以实现以“句子”-“图像”的双向检索。
基于深度学习的视觉计算方法得到空前发展，视觉计算系统的精度和鲁棒性有了很大提高。特别地，公安部第三研究所过去几年连续在世界最具影响力的视觉目标识别竞赛ILSVRC中取得优异成绩。另外，中山大学在行人分割［36，37］、西北工业大学在视觉显著性目标检测［38］、中国人民大学在图像语义分割［39］等方面均取得了一定的进展。
在文字识别方面，中科院以及华中科技大学、华南理工大学、北京科技大学等相关课题组也取得重要研究进展。比如，中科学自动化所提出并完善了基于过切分框架的多上下文集成中文识别算法，并取得较好的实际应用效果［40］；华南理工大学提出了一个端对端在线文本独立书写人识别框架［41］；华中科技大学提出一种多尺度多水平场景文字深度表示学习方法［42］，等等。这些工作有力地推进了我国文字识别研究与应用水平。
在生物特征识别方面，国内学者也取得了显著成果，部分研究水平达到国际前沿。比如，中科院自动化所提出了基于卷积神经网络的多视角步态识别方法［43］、一种基于归一化像素差异的快速精确无约束人脸识别方法［44］、一种基于层次视觉编码表示的虹膜图像识别方法［45］。中山大学提出了一种开放条件下行人再识别方法［46］，并从机器学习的角度构建了可传递局部距离比较信息的学习模型。
三、国内外发展比较
在模式识别与机器学习基础理论方面，国内学者发表了大量的学术论文。诸多研究成果受到国际同行的广泛关注。特别地，国内学者在低秩学习、分类器集成、多示例多标签学习等方面仍然处于国际前沿水平。在深度学习应用方面，国内学者也得取了十分可喜的成绩，在多个有重要影响的国际竞赛中均得优异成绩。比如，我国在概率图模型方面的系列研究工作［22-24］、生成式对抗网络、不规则滤波深度卷积神经网络［29］、深度旋转网络［30］、深度森林模型［31］、回归重定多类分类器构造［15］、数据聚类等方面均做出了亮点工作。
另外，中科院及北京、南京、杭州、西安、广州、武汉、天津、成都等院所在计算机视觉、信息检索、自然语言处理等模式识别与机器学习应用研究方面成绩斐然。比如，2016 年在全球最具影响力的视觉目标识别竞赛ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中商汤科技与香港中文大学、公安部三所、南京信息工程大学、海康威视等国内研究机构分别包揽了全部项目的冠军，在国际学术界和工业界充分展示了我国模式识别与机器学习的应用水平。
总体来说，国内本学科发展势头良好，涌现出一批具有国际影响力的专家，并在国际模式识别与机器学习领域的各个舞台上均有一支十分活跃的中国力量。比如，在此期间， 中科院自动化所谭铁牛院士当选为英国皇家工程院外籍院士和发展中国家科学院院士；南京大学的周志华教授继2012年当选为IEEE Fellow 和IAPR Fellow 之后，于 2016 年当选AAAI Fellow、ACM Fellow、AAAS Fellow；同时，国内学者在人工智能国际重要学会担任Fellow 的人数逐年增加。但是，相对于国外水平，国内整体上仍处于跟跑阶段。相对于美国、加拿大等国家，在机器学习的重要原始成果创新方面相对较少。在学术界、工业界具有双重影响的原始创新工作（如AlphaGO）较少。
四、我国发展趋势与对策
模式识别和机器学习是当前人工智能中最具活力的研究领域。传统的理论难点问题和技术瓶颈问题尚未得到全面充分解决。但是，在基于泛在感知的海量信息智能化处理中却不断地产生新型大数据机器学习问题。
我国当前应用需求主要包括如下几个方面：①公共安全与服务的需要，包含海量庞杂、跨时空、跨区域、跨行业、跨部门、社会—人的物理空间和网络空间大数据处理、挖掘、服务与管理决策；②基于泛在和精密感知的智能环境理解、智能人机交互、智能机器人、智能辅助系统等尤其需要先进的视听觉信息理解技术；③国家安全的需要，包括军事目标图像和军事情报数据的自动分析，互联网态势分析和反恐等、空天情报实时智能化处理，等等。
围绕上述应用需求，在科学研究与技术开发层面，我国互联网、人工智能等技术的普遍应用不断地催生着新的模式识别与机器学习问题。另外，在来自于物理空间、网络空间、社会与人的“多源异构、海量混杂、时空演变”的大数据中产生了诸如物理空间与网络空间的协同感知与建模、多源异构大数据机器学习等新的科学问题，迫切需要我们发展新的模式识别与机器学习理论与方法。
特别地，面向大数据分析这一主战场，在理论与方法层面我国主要呈现出以下一些研究趋势：①研究高效的关联学习方法，充分挖掘蕴含于大数据中的价值；②研究隐含模式发现方法、类不平衡模式分析方法，有效地解决大数据中小模式检测问题，构建面向大数据的价值模式分析方法；③研究海量冗余数据、海量噪声数据中的精准知识激活方法、知识消歧方法，提高海量数据的利用效率；④研究海量非结构化时序数据分析方法，建立高效的事件检测、演化和预测模型，以适应大数据快速演化特点；⑤研究面向大规模数据的模式分类、模式聚类、知识深度推理、非结构化特征学习等方法，拓展现有经典方法的大数据并行处理能力。
近年来，基于深度学习的模式识别方法在语音识别、自然图像分类、自然语言处理等领域取得了巨大的成功，取得的识别精度比其他方法所取得的最高性能都有明显提升。随后，深度学习必将转向一些新的行业，比如，商业大数据挖掘与推荐、智慧城市、交通大数据分析、健康大数据分析、遥感时空大数据分析、车辆受损图像自动保险定损、智能驾驶、空间分析与应用、天气预报、国防与公共安全等。
另外，强化学习也是未来一个主要发展方向。随着AlphaGO的成功，强化学习被提升到一个新的高度。实际上，强化学习已经在人机对抗中显示出强大的生命力。同时，强化学习的思想已在传统的模式识别任务中逐步发挥重要作用。
最后，人脑具有多模态信息处理、自主学习、实时更新等特点。发展类脑模式识别理论与方法，充分引入人的感知机理，以脑结构、神经形态学、类脑研究的最新成果为引导，研究高效的跨模态非结构化协同学习方法、小样本主动可增强自学习自演化方法、自主特征学习方法、自动目标感知与识别方法、类脑神经网络结构学习方法等，也是我国机器学习领域正在蓬勃开展的一个新的研究领域。
模式识别、机器学习是提高我国人工智能应用水平的核心技术，构建智能计算系统的核心基石，也是一个难得的机遇期。特别地，随着“创新 2020”“人工智能 2.0”“工业5.0”等国家层面的战略设计的相继启动，对模式识别、机器学习相关人才和技术的需求十分迫切。因此，本学科应力争培养一批既懂理论方法又能掌握核心关键技术的复合型人才，提出原创性的主流方法和核心算法，推动我国人工智能技术的跨越发展。
参照国际模式识别、机器学习的研究水平，在基础理论研究方面，我们在国际上所产生的重大原始创新性成果还不多。因此，尽管国家在经费投入方面有了巨大提高，但仍需着力营造自由、宽松的基础研究氛围。
五、结束语
围绕模式分类和机器学习及其应用，本报告主要介绍国内在模式识别领域的主要研究进展，分析国内的研究特色与差距以及本学科发展趋势。总结起来，国内学者在模式识别与机器学习及其应用的研究上取得了一批具有国际水平的成果。但是，大多为跟踪式、改进式、验证式研究，在基础理论和主流方法上缺乏“零基”原创性的贡献。在以后的工作中需要进一步加强基础研究的力量，凝练研究队伍，拓宽人才培养途径，注重高层次人才引进，营造自由、宽松的学术研究氛围，加强模式识别、机器学习与脑科学、认知科学、社会科学等领域的交叉与融合。
来源：中国自动化学会
工业互联网
产业智能官 AI-CPS
加入知识星球“产业智能研究院”：先进产业OT（工艺+自动化+机器人+新能源+精益）技术和新一代信息IT技术（云计算+大数据+物联网+区块链+人工智能）深度融合，在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的机器智能认知计算系统；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。
版权声明：产业智能官（ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源，涉权烦请联系协商解决，联系、投稿邮箱：erp_vip@hotmail.com。
相关内容
微信扫码咨询专知VIP会员