王耀南院士长期致力于机器人感知与控制技术研究和工程应用。围绕我国高端制造的重大需求,开创机器人自主加工动态感知规划与决策控制技术体系,提出系列高速高精视觉鲁棒感知方法,突破多机器人高效协同制造的技术难题,发明机器人灵巧精准作业控制技术。率先研制出工业移动作业机器人、精密检测分拣机器人和智能制造机器人自动化加工柔性生产线,并成功应用于航空、舰船、汽车、电子、医药等620余家国内外企业,取得了显著的社会经济效益,创建了机器人国家工程实验室,推动我国制造业转型升级。针对我国重大工程建设的需求,提出大型多机组高效运行控制与优化智能调度方法,发明系列电力特种作业机器人,研制出高可靠自动化成套控制系统,成功应用于西电东送电站、南水北调泵站等国家重大工程,实现了大型电站和泵站安全可靠的稳定运行。
2022年4月29日,学会宣传工委会对理事长王耀南院士进行了线下采访,以下为访谈的主要内容。
问:王院士,您之前一直都是在计算机专业学习,是什么契机让您放弃了计算机专业转而投向自动化呢?自动化专业有什么吸引您的地方呢?
王耀南:我的专业选择说起来是个挺有意思的故事,我高中的时候对无线电、电子信息十分感兴趣,当时考大学就想读电子信息专业。
我本科是在东华理工大学(原华东地质学院),它是一所核工业的学校。大学二年级的时候,国家需要研制和生产大型计算机为核工业服务,当时急需人才,于是学校来我们专业选人,通过考核,我以专业最好的成绩留校研制大型计算机。后来安排我去了凯里,到当时中国最大的计算机厂进行学习和研制,大概过了两年多,我们研制出了大型计算机,于是我毕业的时候专业就顺理成章变成了计算机专业。
在这之后,我们研制的计算机送到了九院,我也一直在九院从事计算机维护和修理工作。随着时代的进步,那台计算机用了五年就被淘汰了,于是我从一名计算机设计制造和维护工程师变成了一名计算机专业讲师。
到了1984年,我与东华理工大学的一些老师一起创办了电子计算机系,我担任了系副主任,给学生上C语言、汇编语言、计算机、数字电路、计算机原理、操作系统、编译系统、数理逻辑等课程。那时候就是边学边上课,也是那时候,我深刻领悟到主动学习和不断提升自己的重要性。
等到1988年学校政策变化,允许教师考研究生了,我就琢磨着考什么专业,我教过电路、数理逻辑、自控原理这些专业课,与自动化专业考核内容也符合,经过深思熟虑,决定报考自动化,最后如愿以偿考上了湖南大学自动化专业的研究生。
考上研究生之后,凭借之前的累积,已经大致领悟到最前沿的东西了,一门心思想做智能控制,当时导师也很支持我,这一切都为之后的研究打下了坚实的基础。
问:我们了解到,您曾获得德国洪堡学者基金在不来梅大学从事科研工作。能否跟我们介绍一下您当时开展的什么研究工作,这一段经历对您后面工作发展的影响,包括对我国无人系统、机器人等领域做出杰出贡献有哪些帮助?
王耀南:我是1997年从国防科技大学博士后出站以后获得的德国洪堡学者基金。当时,我了解到了这个基金项目,送了五篇代表作到德国,提供给同行评议、合作导师选择。那时的研究方向是视觉伺服反馈控制系统(简称视觉控制),主要通过视觉感知、图像特征提取对系统进行控制,应用在控制机器人运动和卫星姿态调整。当时合作导师对我的研究方向十分感兴趣,于是就一起申请并获得了德国洪堡学者基金。
获德国洪堡学者基金后,我去了德国不来梅大学自动化研究所,开展的第一个研究项目是轮椅机器人的控制系统。这个项目主要研究的问题是轮椅机器人如何辅助残障人士进行日常生活,比如使用者需要拿一个苹果吃,轮椅机器人首先要识别是否是苹果,然后要考虑怎么抓起这个苹果。放在今天,使用脑机接口控制能够直接解决,但是当年没有脑机接口,我们用的是机器视觉进行识别、声音进行控制,通过多传感器融合的形式控制轮椅机器人。
我开展的第二个项目是工业生产线的高速高精度的视觉分拣系统和自动驾驶混合动力邮车研发,因为德国人每天有很多物流邮包,需要将各种各样的物品分拣出来以后送到混合动力邮车上。我们第二个项目研制了一个物流分拣机器人,邮车驶入车间后,两台机器人通过视觉来分拣各种邮包,然后将分拣好的邮包装载到邮车上。这两个项目涵盖了移动机器人本体结构、多传感信息融合技术、移动机器人路径规划和控制,我将这四个技术总结为“感”、“算”、“传”、“控”。
这两个项目锤炼了我从事大项目的能力,开拓了我在特殊服务机器人方面的研究。同时,我在德国认识了德国工程院院士Selzer教授,他觉得我是德国杰出洪堡学者,项目做得很好,邀请我一起申请了欧盟第五框架国际合作重大项目。我们当时做的是基于机器视觉的青光眼辅助诊疗,我负责机器视觉图像识别和仪器制造。
经过这三个科研项目之后,我就把机器视觉图像和机器人结合的比较好了。当时国内做机器视觉和机器人的研究者还比较少,我也算是开创了机器人视觉感知与控制技术国家工程研究中心。
问:您牵头的项目“智能图像信息处理方法及其在工业系统中的应用”曾获得国家科技进步二等奖,这应该是国内工业视觉领域开创性工作,能否介绍您当时为什么将视觉引入工业制造领域,未来工业视觉将怎么发展?
王耀南:我的“智能图像信息处理方法及其在工业系统中的应用”项目获得了2004年国家科技进步二等奖。这是我第一次报奖,从德国回来以后,2000年到2004年我一直带领团队在做之前提到的欧盟第五框架国际合作项目,积累了很多在机器视觉图像处理方面的知识。我回来以后也做了很多工业视觉方面的应用项目,我带的研究生做的就是高速饮料和高速医药生产线的机器人检测识别。
我们一开始申报的项目名称是“智能图像信息处理与控制技术方法及其在复杂工业系统中的应用”,当时评审专家觉得我们的题目太大太长了,就给我们改成了“智能图像信息处理方法及其在工业系统中的应用”。我们这个项目主要是包括三个模块、两个核心技术和四个应用案例:三个模块是高速成像模块、图像识别模块和控制模块,两个核心技术是机器视觉检测技术和基于机器视觉的控制技术,四个应用领域是饮料工业高速检测、医药工业检测识别、交通监测系统和星载遥感监测系统。
这个项目是我们国家最早将机器视觉引入工业应用的,主要解决了当时工业领域算法速度慢与实际应用中高速、高精度需求不匹配的问题,我们采用的是软硬件结合的方式,通过用DSP来实现图像处理,采集处理也都是用的硬件。关于未来工业视觉的发展,我认为是要推动多光谱、红外、可见光等多模态的高速高精度成像技术。
问:自新冠肺炎疫情发生以来,您所在的团队领衔研制了医用紫外消毒机器人、医用喷洒消毒机器人、医用物资配送机器人等系列防疫机器人。在这之中,视觉图像处理起到一个什么样的作用呢?您当时遇到最大的困难是什么呢?
王耀南:我多年来的科研工作都是基于国家重大需要,这是我的责任和使命,也成了刻在骨子里的习惯。
如1976年知识青年上山下乡,我在农村的时候,突然地震,农村没有预警装置,于是我开始做简易的预警仪器,那是我第一次把知识应用到群众需求上。第二次就是在2008年湖南大雪冰灾的时候,我也带领团队研制出一系列电力除冰机器人巡检高压输电线,替代人工作业。
又如2020年的正月初疫情突发,中共中央政治局常务委员会召开会议,我知道事态严重了,立马返程回长沙,通知团队成员将我们之前做的物流机器人转成医用救援防疫机器人,研发成消毒、测温、送餐和做核酸的四种防疫机器人。前三种我们都做出来了,第四种要跟人打交道较为复杂。我当时觉得防疫机器人主要起到两个作用,第一是用机器人替代人繁重的劳动,第二是避免二次交叉感染污染,因为机器人它是不怕被传染的,可以在封控区、方舱医院之类的防疫比较危险的地方用机器人。做好之后我们把这些机器人送到了湖南的医院以及深圳的校友会,给医务人员减轻负担。
在研制这些机器人当中,难度最大的一是材料,当时全国停工了,没有人研制材料,只能手工来做。二是图像处理,医疗服务机器人需要具备识别人脸、识别场景和避开障碍物能力,机器人在室内外要建立一种三维地图,导航时能很快完成避障,对地图定位同步创建,图像处理技术最大的作用就是识别障碍物、避开障碍物,然后指导机器人的路径规划。这其中涉及到图像检测、图像识别、图像目标跟踪,这些对机器人的图像处理能力要求还是比较高的,要在短时间内建立一个三维的地图,花了我们很长时间去研究。
问:人才培养方面,您培养出很多优秀的学生。您能分享下如何培养一个团队,如何最大限度的挖掘学生潜力?
王耀南:这是个大的、且极具挑战性的问题,因为学生的个性不一,带博士生更是一个相互交流的过程。
我从1995年开始带博士,到今天快30年时间里,我带了70多个博士。我的体会第一点就是选好方向,给学生选择的研究方向是面向国家重大需求、面向科技前沿、面向科技主战场,使学生可长期从事宽广的科研领域。
第二点就是在确定的方向下,要与学生的研究背景和兴趣结合起来。比如我这里有做机器视觉图像识别的,有做工业自动控制的,都是根据他的个性及兴趣由学生自己来选。
第三点就是要大力提倡学生自主学习和开拓创新,导师要做好引导和指导,还要督促和启发,要让学生感兴趣,主动担当、主动研究、主动学习、主动作为。我认为第三点十分重要,学生可以先学习实践一个科研课题,对这个课题要充分的了解,了解以后,针对你要去做的任务和目标,学习国内外的好的文献,然后边读文献边开展科研实践。开始的时候做的不要太难,逐步来从简到中到难,逐步推进。第一篇论文做的东西要具体严实一点,哪怕简单一点,没有关系,锻炼和增加学生的自信心,这个很重要。我经常教导学生写论文有三步曲的,第一你要把课题背景和需求、需解决的难点和系统研究清楚、系统硬件掌握清楚;第二要把解决问题的算法推导出来,编好软件程序;第三要做出实验后,即时写出论文来。
问:王院士,您作为中国图象图形学学会的理事长,请问您对投身于图像图形学领域研究的年轻人,有什么寄语呢?
王耀南:我作为学会理事长,要有使命担当,要把前任学会理事长打下的基础做得更好,接力棒传到了我这里来,我就要把学会推上更高的一个层次,发展好。
我对学会年轻人的第一点寄语是要扩大眼界。因为今天人工智能的发展,新兴学科的发展,各行各业跟我们图像图形学息息相关,特别是机器深度学习,机器视觉,自然语言翻译,还有包括机器人都跟我们学会有关联,都跟图像处理有关。
第二是青年人投入到我们这个事业当中来,要大有作为,要认识到这个领域是能大有作为的,要面向科技前沿、面向国家重大需求、面向经济主战场、面向人民生命健康。你的发展空间很大,学会的未来是青年人的,青年强则国强。
第三点对青年人来说,就是要多和前辈同行交流,在学会里多承担任务,为学会做贡献,广泛地进行学术交流,做科普,做学术报告,做成果产业应用。
第四点是希望青年人钻研科学学术,为学会多投稿添砖加瓦,以上就是我对投身于图像处理研究的青年人寄予的希望,希望他们有担当有作为,为学会多做贡献,学会发展,你有发展。
王耀南院士介绍
王耀南,男,1957年出生云南,汉族,中共党员,中国工程院院士,机器人技术与智能控制专家,湖南大学教授,机器人视觉感知与控制技术国家工程研究中心主任。中国科协委员、中国图象图形学学会理事长、中国自动化学会会士、中国计算机学会会士、中国人工智能学会会士、全国智能机器人创新联盟副理事长、国家自然科学基金委员会专家咨询委员、中国自动化学会常务理事、中国人工智能学会监事、教育部科技委人工智能与区块链技术委员会委员、湖南省自动化学会理事长等。曾任湖南大学电气与信息工程学院院长、机器人学院院长、国家863计划智能机器人领域专家、欧盟第五框架国际合作重大项目首席科学家。
长期从事机器人感知与控制技术教学科研工作,成果获国家技术发明二等奖1项、国家科技进步二等奖4项、国际IEEE机器人与自动化领域“工业应用最高奖”,省部级一等奖11项。发表IEEE等SCI论文200余篇,出版机器人感知与智能控制等著作15部,获国家发明专利90余项,培养博士70余名(含IEEE Fellow、长江、杰青等)。荣获国家百千万工程人才、德国杰出洪堡学者、全国高等学校优秀教师、全国五一劳动奖章、全国先进工作者、全国创新争先奖、全国教材建设先进个人、湖南省抗击新冠疫情先进个人等荣誉称号。