专访NIPS主席:如何保证论⽂评审的公平性?| 人物志

2019 年 5 月 6 日 AI100


记者 | 阿司匹林

编辑 | 琥珀

出品 | AI科技大本营(ID:rgznai100)


作为人工智能领域顶会 NIPS(Conference and Workshop on Neural Information Processing Systems, 更名为 NeurIPS)的主席,Terrence Sejnowski(特伦斯 · 谢诺夫斯基)是全球人工智能十大科学家之一、深度学习先驱及奠基者,亲历了深度学习在 20 世纪 70 年代到 90 年代的寒冬。但他和一众开拓者,利用大数据和不断增强的计算能力,终于在神经网络算法上取得重大突破,实现了人工智能井喷式的发展。


近日,AI 科技大本营有幸采访到了 Terrence Sejnowski,与他聊了聊近来围绕 NIPS 的各种风波,以及对人工智能技术未来的洞察。


Terrence Sejnowski


AI 科技大本营:1986 年的 NIPS 有很多跨领域的科研人员参加,如今基本都是深度学习,您是如何看待这种转变的?


Terrence Sejnowski:在 NIPS 早期,除了传统 AI 领域,部分参会人员有物理学家、工程师,也有神经系统科学家、心理学家,当然还有数学家以及计算机视觉和语音识别领域的从业者等等。他们都是带着自己无法解决的问题而来,并寄希望于神经网络。当时我们还处在开发学习算法的阶段,模拟用的都是非常小的网络,如果按照现在的标准,那时的计算能力简直没法比。从那时到现在,这个当年的小社区越来越壮大,越来越丰富。


机器学习就是这样发展起来的。比如视觉,人眼有上百万的光感接收器,看的时候就已经接受了海量信息,但当时统计人员对如何处理大数据和庞大的高维空间并没有很好的数学理解。因此我们花了 30 年的时间才基本解决了这个问题,支持向量机、图形模型、贝叶斯模型等相继出现。最近让人感到兴奋的是,我们又回到了对最初的神经网络的关注。其实神经网络很早就出现了,但当时我们不知道可以把它扩大百万倍,而且网络越大,效果越好。


此外,如今的 NIPS 仍然非常多样化。事实上,如果你查看所有的论文,就会发现 40% 的论文是其他类型的学习系统的算法,而且还有很多应用、理解和优化也都是现在的热门方向。


AI 科技大本营:NIPS 2018 的论文投稿数量高达 490 篇,增长超 50%,但是 NIPS  2018 评审结果出来之后遭到很多质疑,请问 NIPS 如何保证评审的公平公正,特别是在任务如此艰巨的情况下?


Terrence Sejnowski:这个问题很长时间内都会存在,而且随着每年论文投稿数量的快速增长而愈发难以解决。我们会对每篇论文进行三次评审,5000 篇论文就意味着需要 15000 次评审。尽管机器学习领域人才短缺,但你知道谁是专家,谁有资格做评审。关键在于,我们需要培训更多的学生,让他们达到这个水平。 事实上,根据我们的统计数据,NIPS 2018 的会议上,40% 的参会者是首次参与,而这也是使他们成为专家的第一步。


我们是怎样解决评审这个问题的?一开始我们设置了一个程序主席(program chair),但后来发现程序主席不可能组织所有的事情,所以我们又设置了联席程序主席(program co-chairs),每位主席大概会负责三分之一的论文,彼此间会互相交谈,紧密合作。在这些程序主席下面又有十几位领域主席,每一个领域又有很多评审,就像一个树状的结构,这是一种层次审核体系。接下来,他们会对论文打分和评级,然后进行交叉验证。


那这个评审结果是否可靠?我们会针对评审过程进行 “校准”。真正优秀的评审会成为领域主席,而优秀的领域主席也会相应晋升为程序主席。这是一个需要很多人、很多工作的过程,期间会出现各类问题,还会涉及大量的邮件沟通等工作。例如,评审完每篇论文后会给作者反馈,如果收到作者投诉,领域主席就会检查评审是否公正。尽管这个过程也不是完全顺利,但我们相信数据,我们也把机器学习应用到评审过程中,这也是进一步优化评审过程的基础。


NIPS 的论文越来越多,我们仍然将论文的接受率保持在 25%。为此,每一个论文被拒绝的作者当然会说审稿人很糟糕,但我并不完全这么认为。我相信被错过的论文肯定存在,但这是所有会议和期刊共同的难题,我们每年都会改进评审过程,尽可能做到最好。


AI 科技大本营:您是怎样看待 NIPS 的更名为 NeurIPS 的这场风波?


Terrence Sejnowski:我认为这一切都很好,原因有两个。其一,那些认为 NIPS 有贬低意味的女性已经争取到了。 但还有另一个原因,因为深度学习,神经系统又回来了。 所以现在 NeurIPS 的名字直接反映了会议的新焦点。


AI 科技大本营:NeurIPS 2019 会有哪些新的变化?


Terrence Sejnowski:NuerIPS 的董事会正在做这些事情。例如,邀请埃森哲(Accenture)帮我们制定战略决策,一些重大决定即将出台。去年专为工业界专门设置了一天的 expo 颇受欢迎,今年我们将扩大 expo 的规模。为保证学术会议的质量,会将更多的赞助商挪到 expo 的会议环节。这是已经基本确定的。此外,还有很多事情还在商讨中,如提供更多的儿童托管服务,为残疾人等少数人群提供更多的帮助等。


AI 科技大本营:AI 经历几次寒冬,您认为 AI 会进入下一个冬天吗?


Terrence Sejnowski:NeurlPS(的规模)仍然在增长,至于寒冬,没有人知道答案。你可以问任何人他们的观点,但这些观点基本上都是没有价值的。因为,现实情况太复杂了,每个人看到都只是其中一面,很多人了解到的各种新闻甚至可能都不是最重要的部分。比如很多人可能都看到过自动驾驶的相关报道,但在天体物理学、生物图像处理等其他领域,深度学习正以前所未有的方式变革着这些领域。


它(AI)就在那,它不会消失,只会变得更好。这真是一个非常棒的新时代,不过它也许扩张得太快,我们走得太快,应该放慢速度了。


AI 科技大本营:您在书里还提到,重大突破每 30 年发生一次,50 年代 “感知机”,80 年代 “多层感知器算法”,2010 年 “深度学习”,现在已经过了飞跃性进展,进入缓慢发展期了吗?下一个重大技术突破会是什么?


Terrence Sejnowski:目前更多的是渐进式的进展。我们几乎可以肯定未来将会有大的突破,只是我们不知道这个突破会是什么,可能 30 年后才会发生,也可能在此之前就会发生。很多人低估了 30 年内会发生的事情,主要是因为那些未知的突破往往会在这个时间维度之内发生。


AI 科技大本营:您觉得目前 AI 面临最大的挑战是什么?


Terrence Sejnowski:关于 AI 面临的最大挑战,每个地区都不一样。我最近在华盛顿特区参加了国家科学院的会议,那里的数学家都在试图理解:为什么神经网络可以如此强大。我相信,如果数学家充分利用数学分析能力,那么就能够获得巨大的成果。


举个例子,瓦特在 250 年前发明了蒸汽发动机,一开始这个发动机的效率并不是很高,而且还时不时出故障,但它引发了 “工业革命”。当瓦特从工程学意义上发明蒸汽机后,物理学家们开始研究分析蒸汽机的原理。物理学家创建了一整套热力学理论来解释和改进蒸汽机,使其更有效率。在随后一百多年的时间里,蒸汽机越来越强大。


类似地,首先工程师会凭经验把这些网络组合在一起,然后物理学家就会研究解释为什么这是可行的,又该如何提高性能。令人兴奋的是,(深度学习)是一种全新的高维空间的思考方式,如果看做是要处理的数学问题,即创建一套解释这些神经网络的运行原理。


AI 科技大本营:深度学习在感知领域已经做得不错,但是从感知到认知,您觉得中间有多大的鸿沟?您觉得 AGI 能否实现?


Terrence Sejnowski:几乎人人都认为 AGI 是我们需要解决的最难的问题,这是错误的(观点)。我可以毫不含糊地告诉你,如果你了解生物进化,就会发现,为了解决视觉、听觉系统等问题,已经历了数亿年,而从智人到现在的人类只有几十万年。我们认为,普通人类智能都是基于大脑的无意识部分。这也是我们接下来要努力的方向,而且我们在这方面也取得了诸多进展。有了这些高维空间和复杂的结构,最后一部分就是扩大模型规模。现在每个网络都是独立的,但在我们的大脑中,它们都是集成的。


关于 AGI,我觉得这将并不难,真正困难的部分已经解决了。我们必须提出一个操作系统,可以整合或者集成所有的专用网络。这将会发生,但可能需要数十年的不懈努力。


AI 科技大本营:Richard Sutton 教授说 “人工智能中利用算力才是王道”,您觉得这轮 AI 热潮中,数据、算力、算法哪个贡献最大?


Terrence Sejnowski:我同意 Sutton 的观点。解决问题是有代价的,其中一部分是计算力,另一部分则是人力。早期计算机是非常昂贵的,而且非常慢,此外数据也非常昂贵。相对来说,人力更加便宜。因此公司解决问题的最好方式是雇佣好的程序员编写好的程序。但每一个问题都需要编写一个不同的程序,因此你需要很多擅长编程的人才。


在这五六十年期间,计算力的成本大幅下降,而编写程序的成本却不断攀升,这两者的交叉点发生在 2012 年。Geoffrey Hinton 发表在当年的 NIPS 论文里提出的的 AlexNet 大幅改善了计算机视觉的识别准确率,如今已经没有人再单独写一个个程序解决计算机视觉的问题了。


为什么每个人都在使用学习算法?因为它更便宜。更重要的是,我们可以使用相同的学习算法来解决许多问题,而不再需要为每个不同的域重写不同的程序。我认为这种(趋势)是不可避免的,那些相信可以用编写复杂程序来实现人工智能的旧式方式很快会成为 “活化石”。


AI 科技大本营:很多人会把机器学习称为是 AI,您对 AI 的定义是什么?怎样看待这种现象?


Terrence Sejnowski:机器学习只是 AI 的一部分。而深度学习则只是众多算法的一种,但最近深度学习取得的进展最大。这也是人们这样说的原因。事实上这个标签很早就被贴上了,不过任何该领域的从业者都知道这些(概念)之间的关系,因此这不是问题。


AI 真正的目标是解决真实世界的复杂问题,它是一个工具。我们正在构建这种工具,不同的工具对不同的问题有帮助。现在让人兴奋的是,人们正在研究 “混合动力”,将不同类型的架构组合在一起,通过整合取得最终进步。


AI 科技大本营:如何看待中美之间在 AI 领域的合作,以及可能面临的阻碍?


Terrence Sejnowski:中国的科研人员为 NeurIPS 贡献了很多非常好的论文。我们也非常希望更多的中国人在研究层面作出贡献,参与我们的会议。这对我们来说是巨大的成就,我们将继续(推进)这种合作。NIPS 已经走过了 30 多年的时间,中国人的身影出现在这个会议还是近几年的事情,更进一步的融合还需要下一个十年。




近日,中信出版社推出了 Terrence Sejnowski 亲著的《深度学习:智能时代的核心驱动力量》一书,作为学习领域的通识作品,本书以恢弘的笔触,通过 3 个部分全景展现了学习的发展、演变与应用,以亲历者视角回溯了学习浪潮在过去 60 年间的发展脉络与人工智能的螺旋上升,并前瞻性地预测了智能时代的商业图景。


目前,CSDN 联合中信出版社,针对 CSDN 用户推出《深度学习:智能时代的核心驱动力量》一书,限时 7.8 折优惠! 扫描下方二维码即可购买!



(本文为 AI科技大本营原创文章,转载请微信联系 1092722531


CTA核心技术及应用峰会


5月25-27日,由中国IT社区CSDN与数字经济人才发展中心联合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开,峰会将围绕人工智能领域,邀请技术领航者,与开发者共同探讨机器学习和知识图谱的前沿研究及应用。


更多重磅嘉宾请识别海报二维码查看,目前会议早鸟票发售中(原票价1099元),点击阅读原文即刻抢购。添加小助手微信15101014297,备注“CTA”,了解票务以及会务详情。

推荐阅读

登录查看更多
0

相关内容

专知会员服务
145+阅读 · 2020年6月15日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
118+阅读 · 2020年5月6日
【伯克利】再思考 Transformer中的Batch Normalization
专知会员服务
40+阅读 · 2020年3月21日
周志华教授:如何做研究与写论文?
专知会员服务
153+阅读 · 2019年10月9日
AAAI 2020放榜,8800篇提交论文创纪录,接收率20.6%
机器之心
8+阅读 · 2019年11月11日
论文h-index过低,ACL2020主席遭匿名攻击
新智元
4+阅读 · 2019年7月12日
如何用人工智能帮你找论文?
AI100
10+阅读 · 2018年2月21日
【机器视觉】如何做好计算机视觉的研究?
产业智能官
7+阅读 · 2017年10月19日
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
VrR-VG: Refocusing Visually-Relevant Relationships
Arxiv
6+阅读 · 2019年8月26日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
VIP会员
Top
微信扫码咨询专知VIP会员