年度回顾 | 从九大国际AI顶会接收论文一窥ML算法趋势（上）

机器之心报道

机器之心Pro & SOTA！模型

仵冀颖，机器之心分析师网络

本文节选自机器之心《2021-2022年度 AI科技发展趋势报告 · 研究篇》，详细数据及分析过程在完整报告中进行收录。报告将于2022年开春正式发布，点击阅读原文获得免费获取报告机会。

机器学习算法的演进是人工智能技术发展的核心要素。

在本文的上篇，我们尝试分别从机器学习算法、计算语言处理、计算机视觉及机器人分领域对ML算法发展趋势进行总结。在本文的下篇，我们尝试打破领域的边界，形成一份全局性的总结。本文仅选取分析结论部分，详细数据及分析过程将收录在《2021-2022年度 AI科技发展趋势报告》完整版中。

2021年机器学习四大顶会 

AAAI、NeurIPS、ICML、IJCAI 

接收论文综合分析观察

首先，在2021年主要的四个机器学习会议中，机器学习、计算机视觉、NLP仍然是投稿量和接收量最大的几个主题。对于从事机器学习、人工智能相关领域研究的研究人员来说，对于研究论文题目或摘要中涉及“Machine Learning”、“Computer Vision”、“NLP”等会格外关注。但从几个会议最终接收的论文来看，直接用这些命名的论文接收率并不高，可能因为名称过于宽泛，反而不能够突出论文工作的重点。

其次，引入随机方法、优化方法、博弈论、增强处理、蒸馏等技术的论文虽然总数不是特别多，但接收率在几大会议中普遍较高。这一方面说明，这几个技术是机器学习领域中的热门技术，越来越多的研究人员会在不同领域的机器学习方法中引入这些技术。另一方面也说明，这几项技术应用在机器学习领域中具有较好的效果，包括图像、视频、语音、对话生成、文本翻译等等。

第三，Transformer、图结构、强化学习仍然是机器学习方法中重点采用的技术，在几大会议的最终接收的论文中，应用这几项技术的论文数量都比较多。但是，与GAN直接相关的论文数量与前几年相比大大减少，这也说明GAN在机器学习中的应用进入了瓶颈期。

第四，应对标注的高质量数据较少的问题的 少样本/弱样本/零样本学习相关文章的数量与前几年相比变化不大，说明聚焦于这一方向的研究人员仍在推进相关工作，并在不同领域中应用获得了不错的效果。但这一类方法并没有根本性的改进，所以也没有实现论文数量方面的大的改变。

第五，在关于智能体的论文中，今年最终接收的文章都以multi-agent为主，与单agent的方法不同，multi-agent侧重于多个agent之间的规划调度问题，以及对智能体与智能体、智能体与环境之间的相互影响和作用（即适应性）的分析。

第六，在几个会议中都有关于可解释性、伦理、偏见等的论文，可以看出，越来越多的研究人员开始关注这一类AI引发的社会问题。此外，越来越多的研究人员开始关注机器学习模型的可解释性问题，从简单的提高识别率、准确率逐渐提升到关注模型有效性背后真实原因的阶段。经历了努力利用黑盒机器学习模型改进不同领域中应用效果的阶段， 现在的机器学习发展到了深入理解白盒模型机理的阶段。

计算语言处理会议（ACL）接受论文分析观察

首先，从ACL 2021年会议论文和近年来计算语言处理领域的研究论文可以看出，与其它AI相关的研究领域相比，计算语言处理领域中已有很多技术/算法/模型应用在实际场景中，所以与前几年追求准确率相比，近年来的论文更多关注模型的可解释性、泛化性以及社会性问题，同时也有越来越多的研究人员关注由此产生的伦理问题、垄断问题。

其次，word embedding仍然是各类NLP文章中最关注的技术和方法，说明这一技术在计算语言处理领域中适用性、有效性仍然是最优的。

第三，在计算语言处理领域中迁移能力仍然不乐观。计算语言处理领域中所谓的in-domain如何界定？目前英语的各类NLP模型直接迁移应用到其它语言中效果不佳。

第四，预训练语言模型在ACL 2021 的文章中几乎呈现了压倒性的优势，包括BERT、RoBERTa、BART、GPT-2等。这是计算语言处理会议与其它顶会最大的不同。预训练可能是其它领域中某些情况下可选的技术方案，但是却是计算语言处理领域中的绝对最优技术方案之一。不管是字节跳动还是百度，在ACL 2021上都公布了成绩非常出色的预训练语言模型。

第五，ACL 2021上共有57个国家投稿，其中投稿数前二国家是中国（37.6%）和美国（25.1%），其中中国投稿量是美国的1.5倍之多。这也说明中国的计算语言处理技术处于领先的地位，而国内专注于此领域的研究人员也较多。

计算机视觉（CVPR、ICCV）接受论文分析观察

首先，在计算机视觉领域，传统的图像和视频理解、目标检测等仍然是研究的热门。以2D/3D目标检测为例，监督/半监督方法、少样本学习等方法都有所应用。在两个主要会议中，这几个经典领域中论文的研究主要从不同的应用场景中面临的不同问题、改进方法/模型以及构建更加鲁棒的数据库这些角度入手。

第二，与NLP领域中预训练模型带来的巨大改进不同，计算机视觉领域中虽然也在不断提出和应用算法/模型，但最终性能的改进主要是归因于数据集的持续升级。纵观顶会的相关论文，没有哪一种技术、算法能够在某一个计算机视觉领域中获得压倒性的优势。更多的优势方法得益于算力/数据的优势。

第三，深度神经网络、卷积网络带来了计算机视觉领域基础任务的性能突破，GAN 的提出进一步带来了分类和鉴别的性能突破。在2021年会议论文中，神经网络架构改进（包括Transformer和GNN）、GAN的应用等仍是主要的方向。

第四，在计算机视觉领域中，关于可解释性、公平、透明、伦理等问题的文章数量也不少，说明计算机视觉领域的研究人员也开始关注这一问题。

第五，由于计算机视觉任务极易受到对抗样本的影响，与NLP等应用领域相比，在计算机视觉领域中关于对抗学习的论文数量也较多。

最后，在两个计算机视觉顶会中，都有大量关注于数据库构建的文章。在一些专门的应用领域，例如3D城市点云、游戏场景、恶意攻击场景等，计算机视觉方法的适用性还依赖于专门的标注数据库的构建。

机器人（ICRA、CoRL）接受论文分析观察

首先，2021年机器人领域的顶会中大量论文都聚焦于无模型强化学习框架，令智能体与环境进行实时交互，以实现收敛得到最优解。这表明，越来越多的研究人员考虑使用无模型框架替代传统的使用拟合模型的经典强化学习方法。

第二，CoRL中感知领域的方法成为研究热点，感知领域的方法则是认知科学、神经科学等学科在机器人领域中的应用，其根本目的是令智能体像人一样能够通过各种视觉、触觉的经验学习。ICRA中的感知相关论文数量也远超强化学习等主题，成为了算法/方法类关注度最高的主题。

第三，与其它顶会不同，机器人领域的顶会更多的关注机器人在实际应用场景中的性能，如野外机器人、医学相关机器人、服务机器人等，而在相关会议中的Demo更多的代表了机器人领域中的研究趋势，例如大量采用无模型框架、引入感知技术等等。

机器之心《2021-2022年度 AI科技发展趋势报告》结合文献研究、数据挖掘、专家访谈及市场调查等多种分析方法，系统地从学术突破、工程发展、产业融合及社会宏观四个维度对2021年AI技术发展情况进行回顾性分析，对2022年度AI科技发展趋势进行展望。

报告将于2022年开春正式发布，点击阅读原文获得免费获取报告机会。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com