一年一总结的NLP年度进展，2021年有哪些研究热点？

2021 年已经过去，这一年里，机器学习（ML）和自然语言处理（NLP）又出现了哪些研究热点呢？谷歌研究科学家 Sebastian Ruder 的年度总结如约而至。

2021 年，ML 和 NLP 领域取得了很多激动人心的进展。在 Sebastian Ruder 的最新博客《ML and NLP Research Highlights of 2021》中，他介绍了自己认为最具有启发意义的论文和研究领域。

文章涵盖了 15 个研究热点，具体如下：

• 通用预训练模型
• 大规模多任务学习
• Transformer 架构替代方案
• 提示（ prompting）
• 高效的方法
• 基准测试
• 条件图像生成
• 与自然科学结合的机器学习
• 程序合成
• 偏见
• 检索增广
• Token-free 模型
• 时序自适应
• 数据的重要性
• 元学习