前沿综述：集体智能与深度学习的交叉进展

论文题目：

Collective Intelligence for Deep Learning: A Survey of Recent Developments 论文链接： https://www.zhuanzhi.ai/paper/36613f5c67816e164c05ae3a13538809

目录

摘要 一、引言 二、历史背景 三、深度学习中的集体智能 1、图像处理 2、深度强化学习 3、多智能体学习 4、元学习 四、将深度学习用于集体智能研究 五、结论

在过去十年里，我们见证了深度学习崛起并在人工智能领域占据主导地位的过程。人工神经网络的进步，以及相应的具有大内存容量的硬件加速器的发展，再加上大型数据集的可得性，使得研究人员和从业人员能够训练和部署复杂的神经网络模型，在计算机视觉、自然语言处理和强化学习等多个领域的任务上取得最佳性能。然而，随着这些神经网络变得更大、更复杂、应用更广泛，当前深度学习模型的根本问题变得更加明显。众所周知，当前最先进的深度学习模型也有一些问题，包括不够稳健，无法适应新的任务，配置需要严格和不灵活的假设等。来自集体智能的观念，特别是来自复杂系统的概念，如自组织、涌现行为、粒子群优化（swarm optimization）和元胞自动机，往往会产生稳健的、适应性的解决方案，并且对环境配置的假设没那么严格。因此，看到这些观念被纳入到新的深度学习方法中，并不奇怪。在这篇综述里，我们将提供一个涉及复杂系统的神经网络研究的历史脉络，并着重于现代深度学习研究中几个活跃的领域，这些领域结合了集体智能的原理来提升当前模型的能力。为了促进观念的双向流动，我们还讨论了那些利用现代深度学习模型来帮助推进复杂系统研究的研究。我们希望这篇综述可以成为复杂系统和深度学习社区之间的桥梁，促进观念的交叉传播，并促进跨学科的新合作。