【Google Jeff Dean独自署名论文】深度学习革命及其对计算机架构和芯片设计的影响，讲述AI芯片发展历程与未来

【导读】深度学习和硬件怎样结合？计算机界神级人物、谷歌人工智能主管Jeff Dean发表了独自署名论文《The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design》，17页pdf论文，长文介绍了后摩尔定律时代的机器学习研究进展，以及他对未来发展趋势的预测判断。

在过去的十年里，机器学习，特别是基于人工神经网络的深度学习方法取得了一系列显著的进步，从而提高了我们在更广泛的领域建立更精确系统的能力，包括计算机视觉、语音识别、语言翻译和自然语言理解任务。这篇论文是2020年国际固态电路会议(ISSCC)的主题演讲的配套论文，讨论了机器学习的一些进展，以及这些进展对我们需要构建的计算设备的影响，特别是在后摩尔定律时代。它还讨论了一些方法，机器学习也可以帮助电路设计过程的某些方面。最后，它提供了至少一个有趣方向的草图，朝向更大规模的多任务模型，这些模型是稀疏激活的，并且使用了比今天的机器学习模型更动态的、基于实例和任务的路由。