【伯利克博士论文】深度学习应用的算法、硬件和调度的协同设计，161页pdf

几十年来，不断增长的计算能力一直是许多技术革命背后的推动力，包括最近在人工智能方面的进步。然而，由于集成电路进程规模的放缓，对于系统架构师来说，要继续满足当今应用不断增长的计算需求，他们现在必须采用具有专门加速器的异构系统。

然而，建构这些加速器系统是极其昂贵和耗时的。首先，硬件的开发周期是出了名的长，这使得它很难跟上算法的快速发展。同时，现有的编译器无法导航由新型加速器架构暴露的棘手映射空间。最后算法的设计通常没有将硬件效率作为关键指标，因此，在设计高效硬件方面提出了额外的挑战。

本文解决了联合设计和优化算法、调度和加速硬件设计的重大挑战。我们的目标是通过三管齐下的方法来推进最先进的技术: 开发从高层抽象自动生成加速器系统的方法和工具，缩短硬件开发周期; 适应机器学习和其他优化技术，以改进加速器的设计和编译流程; 以及协同设计算法和加速器，以开发更多的优化机会。

本文的目标应用领域是深度学习，它在计算机视觉、神经语言处理等广泛的任务中取得了前所未有的成功。随着智能设备的普及，可以预见，深度学习将成为我们日常生活中的主要计算需求。因此，本文旨在通过硬件加速进行端到端系统优化，释放前沿深度学习算法的普遍采用，改变生活的各个方面。

https://www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-202.html