机器之心分析师网络
第三届机器学习与系统会议(MLSys 2020)将于 2020 年 3 月 2 日至 4 日在美国奥斯汀会议中心举行。MLSys 是 2018 年新成立的一个聚焦机器学习在系统、软件、硬件等多个综合领域中应用研究的学术会议。
模型:这些主要保存模型参数,通常由一些大的内存块组成。由于模型大小在整个训练过程中通常是固定的,因此模型数据很少或没有时间变化,并且是可预测的。
短暂:这些是每次迭代所需的临时内存。这些内存通常保存中间层的输出以及算法本身生成的临时数据。它们只在计算期间才需要,并且在迭代之间被释放,从而产生 DL 作业的时间内存使用模式。它们通常也是大内存分配。
框架:这些通常被 DL 框架用于记账或数据准备通道。它们经常在迭代中持续存在。
关于联邦学习,机器之心做过重要研究进展的梳理,感兴趣的读者可以读一读相关文章: 打破数据孤岛: 联邦学习近期重要研究进展