在许多行业规模的应用中,大量消耗资源的机器学习模型部署在强大的云服务器中。同时,大量的输入数据在云的边缘被收集。推理结果也会传送给用户或传递给位于边缘的下游任务。边缘通常由大量低功率器件组成。如何设计行业产品来支持复杂的深度模型部署和高效地进行模型推理,从而保持较高的模型精度和较低的端到端延迟,是一个巨大的挑战。本文介绍了华为云的边缘云协作原型——Auto-Split背后的技术和工程实践。这项专利技术已经在选定的应用中得到验证,并将用于更广泛的系统边缘云应用集成,并将作为端到端云边缘协同智能部署的自动化管道服务提供给公众使用。据我们所知,目前还没有能够提供深度神经网络(DNN)拆分功能的工业产品。
https://www.zhuanzhi.ai/paper/178ebfb2975bbcc1ef6994f1343d46be