Deep Learning approaches based on Convolutional Neural Networks (CNNs) are extensively utilized and very successful in a wide range of application areas, including image classification and speech recognition. For the execution of trained CNNs, i.e. model inference, we nowadays witness a shift from the Cloud to the Edge. Unfortunately, deploying and inferring large, compute and memory intensive CNNs on edge devices is challenging because these devices typically have limited power budgets and compute/memory resources. One approach to address this challenge is to leverage all available resources across multiple edge devices to deploy and execute a large CNN by properly partitioning the CNN and running each CNN partition on a separate edge device. Although such distribution, deployment, and execution of large CNNs on multiple edge devices is a desirable and beneficial approach, there currently does not exist a design and programming framework that takes a trained CNN model, together with a CNN partitioning specification, and fully automates the CNN model splitting and deployment on multiple edge devices to facilitate distributed CNN inference at the Edge. Therefore, in this paper, we propose a novel framework, called AutoDiCE, for automated splitting of a CNN model into a set of sub-models and automated code generation for distributed and collaborative execution of these sub-models on multiple, possibly heterogeneous, edge devices, while supporting the exploitation of parallelism among and within the edge devices. Our experimental results show that AutoDiCE can deliver distributed CNN inference with reduced energy consumption and memory usage per edge device, and improved overall system throughput at the same time.
翻译:以进化神经网络(CNNs)为基础的深入学习方法在广泛的应用领域,包括图像分类和语音识别,被广泛广泛使用和非常成功。对于执行受过训练的CNN,即模型推论,我们现在目睹了从云向边缘的转变。不幸的是,部署和推断大型、计算和记忆密集的CNN在边缘装置上具有挑战性,因为这些装置通常电力预算有限,并且计算/模拟资源。应对这一挑战的一个办法是利用多种边缘装置的所有现有资源,通过适当隔开CNN和在单独的边缘装置上运行每个CNN分区来部署和执行大型CNN。尽管在多边缘装置上分配、部署和执行大型CNN是一个可取和有益的办法。但目前还没有一个设计和方案编制框架,这种框架采用经过训练的CNNNC模式,同时配有CNN的配电配电和配电模式,同时将CNN在电网的边际装置下传播。因此,在本文中,我们提议一个新框架,称为AutoDICE, 支持在可能进行自动化的实验室模型上,在可进行自动的版本上,在可进行自动操作的版本上,在系统上,在系统上,并进行自动的版本上,将CNNCNCLNCLM的版本上,通过一个自动的版本的版本的版本的版本的版本的版本的模型,通过一个自动的版本的版本的版本,将自动的版本,将自动的版本的版本的版本的版本,将自动的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本,通过一个自动的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本,用于的版本的版本的版本的版本,用于的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的版本的