Fog/Edge computing is a novel computing paradigm supporting resource-constrained Internet of Things (IoT) devices by the placement of their tasks on the edge and/or cloud servers. Recently, several Deep Reinforcement Learning (DRL)-based placement techniques have been proposed in fog/edge computing environments, which are only suitable for centralized setups. The training of well-performed DRL agents requires manifold training data while obtaining training data is costly. Hence, these centralized DRL-based techniques lack generalizability and quick adaptability, thus failing to efficiently tackle application placement problems. Moreover, many IoT applications are modeled as Directed Acyclic Graphs (DAGs) with diverse topologies. Satisfying dependencies of DAG-based IoT applications incur additional constraints and increase the complexity of placement problems. To overcome these challenges, we propose an actor-critic-based distributed application placement technique, working based on the IMPortance weighted Actor-Learner Architectures (IMPALA). IMPALA is known for efficient distributed experience trajectory generation that significantly reduces the exploration costs of agents. Besides, it uses an adaptive off-policy correction method for faster convergence to optimal solutions. Our technique uses recurrent layers to capture temporal behaviors of input data and a replay buffer to improve the sample efficiency. The performance results, obtained from simulation and testbed experiments, demonstrate that our technique significantly improves the execution cost of IoT applications up to 30\% compared to its counterparts.


翻译:Fog/Edge 计算是一种新型的计算模式,通过将任务置于边缘和/或云端服务器上,支持资源受限制的Tings Internet(IoT)设备。最近,在只适合集中设置的雾/隐蔽计算环境中,提出了若干基于深强化学习(DRL)的定位技术。对完善的DRL代理机构的培训需要多种培训数据,同时获得培训数据的成本很高。因此,这些基于DRL的集中技术缺乏通用性和快速适应性,从而无法有效解决应用安置问题。此外,许多IoT应用程序被建为具有不同地形的定向Acyloclical图(DAGs)模型。满足基于DAG-IoT应用程序的依赖性(DRL)在迷你/隐蔽计算环境中的定位环境环境环境中,提出了若干基于DRLUT(IMALA)技术的模型模型模型模型模型模型模型模型模型模型模型模型模型。许多IOLA应用都以具有高效的轨迹生成模型模型模型模型模型模型模型模型模型模型模型模型模型模型模型模型模型模型,大大降低了我们30个不断整合的试化的试化的试算的试算的试算方法。此外的试算方法,从而大大降低了我们的试算方法,从而降低了了我们的试算方法的试算方法,从而降低了了我们的试算方法的试算方法,从而提高了了我们的试算方法,从而降低了了我们的试算方法,从而提高了了我们的试算方法,从而提高了我们的试算方法,从而提高了了我们的试算方法,从而提高了我们的试算方法,从而提高了我们的试算方法,从而改进了我们的试算方法,从而提高了了我们的试算方法,从而提高了了我们的试测了我们的试测了我们的试测了我们的试测了我们的试算方法。

0
下载
关闭预览

相关内容

可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
【边缘智能综述论文】A Survey on Edge Intelligence
专知会员服务
119+阅读 · 2020年3月30日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Annual Review of Biochemistry外泌体综述
外泌体之家
5+阅读 · 2019年6月27日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
3+阅读 · 2018年10月5日
VIP会员
相关资讯
Annual Review of Biochemistry外泌体综述
外泌体之家
5+阅读 · 2019年6月27日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员