In 5G and beyond systems, the notion of latency gets a great momentum in wireless connectivity as a metric for serving real-time communications requirements. However, in many applications, research has pointed out that latency could be inefficient to handle applications with data freshness requirements. Recently, the notion of Age of Information (AoI) that can capture the freshness of the data has attracted a lot of attention. In this work, we consider mixed traffic with time-sensitive users; a deadline-constrained user, and an AoI-oriented user. To develop an efficient scheduling policy, we cast a novel optimization problem formulation for minimizing the average AoI while satisfying the timely throughput constraints. The formulated problem is cast as a Constrained Markov Decision Process (CMDP). We relax the constrained problem to an unconstrained Markov Decision Process (MDP) problem by utilizing Lyapunov optimization theory and it can be proved that it is solved per frame by applying backward dynamic programming algorithms with optimality guarantees. Simulation results show that the timely throughput constraints are satisfied while minimizing the average AoI. Also, simulation results show the convergence of the algorithm for different values of the weighted factor and the trade-off between the AoI and the timely throughput.


翻译:在5G和5G系统之外,长期连接的概念在无线连接方面获得了巨大的动力,成为满足实时通信要求的衡量标准。然而,在许多应用中,研究指出,对于处理带有数据更新要求的应用程序来说,长期性可能是低效的。最近,能够捕捉数据新鲜度的信息时代概念引起了人们的极大关注。在这项工作中,我们认为与时间敏感的用户、受最后期限限制的用户和面向AoI的用户之间的交通量不一。为了制定有效的时间安排政策,我们为尽量减少平均AoI而提出了新的优化问题,同时满足了及时的吞吐限制。所提出的问题被作为 Consstrained Markov 决策程序(CMDP ) 。我们利用Lyapunov 优化理论,将受限制的问题放松到不受限制的Markov 决策程序(MDP ) 的问题。我们可以证明,通过应用落后的动态编程算法和最佳性保证,它每框架就能解决。模拟结果显示,在尽量减少平均AoI的同时,及时的吞吐限制是满足的。此外,模拟结果显示,通过不同加权因素的算法和加权因素之间的及时趋同。

0
下载
关闭预览

相关内容

专知会员服务
14+阅读 · 2021年5月21日
【Google】梯度下降,48页ppt
专知会员服务
79+阅读 · 2020年12月5日
最新《自动微分》综述教程,71页ppt
专知会员服务
21+阅读 · 2020年11月22日
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
127+阅读 · 2020年4月25日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
强化学习最新教程,17页pdf
专知会员服务
171+阅读 · 2019年10月11日
CCF推荐 | 国际会议信息10条
Call4Papers
7+阅读 · 2019年5月27日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
Arxiv
6+阅读 · 2021年6月24日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
相关VIP内容
专知会员服务
14+阅读 · 2021年5月21日
【Google】梯度下降,48页ppt
专知会员服务
79+阅读 · 2020年12月5日
最新《自动微分》综述教程,71页ppt
专知会员服务
21+阅读 · 2020年11月22日
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
127+阅读 · 2020年4月25日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
强化学习最新教程,17页pdf
专知会员服务
171+阅读 · 2019年10月11日
相关资讯
CCF推荐 | 国际会议信息10条
Call4Papers
7+阅读 · 2019年5月27日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
Top
微信扫码咨询专知VIP会员