We present a faster symbolic algorithm for the following central problem in probabilistic verification: Compute the maximal end-component (MEC) decomposition of Markov decision processes (MDPs). This problem generalizes the SCC decomposition problem of graphs and closed recurrent sets of Markov chains. The model of symbolic algorithms is widely used in formal verification and model-checking, where access to the input model is restricted to only symbolic operations (e.g., basic set operations and computation of one-step neighborhood). For an input MDP with $n$ vertices and $m$ edges, the classical symbolic algorithm from the 1990s for the MEC decomposition requires $O(n^2)$ symbolic operations and $O(1)$ symbolic space. The only other symbolic algorithm for the MEC decomposition requires $O(n \sqrt{m})$ symbolic operations and $O(\sqrt{m})$ symbolic space. A main open question is whether the worst-case $O(n^2)$ bound for symbolic operations can be beaten. We present a symbolic algorithm that requires $\widetilde{O}(n^{1.5})$ symbolic operations and $\widetilde{O}(\sqrt{n})$ symbolic space. Moreover, the parametrization of our algorithm provides a trade-off between symbolic operations and symbolic space: for all $0<\epsilon \leq 1/2$ the symbolic algorithm requires $\widetilde{O}(n^{2-\epsilon})$ symbolic operations and $\widetilde{O}(n^{\epsilon})$ symbolic space ($\widetilde{O}$ hides poly-logarithmic factors). Using our techniques we present faster algorithms for computing the almost-sure winning regions of $\omega$-regular objectives for MDPs. We consider the canonical parity objectives for $\omega$-regular objectives, and for parity objectives with $d$-priorities we present an algorithm that computes the almost-sure winning region with $\widetilde{O}(n^{2-\epsilon})$ symbolic operations and $\widetilde{O}(n^{\epsilon})$ symbolic space, for all $0 < \epsilon \leq 1/2$.


翻译:在概率校验中,我们为以下中心问题提出了一个更快捷的象征算法 : 计算最高端成份( 最大端成份( 最高端成份( 最高端成份( 最高端成) ) 象征价值( 最高端成份( 最高端成) 象征价值( MDPs ) 。 这个问题一般化了 SCC 分解图形和关闭的Markov 链。 在正式校验中, 象征性算法模式被广泛使用, 进入输入模型仅限于象征性操作( 例如, 基本集成操作和计算一阶区) 。 对于符号操作而言, 我们最坏的ODO( 最低端成) 象征性算值( 最低端成) 最低端值( 最低端成) 最低端值( 最低端成( 最低端成) 最低端值( 最低端值) 和最高空域域( 最低端成份) 最低度算( 最低端成品( 最高端成品) 最低度操作( 最低度) ( 最低端值) 最低端值( 最低端值) 最低点算( 最高值) 最低值) 和最高值) 最低值算( 最低值) 需要( 最高值) 最低操作( 最低点) ( O) 和最高值)

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2021年4月2日
【2020新书】3D建模初学者指南,190页pdf
专知会员服务
33+阅读 · 2020年9月15日
近期必读的五篇KDD 2020【推荐系统 (RS) 】相关论文
专知会员服务
65+阅读 · 2020年8月11日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
【新书】Python编程基础,669页pdf
专知会员服务
196+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
280+阅读 · 2019年10月9日
一文理解Ranking Loss/Margin Loss/Triplet Loss
极市平台
16+阅读 · 2020年8月10日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年6月4日
Arxiv
0+阅读 · 2021年6月4日
Arxiv
7+阅读 · 2019年6月20日
VIP会员
相关资讯
一文理解Ranking Loss/Margin Loss/Triplet Loss
极市平台
16+阅读 · 2020年8月10日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员