Bayesian Networks (BNs) have become a powerful technology for reasoning under uncertainty, particularly in areas that require causal assumptions that enable us to simulate the effect of intervention. The graphical structure of these models can be determined by causal knowledge, learnt from data, or a combination of both. While it seems plausible that the best approach in constructing a causal graph involves combining knowledge with machine learning, this approach remains underused in practice. We implement and evaluate 10 knowledge approaches with application to different case studies and BN structure learning algorithms available in the open-source Bayesys structure learning system. The approaches enable us to specify pre-existing knowledge that can be obtained from heterogeneous sources, to constrain or guide structure learning. Each approach is assessed in terms of structure learning effectiveness and efficiency, including graphical accuracy, model fitting, complexity, and runtime; making this the first paper that provides a comparative evaluation of a wide range of knowledge approaches for BN structure learning. Because the value of knowledge depends on what data are available, we illustrate the results both with limited and big data. While the overall results show that knowledge becomes less important with big data due to higher learning accuracy rendering knowledge less important, some of the knowledge approaches are actually found to be more important with big data. Amongst the main conclusions is the observation that reduced search space obtained from knowledge does not always imply reduced computational complexity, perhaps because the relationships implied by the data and knowledge are in tension.


翻译:Bayesian Network (BNs) 已成为在不确定性下进行推理的强大技术,特别是在需要因果假设,使我们能够模拟干预效果的领域。这些模型的图形结构可以由因果知识、从数据中学习,或两者的结合来决定。虽然建立因果图的最佳方法似乎似乎包括将知识与机器学习相结合,但这一方法在实践中仍然没有得到充分利用。我们实施和评价了10种知识方法,应用了开放源代码 Bayesys 结构学习系统中的不同案例研究和BN 结构学习算法。这些方法使我们能够具体说明从不同来源获得的已有知识,以限制或指导结构学习。每一种方法都能够通过结构学习效果和效率,包括图形准确性、模型适当性、复杂性和运行时间来加以评估。让第一份文件能够对BN 结构学习的广泛知识方法进行比较评价。由于知识的价值取决于现有的数据,我们用有限和大的数据来说明结果。虽然总体结果显示,知识由于学习的准确性较高而导致知识的准确性降低,从而限制或指导结构学习学习学习。每一种方法在结构上的学习效果上都不太重要,但某些主要观测方法的精髓意味着数据在计算中发现,因为从大数据中发现,因此可能减少主要数据在实际分析中发现,因此比较重要。在空间分析中发现,因此,因此可能减少。在空间研究中较复杂。在空间中较重要。

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2021年9月5日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
和积网络综述论文,Sum-product networks: A survey,24页pdf
专知会员服务
23+阅读 · 2020年4月3日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
A survey of Bayesian Network structure learning
Arxiv
0+阅读 · 2021年9月23日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
3+阅读 · 2018年8月27日
Arxiv
5+阅读 · 2015年3月1日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员