贝叶斯思想概述:从贝叶斯定理到贝叶斯网络

2018 年 1 月 1 日 AI100 假期不停更


翻译 | AI科技大本营(ID:rgznai100)

参与 | 刘畅



假设世界上存在一种非常罕见的疾病,你患有这种疾病的几率只有千分之一。你想知道你是否被感染了,所以你做了一个99%准确的测试...且测试的结果是阳性的(译者注:阳性是感染了病毒的情况)! 那么你到底有多确定你真的被感染了?


怎么让疾病的第二次测试结果告诉你,你确实被感染了?


对于上述问题,如果你不想做所有的数学计算,而是更喜欢画一个网络结构来帮助自己更好地理解,那这篇文章是非常适合你的!


第一个测试


由于它是一种非常罕见的疾病(千分之一的机率被感染)。下表(称为条件概率表)给出了身体中有这个病毒的概率



这个表格显示只有千分之一的人被感染了。也可以这样认为:一千人中有999个人都是没有被感染的。


现在我们做了一个相似的测试表:第二个表表示测试的准确性。就是测试结果会告诉测试的准确度。因此,如果你被感染了,测试结果就是True,就是意味着你有99%的可能性被感染了,如果你没有被感染,测试结果将显示false(也是99%的准确度)。在这两种情况下,测试结果的错误率都是1%。



接下来的这张图显示,在给定测试结果的病毒是否存在的条件下,它的结果也取决于测试(如上面的表格所示):



然后,当我提供证据证明测试结果是True。由于只做了一次测试且结果是阳性的,因此该网络告诉我病毒存在于你的身体里,但是实际上病毒存在的概率只有9%!


那为什么会这样呢?这个数字来自贝叶斯定理:



在这个问题上,计算方法如下:



所以,即使你做了一个99%准确的测试,但是患该病的几率也只有9%。


这个计算看起来很复杂,但是一旦在图中来表示,我们就可以更好地理解贝叶斯思想是如何工作的。


进行第二次测试:


如果你进行第二次测试会发生什么?让我们假设这个新的测试也有99%的准确度,然后有一个和第一次测试一样的表:



相应的贝叶斯网络将是如下图所示:


这意味着:如果进行了两个阳性的测试,患该病的几率增加到了91%。由于加上了上一次实验的结果,并且是连续的两次实验,患病的几率从9%跳到了91%。但并不是100%!


在另一种情况下,如果第二个测试是一个阴性样本,则有100%的几率没有该疾病。



进行三次测试:


在三个测试中,所有的测试都有一样的准确度,我们可以看到一些有趣的结果。如果你有证据证明这3个测试结果都是阳性的,那么现在100%肯定你被病毒感染了。


但是如果一个测试结果是false,之前的结果会再次出现,即病毒只有91%的机会存在于你的体内:



总之,贝叶斯网络有助于我们展现贝叶斯思维,当数据量适中、不完整和/或不确定时,贝叶斯网络可以用于数据科学中。他们还可以引入专家判断来建立或完善网络。它们允许“模拟”不同的场景,而且能够表示出输入值(在这个例子中即是病毒的存在和测试的准确度)与输出(事件实际发生的概率)是如何在某种程度上联系在一起的。


在这篇文章中,我解释了如何从贝叶斯定理开始建立贝叶斯网络。我目前正在研究贝叶斯网络来预测项目的成本和风险。我想分享构建这种强大的人工智能工具的基础知识。


在这个暖心的视频中也解释了这个例子:https://youtu.be/R13BD8qKeTg


了解更多关于贝叶斯网络的知识:


关于在模型源上如何进行理论与数据的横向划分,贝叶斯网络有其特殊性。贝叶斯网络可以建立在人类的知识上,即理论上,也可以从数据中学习。因此,他们可以使用整个光谱作为模型源。此外,由于其图形结构,基于机器学习的贝叶斯网络在视觉上可以解释,因此也促进了人类学习和理论的发展。


贝叶斯网络允许人类学习和机器学习同时进行,也就是说,贝叶斯网络可以由人类和人工智能相结合而发展起来。除了跨越理论和数据之间的界限外,贝叶斯网络还具有因果关系这种特殊性质。


在特定条件下,即特定的理论驱动假设下,贝叶斯网络可以促进因果关系的推理。事实上,贝叶斯网络模型可以涵盖从关联/相关(Association/Correlation)关系到因果关系的全部范围。


实际上,这意味着我们可以将因果假设加入到现有的非因果关系网络中,从而建立一个基于因果关系的贝叶斯网络。当我们试图模拟一个领域中的干预项,例如估计一个治疗的效果时,这一点尤其重要。在这种情况下,必须使用因果模型,而贝叶斯网络帮助我们实现了这种过渡。来源:Bayesia book



原文链接:

https://towardsdatascience.com/will-you-become-a-zombie-if-a-99-accuracy-test-result-positive-3da371f5134



热文精选


2018,你在欢庆迎新,但AI引发的失业潮已经开始了……

不用数学也能讲清贝叶斯理论的马尔可夫链蒙特卡洛方法?这篇文章做到了

盘点深度学习一年来在文本、语音和视觉等方向的进展,看强化学习如何无往而不利

论文解析 | Google如何用CNN检查乳腺癌?

这三个普通程序员,几个月就成功转型AI,他们的经验是...

干货 | AI 工程师必读,从实践的角度解析一名合格的AI工程师是怎样炼成的

AI校招程序员最高薪酬曝光!腾讯80万年薪领跑,还送北京户口

算法还是算力?周志华微博引爆深度学习的“鸡生蛋,蛋生鸡”问题

详解 | 如何用Python实现机器学习算法

经验 | 如何高效学Python?

如何成为一名全栈语音识别工程师?

Twitter大牛写给你的机器学习进阶手册


登录查看更多
18

相关内容

贝叶斯网络是一种概率网络,它是基于概率推理的图形化网络,而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型,所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程,基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的,它对于解决复杂设备不确定性和关联性引起的故障有很大的优势,在多个领域中获得广泛应用。
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
177+阅读 · 2020年6月3日
最新《机器学习理论初探》概述
专知会员服务
46+阅读 · 2020年5月19日
【经典书】机器学习高斯过程,266页pdf
专知会员服务
195+阅读 · 2020年5月2日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
浅谈贝叶斯和MCMC
AI100
14+阅读 · 2018年6月11日
条件概率和贝叶斯公式 - 图解概率 03
遇见数学
10+阅读 · 2018年6月5日
再谈变分自编码器VAE:从贝叶斯观点出发
PaperWeekly
13+阅读 · 2018年4月2日
一文读懂贝叶斯分类算法(附学习资源)
大数据文摘
12+阅读 · 2017年12月14日
独家 | 一文读懂贝叶斯分类算法(附学习资源)
数据派THU
7+阅读 · 2017年12月7日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
从概率论到多分类问题:综述贝叶斯统计分类
机器之心
12+阅读 · 2017年9月28日
专栏 | 贝叶斯学习与未来人工智能
机器之心
10+阅读 · 2017年9月19日
Arxiv
6+阅读 · 2019年4月8日
Parsimonious Bayesian deep networks
Arxiv
5+阅读 · 2018年10月17日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
3+阅读 · 2018年6月24日
Arxiv
11+阅读 · 2018年4月25日
VIP会员
相关资讯
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
浅谈贝叶斯和MCMC
AI100
14+阅读 · 2018年6月11日
条件概率和贝叶斯公式 - 图解概率 03
遇见数学
10+阅读 · 2018年6月5日
再谈变分自编码器VAE:从贝叶斯观点出发
PaperWeekly
13+阅读 · 2018年4月2日
一文读懂贝叶斯分类算法(附学习资源)
大数据文摘
12+阅读 · 2017年12月14日
独家 | 一文读懂贝叶斯分类算法(附学习资源)
数据派THU
7+阅读 · 2017年12月7日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
从概率论到多分类问题:综述贝叶斯统计分类
机器之心
12+阅读 · 2017年9月28日
专栏 | 贝叶斯学习与未来人工智能
机器之心
10+阅读 · 2017年9月19日
相关论文
Arxiv
6+阅读 · 2019年4月8日
Parsimonious Bayesian deep networks
Arxiv
5+阅读 · 2018年10月17日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
3+阅读 · 2018年6月24日
Arxiv
11+阅读 · 2018年4月25日
Top
微信扫码咨询专知VIP会员