The Free-Energy-Principle (FEP) is an influential and controversial theory which postulates a deep and powerful connection between the stochastic thermodynamics of self-organization and learning through variational inference. Specifically, it claims that any self-organizing system which can be statistically separated from its environment, and which maintains itself at a non-equilibrium steady state, can be construed as minimizing an information-theoretic functional -- the variational free energy -- and thus performing variational Bayesian inference to infer the hidden state of its environment. This principle has also been applied extensively in neuroscience, and is beginning to make inroads in machine learning by spurring the construction of novel and powerful algorithms by which action, perception, and learning can all be unified under a single objective. While its expansive and often grandiose claims have spurred significant debates in both philosophy and theoretical neuroscience, the mathematical depth and lack of accessible introductions and tutorials for the core claims of the theory have often precluded a deep understanding within the literature. Here, we aim to provide a mathematically detailed, yet intuitive walk-through of the formulation and central claims of the FEP while also providing a discussion of the assumptions necessary and potential limitations of the theory. Additionally, since the FEP is a still a living theory, subject to internal controversy, change, and revision, we also present a detailed appendix highlighting and condensing current perspectives as well as controversies about the nature, applicability, and the mathematical assumptions and formalisms underlying the FEP.


翻译:自由能源原则(FEP)是一个具有影响力和争议性的理论,它假定自我组织和通过变推论学习的随机热动力学和热力学之间有着深刻和强大的联系。 具体地说,它声称,任何在统计上可以与其环境分离的自我组织系统,并且维持在非平衡稳定状态的自我组织系统,都可以被解释为最大限度地减少信息理论功能 -- -- 变异自由能源 -- -- 并因此对推断其环境的隐蔽状态进行不同的巴耶斯推理。 这一原则在神经科学中也得到了广泛应用,并且正在通过推动构建新的和强大的算法,使行动、认知和学习都能够在单一的目标下统一起来。 虽然其扩张性和通常宏大的主张在哲学和理论神经科学中引起了重大的辩论,数学深度和缺乏可获取的介绍和教义,从而往往无法在文献中深入理解。 我们的目的是通过构建一个数学和强大的数学视角学习,同时提供当前、深入的理论的理论性推理学理论, 也是我们目前对EP的理论的理论的理论的理论的理性,作为核心的推理判, 和理论的理论的理论的争论,作为我们目前和理论的理论的理论的理论的推理論的争论, 的争论的争论的争论,作为现在的理论的争论, 的理论的理论的理论的争论, 的争论的争论, 也是, 的理论的理论的理论的推论论的理论的推论的推论的推论, 的推论, 的推论的推论的推论的推论,作为我们的推论的推论的推论的推论的推论的推论的推论的推论的推论的推论的推论的推论的推论的推论的推论的推论的推论的推论,我们的推论的推论,我们的推论, 的推论, 的推论的推论的推论和推论,作为的推论,作为的推论,作为的推论,作为的推论,作为的推论,作为的推论,作为的推论的推论的推论的推论的推论的推论的推论的推论的推论的推论,我们的推论的推论的推论的推论的推论

0
下载
关闭预览

相关内容

应用机器学习书稿,361页pdf
专知会员服务
58+阅读 · 2020年11月24日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】免费书(草稿):数据科学的数学基础
机器学习研究会
20+阅读 · 2017年10月1日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
11+阅读 · 2021年3月25日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
Arxiv
4+阅读 · 2018年4月30日
VIP会员
相关VIP内容
应用机器学习书稿,361页pdf
专知会员服务
58+阅读 · 2020年11月24日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】免费书(草稿):数据科学的数学基础
机器学习研究会
20+阅读 · 2017年10月1日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员