In Nonequilibrium Thermodynamics and Information Theory, the relative entropy (or, KL divergence) plays a very important role. Consider a H\"older Jacobian $J$ and the Ruelle (transfer) operator $\mathcal{L}_{\log J}.$ Two equilibrium probabilities $\mu_1$ and $\mu_2$, can interact via a discrete-time {\it Thermodynamic Operation} described by the action {\it of the dual of the Ruelle operator} $ \mathcal{L}_{\log J}^*$. We argue that the law $\mu \to \mathcal{L}_{\log J}^*(\mu)$, producing nonequilibrium, can be seen as a Thermodynamic Operation after showing that it's a manifestation of the Second Law of Thermodynamics. We also show that the change of relative entropy satisfies $$ D_{K L} (\mu_1,\mu_2) - D_{K L} (\mathcal{L}_{\log J}^*(\mu_1),\mathcal{L}_{\log J}^*(\mu_2))= 0.$$ Furthermore, we describe sufficient conditions on $J,\mu_1$ for getting $h(\mathcal{L}_{\log J}^*(\mu_1))\geq h(\mu_1)$, where $h$ is entropy. Recalling a natural Riemannian metric in the Banach manifold of H\"older equilibrium probabilities we exhibit the second-order Taylor formula for an infinitesimal tangent change of KL divergence; a crucial estimate in Information Geometry. We introduce concepts like heat, work, volume, pressure, and internal energy, which play here the role of the analogous ones in Thermodynamics of gases. We briefly describe the MaxEnt method.


翻译:在 Nonequiliblium 热力学和信息理论中, 相对的恒温值( 或, KL 差异) 扮演着非常重要的角色 。 我们认为H\" older Jacobian $J$ 和Ruelle( 传输) 运算 $\ mathcal{L\ log J}. 美元 两个平衡概率 $\ mu_ 1美元 和 $\ mu_ 2美元 。 在显示它代表热力学第二定律之后, 可以通过一个离散时间“ 热力操作 ” 来互动 。 由 Ruele 操作的双倍动作来描述 $ ( 或, 或, KL 差 ) $ ( mu_ ) 美元 。 我们认为, 法律 $\ commusal =L\ ral_ mologal_ mologyal_ ral_ $1, ral\\\\\\\\\\\\\ ma\ rodeal deal disal_ rational_ rational_ ral_ ral_ ral_ ral_ ral_ ral_ a_ h_ ral_ ral_ h_ h_ l_ l_ ral_ ral_ i) i) ral_ disal_ h_ h_ i) i) ral_ ral_ h=xxxxxxxxxxx= a a 。 我们。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
71+阅读 · 2020年8月2日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
【新书】Python编程基础,669页pdf
专知会员服务
194+阅读 · 2019年10月10日
图神经网络库PyTorch geometric
图与推荐
17+阅读 · 2020年3月22日
revelation of MONet
CreateAMind
5+阅读 · 2019年6月8日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Strong entanglement distribution of quantum networks
Arxiv
0+阅读 · 2021年9月27日
Arxiv
0+阅读 · 2021年9月22日
Arxiv
3+阅读 · 2018年10月18日
VIP会员
相关资讯
图神经网络库PyTorch geometric
图与推荐
17+阅读 · 2020年3月22日
revelation of MONet
CreateAMind
5+阅读 · 2019年6月8日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员