We study two dual settings of information processing. Let $ \mathsf{Y} \rightarrow \mathsf{X} \rightarrow \mathsf{W} $ be a Markov chain with fixed joint probability mass function $ \mathsf{P}_{\mathsf{X}\mathsf{Y}} $ and a mutual information constraint on the pair $ (\mathsf{W},\mathsf{X}) $. For the first problem, known as Information Bottleneck, we aim to maximize the mutual information between the random variables $ \mathsf{Y} $ and $ \mathsf{W} $, while for the second problem, termed as Privacy Funnel, our goal is to minimize it. In particular, we analyze the scenario for which $ \mathsf{X} $ is the input, and $ \mathsf{Y} $ is the output of modulo-additive noise channel. We provide analytical characterization of the optimal information rates and the achieving distributions.


翻译:我们研究两个信息处理的双重设置。 让我们研究 $\ mathsf{Y}\ rightrow \ mathsf{X}\ rightrow \ mathsf{W} $ 是一个具有固定联合概率质量函数的Markov 链 $\ mathsf{P ⁇ mathsf{X}Y$ 和对一对美元(\ mathsf{W},\ mathsf{X} $ ) 的相互信息限制。 对于第一个问题, 称为信息瓶子, 我们的目标是尽可能扩大随机变量 $\ mathsf{Y} $ 和 $\ mathsf{W} 之间的相互信息, 而对于第二个问题, 被称为隐私富奈尔, 我们的目标是尽可能减少它。 特别是, 我们分析一种假设, $\mathsf{X} 是输入, $\ mathsf{X} 和 $\ mathsf{Y} $ 。 对于第一个问题, 我们的目标是提供最佳信息率和分布的分析定性。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
专知会员服务
50+阅读 · 2020年12月14日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
【新书】Python编程基础,669页pdf
专知会员服务
192+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
已删除
AI科技评论
4+阅读 · 2018年8月12日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年11月26日
Arxiv
0+阅读 · 2021年11月25日
Arxiv
0+阅读 · 2021年11月24日
Arxiv
6+阅读 · 2021年10月26日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
已删除
AI科技评论
4+阅读 · 2018年8月12日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
0+阅读 · 2021年11月26日
Arxiv
0+阅读 · 2021年11月25日
Arxiv
0+阅读 · 2021年11月24日
Arxiv
6+阅读 · 2021年10月26日
Arxiv
3+阅读 · 2017年12月1日
Top
微信扫码咨询专知VIP会员