We study two dual settings of information processing. Let $ \mathsf{Y} \rightarrow \mathsf{X} \rightarrow \mathsf{W} $ be a Markov chain with fixed joint probability mass function $ \mathsf{P}_{\mathsf{X}\mathsf{Y}} $ and a mutual information constraint on the pair $ (\mathsf{W},\mathsf{X}) $. For the first problem, known as Information Bottleneck, we aim to maximize the mutual information between the random variables $ \mathsf{Y} $ and $ \mathsf{W} $, while for the second problem, termed as Privacy Funnel, our goal is to minimize it. In particular, we analyze the scenario for which $ \mathsf{X} $ is the input, and $ \mathsf{Y} $ is the output of modulo-additive noise channel. We provide analytical characterization of the optimal information rates and the achieving distributions.
翻译:我们研究两个信息处理的双重设置。 让我们研究 $\ mathsf{Y}\ rightrow \ mathsf{X}\ rightrow \ mathsf{W} $ 是一个具有固定联合概率质量函数的Markov 链 $\ mathsf{P ⁇ mathsf{X}Y$ 和对一对美元(\ mathsf{W},\ mathsf{X} $ ) 的相互信息限制。 对于第一个问题, 称为信息瓶子, 我们的目标是尽可能扩大随机变量 $\ mathsf{Y} $ 和 $\ mathsf{W} 之间的相互信息, 而对于第二个问题, 被称为隐私富奈尔, 我们的目标是尽可能减少它。 特别是, 我们分析一种假设, $\mathsf{X} 是输入, $\ mathsf{X} 和 $\ mathsf{Y} $ 。 对于第一个问题, 我们的目标是提供最佳信息率和分布的分析定性。