【AAAI2021】信息瓶颈和有监督表征解耦

有的有监督解耦方法，比如把中间表征解耦成种类相关的表征和种类无关的表征，大多基于交换生成的经验性框架，缺乏理论指导，无法保证种类相关表征中不包含种类无关的信息。本工作尝试建立信息瓶颈（Information Bottleneck, IB）和有监督解耦之间的联系，为有监督解耦提供理论指导。信息瓶颈是一种从源数据中提取出与任务目标有关信息的方法，一般通过优化权衡压缩项和预测项的IB Lagrangian来实现。现有文献已经指出IB Lagrangian存在的一些问题，比如期望的压缩水平与控制权衡的Lagrangian乘子之间没有因果关联，因此对于IB Lagrangian来说需要多次尝试优化来实现期望目标；其次，我们具体分析了IB Lagrangian中存在的权衡问题，表明了随着压缩程度增大，预测性能是严格减小的。为了克服这些问题，我们一方面期望在不损伤预测性能前提下能够实现最大化压缩，简称为“最大化压缩”；另一方面期望无需多次尝试优化，即模型能够一致地实现最大化压缩。为此，我们首先考察了最大化压缩实现时对应的量化条件，之后对优化目标给出了最大化压缩一致性的性质定义，即只要优化目标满足该性质就能够一致地实现最大化压缩。在此基础上，我们给出我们的方案设计。与现有的IB Lagrangian不同，我们从有监督解耦的角度来实现信息压缩，这是因为我们认为信息压缩与有监督解耦本质上是同一回事：在有监督解耦任务中，需要将源数据中与给定标签有关的信息和其它信息分开，如给定图像的类别标签，将图像信息解耦为类别有关的和类别无关的信息；而类似地，在信息压缩任务中，要将源数据中与给定标签无关的信息丢弃从而实现压缩，同样需要区分出与给定标签有关的信息和与给定标签无关的信息。基于此，我们将有监督解耦与信息压缩相联系，提出了基于解耦的信息瓶颈算法。我们给出了一些结论，同时在多个数据集上验证了这些结论，并验证了所提方法在包括信息压缩等多个评估指标上的性能。