为了从最能区分类的高维数据中学习内在的低维结构，我们提出了最大编码率降低原理(MCR2)，这是一种信息理论度量，可以最大限度地提高整个数据集和每个类的编码率差。明确了它与交叉熵、信息瓶颈、信息增益、压缩学习和对比学习等现有框架的关系，为学习多样性和有判别性表示提供了理论保障。该编码率可以从简并类子空间分布的有限样本中精确地计算出来，并且可以统一地学习有监督、自监督和无监督三种情况下的本征表示。特别地，单独使用该原理学习的表示比使用交叉熵学习的表示在分类中标记错误时具有更强的鲁棒性，并且可以在自学习不变特征聚类混合数据方面产生最先进的结果。
成为VIP会员查看完整内容
Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction
相关内容
表示学习是通过利用训练数据来学习得到向量表示，这可以克服人工方法的局限性。 表示学习通常可分为两大类，无监督和有监督表示学习。大多数无监督表示学习方法利用自动编码器（如去噪自动编码器和稀疏自动编码器等）中的隐变量作为表示。 目前出现的变分自动编码器能够更好的容忍噪声和异常值。 然而，推断给定数据的潜在结构几乎是不可能的。 目前有一些近似推断的策略。 此外，一些无监督表示学习方法旨在近似某种特定的相似性度量。提出了一种无监督的相似性保持表示学习框架，该框架使用矩阵分解来保持成对的DTW相似性。 通过学习保持DTW的shaplets，即在转换后的空间中的欧式距离近似原始数据的真实DTW距离。有监督表示学习方法可以利用数据的标签信息，更好地捕获数据的语义结构。 孪生网络和三元组网络是目前两种比较流行的模型，它们的目标是最大化类别之间的距离并最小化了类别内部的距离。
Arxiv
4+阅读 · 2019年11月5日
Arxiv
8+阅读 · 2018年3月5日
相关主题
相关VIP内容
相关资讯
相关论文
Arxiv
4+阅读 · 2019年11月5日
Arxiv
8+阅读 · 2018年3月5日
微信扫码咨询专知VIP会员