【NeurIPS2020】通过最大编码率降低原理学习多样和有判别性的表示

为了从最能区分类的高维数据中学习内在的低维结构，我们提出了最大编码率降低原理(MCR2)，这是一种信息理论度量，可以最大限度地提高整个数据集和每个类的编码率差。明确了它与交叉熵、信息瓶颈、信息增益、压缩学习和对比学习等现有框架的关系，为学习多样性和有判别性表示提供了理论保障。该编码率可以从简并类子空间分布的有限样本中精确地计算出来，并且可以统一地学习有监督、自监督和无监督三种情况下的本征表示。特别地，单独使用该原理学习的表示比使用交叉熵学习的表示在分类中标记错误时具有更强的鲁棒性，并且可以在自学习不变特征聚类混合数据方面产生最先进的结果。

https://www.zhuanzhi.ai/paper/fb91343d453aad8707064021f94bb9de

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“MCR2” 可以获取《【NeurIPS2020】通过最大编码率降低原理学习多样和有判别性的表示》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源