Geoffrey Hinton最新SIGIR2020视频报告：下一代神经网络-无监督对比学习

人工神经网络中最重要的未解决问题是如何像大脑一样有效地进行无监督学习。目前无监督学习主要有两种方法。在第一种方法中，以BERT和变分自编码器为例，使用深度神经网络重构其输入。这对于图像来说是有问题的，因为网络的最深层需要对图像的细节进行编码。另一种方法是由Becker和Hinton在1992年提出的，即训练一个深度神经网络的两个副本，当输入相同图像的两种不同作物时，产生具有高互信息的输出向量。这种方法被设计为允许表示不受输入无关细节的约束。

Becker和Hinton使用的优化相互信息的方法是有缺陷的(我将解释一个微妙的原因)，所以Pacannaro和Hinton用一个有区别的目标代替了它，其中一个向量表示必须从众多选择中选择一个对应的向量表示。随着硬件速度的提高，对比表示学习最近变得非常流行，并且被证明是非常有效的，但是它存在一个主要的缺陷:要学习具有N比特互信息的表示向量对，我们需要对比正确的对应向量和大约2 N个错误的替代。我将描述一种新颖而有效的方法来处理这一局限性。我也会展示这导致了一种简单的方式在大脑皮层中执行感知学习。

https://sigir.org/sigir2020/keynotes/