Geoffrey Hinton最新SIGIR2020视频报告: 下一代神经网络-无监督对比学习

Geoffrey Hinton SIGIR2020报告：下一代深度神经网络，不得不看！

第43届国际 “信息检索研究与发展” 年会（SIGIR 2020）计划7月25日-30日在西安召开（会议官网：https://sigir.org/sigir2020/），这是该会议继2011年首次在中国北京举办之后，再次回到中国。今年的会议由于受疫情影响，改成线上会议模式，面向全球直播（在线会议网站：https://sigir-schedule.baai.ac.cn/）。

人工神经网络中最重要的未解决问题是如何像大脑一样有效地进行无监督学习。目前无监督学习主要有两种方法。在第一种方法中，以BERT和变分自编码器为例，使用深度神经网络重构其输入。这对于图像来说是有问题的，因为网络的最深层需要对图像的细节进行编码。另一种方法是由Becker和Hinton在1992年提出的，即训练一个深度神经网络的两个副本，当输入相同图像的两种不同作物时，产生具有高互信息的输出向量。这种方法被设计为允许表示不受输入无关细节的约束。

Becker和Hinton使用的优化相互信息的方法是有缺陷的(我将解释一个微妙的原因)，所以Pacannaro和Hinton用一个有区别的目标代替了它，其中一个向量表示必须从众多选择中选择一个对应的向量表示。随着硬件速度的提高，对比表示学习最近变得非常流行，并且被证明是非常有效的，但是它存在一个主要的缺陷:要学习具有N比特互信息的表示向量对，我们需要对比正确的对应向量和大约2 N个错误的替代。我将描述一种新颖而有效的方法来处理这一局限性。我也会展示这导致了一种简单的方式在大脑皮层中执行感知学习。

https://sigir.org/sigir2020/keynotes/

视频：

关键内容摘要：

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“NGNN” 可以获取《Geoffrey Hinton最新SIGIR2020视频报告：下一代神经网络-无监督对比学习》资料专知下载链接索引

专 · 知

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看5000+AI主题知识资料