图灵奖Geoffrey Hinton最新斯坦福演讲《什么是GLOM？如何在神经网络中表示部分-整体层次》 涵盖神经场对比学习等

深度学习三巨头之一，2018年度图灵奖获得者Geoffrey Hinton近日在arXiv上发表了一篇只包含idea，没有任何实验的44页长文，文章致力于将Transformer、Contrastive representation learning、Capsule等前沿技术结合起来，提出了一个名为GLOM的系统，旨在回答“神经网络如何将不同输入图像动态解析为对应的局部-整体层次结构”这一关键问题，本文将对论文进行深入讲解，帮助大家了解GLOM系统的前世今生。

「这篇论文并没有描述一个已经在运行的系统。它只描述了一个有关表示的单一想法， 允许将几个不同的小组所取得的进步组合到一个称为 GLOM 的假想系统中。这些进步包含。GLOM 回答了一个问题：具有固定架构的神经网络如何将图像解析为部分 - 整体的层次结构，而每个图像的层次结构又都不同？

本论文描述了一种非常不同的方法，使用胶囊来表示神经网络中的部分 - 整体层次结构。

尽管本文主要关注单个静态图像的感知，但将 GLOM 看作一个处理帧序列的 pipeline 是最容易理解的，因此一张静态图像将被视为一些相同帧组成的序列。 GLOM 架构是由大量使用相同权重的列组成的。每一列都是空间局部自编码器的堆栈，这些编码器学习在一个小图像 patch 中出现的多级表示。每个自动编码器使用多层自底向上编码器和多层自顶向下解码器将某一层级上的嵌入转换为相邻层级上的嵌入。这些层级与部分 - 整体层次结构中的层级相对应。例如，当显示一张脸的图像时，单个列可能会收敛到表示鼻孔、鼻子、脸和人的嵌入向量上。图 1 显示了不同层级的嵌入如何在单个列中交互。