【阿姆斯特丹博士论文】基于生成式神经网络的表示学习

本论文研究了生物感知中生成式表示学习的计算机制，并探索了对经典预测编码（Predictive Coding, PC）模型的生物学可行性扩展。我们围绕表示学习、感官输入因果因素的解缠、与神经动态的一致性以及超越经典预测编码的生成任务变体，提出并探讨了四个关键研究问题。 第 2 章表明，时间统计信息可以作为 PC 网络的归纳偏置（inductive bias），从而实现对输入变换的鲁棒性。对连续输入序列的训练使网络表示中自发形成了层级时间尺度结构，与腹侧视觉通路中观察到的神经动态相一致。训练后的网络具备生成式图像重建能力，即使在遮挡条件下亦能表现出色。 第 3 章提出了一种新颖的 PC 架构，能够将由自我运动引起的视觉光流与外部原因所致的运动模式有效区分。该生物学上可行的模型融合了感知-运动失配电路（sensorimotor mismatch circuits），能够准确地将运动目标从背景中分离出来，其行为与小鼠钙成像实验数据高度一致。 在第 4 章中，我们提出了一种受眼动与灵长类动物中央凹视觉启发的自监督生成任务。基于图像遮蔽建模（masked image modeling）的概念验证模型显示，外围遮蔽可降低潜空间神经元之间的相关性，并在下游分类任务中相较于完整图像自编码方法表现出更优的性能。 综上所述，本研究结果强调了生成式神经网络不仅在图像处理任务中具有强大能力，同时也有潜力解释哺乳动物视觉皮层中的信息处理机制。