【牛津大学博士论文】神经网络中的无监督学习和连续学习，153页pdf

几十年来，研究人员一直在追求一个雄心勃勃的目标:设计出能够像人类一样有效地解决问题的计算机模型。人工神经网络——一种通用的、可优化的模型，最初是受到大脑中的生物神经元的启发——似乎提供了一个有希望的答案。然而，当前模型的一个重大限制是，它们往往只可靠地精通它们明确训练过的任务和数据集。如果正在训练多个任务或数据集，则需要适当地混合和平衡样本，以便在连续批次的训练中不会导致前批次学习到的知识的遗忘，这是持续学习的障碍。此外，需要通过成对的输入目标样本使训练网络的关联明确，以实现其在期望任务上的最佳性能;当网络在没有明确目标的情况下以无监督方式进行训练时，为了减少数据收集的成本，网络学到的知识迁移到期望任务的效果明显差于具有明确关联的有监督训练。

所有这些问题都与基本的泛化问题有关，泛化是指尽管面向新类但仍能表现良好的能力。在第二章中，我们讨论了在有监督、无监督和持续学习环境下，可以预期产生良好泛化的条件，包括小模型大小和训练和测试数据之间的相似性。第三章提出了一种预测模型何时不能泛化到测试样本的方法，推导出泛化边界，利用模型大小和与训练数据的相似度来量化预测的可靠性。第四章介绍了一种聚类方法，该方法学习了如何在语义概念之间近似地分离数据，使用的是非监督目标不使用手动标签。第五章包含了一种不需要专门训练数据就可以执行目标定位任务的方法，即通过重新利用显著性映射。第6章包含了一个持续学习的方法，在这个方法中，模型被迫重新考虑之前的知识与新知识并行，第7章使用了一个动态架构来抑制新学习片段对旧知识的干扰。如果没有这些泛化问题的解决方案，神经网络就无法从自然顺序的、没有注释的现实世界数据中实时有效地学习，这限制了它们的部署选项。因此，泛化是一个具有巨大实际意义的问题，从理论上和从生物学启发学习的角度来看都很有趣。

https://ora.ox.ac.uk/objects/uuid:2d7f8f92-d730-40a5-a47c-0acd0998f0d0