【普林斯顿博士论文】深度学习中的模型和数据效率，177页pdf

**随着大型模型的发展以及数据的爆炸性增长和可用性，深度学习在众多现实应用中取得了巨大而广泛的突破。**然而，深度学习模型通常具有过高的计算和内存成本，不适合在移动设备或边缘设备上进行实际部署。此外，深度学习模型面临着学习和快速适应的挑战，从只有几个例子来解决新的任务。因此，本文提出了学习计算效率高的模型架构的技术和提高少样本学习能力的方法。**我们从子空间分析方法及其在特征选择问题中的应用开始。然后将这些方法扩展到深度神经网络结构学习(deep neural network structural learning, SL)中，目的是减少冗余参数，以获得能够保持甚至提高精度的最优降维模型。**还介绍了基于混合剪枝-再生长技术的更高效的SL方法和可以跨更多维度降低模型的更通用的SL方法。除了静态模型设计之外，本文还提出了动态神经网络方法，可以在推理过程中根据不同的输入动态调整模型权重和结构，以控制计算效率并提高表示能力。除了模型效率外，还提出了训练模型的技术，可以从几个例子中快速泛化。本文提出一种少样本架构自适应方法，通过元学习一个任务感知架构控制器，为不同的少样本任务定制特定于任务的模型结构。与传统的NAS方法需要对每个新任务进行单独的搜索成本不同，所提出方法在一次性元训练成本后，在几分钟内从GPU数据集中直接生成特定于任务的模型结构。最后，提出了一种基于语言辅助表示的掩码图像预训练的跨模态自监督学习框架。由此产生的模型产生了高质量的可迁移表示，提高了许多计算机视觉任务的准确性，并对对抗性/分布外样本表现出强大的鲁棒性。所产生的模型适用于结构学习以获得更大的计算效率，也适用于低资源任务适应以获得更好的数据效率。

https://dataspace.princeton.edu/handle/88435/dsp01p8418r442