【斯坦福博士论文】时序平滑性假设下的深度神经网络自适应与正则化方法

深度神经网络在过去十年中虽已在各类机器学习任务中展现出卓越性能，但其在资源受限且动态变化的现实环境中的部署仍面临挑战。大规模模型虽精度优异，但其计算需求往往难以满足边缘设备与实时应用的要求；轻量级模型虽效率占优，却在动态域偏移场景下普遍存在鲁棒性与泛化能力不足的问题。这一矛盾在移动医疗等隐私敏感、效率优先且可靠性要求严苛的应用中尤为突出。本论文提出TempT（时序一致性测试时自适应）方法——一种无需标注数据的测试时自适应（TTA）新范式，通过利用时序连贯性作为自监督信号，对连续输入的模型预测施加平滑性约束。该方法通过抑制高频波动，不仅提升了预测稳定性，更显著增强了模型在未知环境中的性能与鲁棒性。该技术在以表情识别、视频目标检测为代表的视频学习任务中效果尤为显著，因其能有效保持帧间一致性。进一步地，我们创新性地将拓扑数据分析（TDA）中的持续同调理论引入模型行为量化领域，通过分析网络中间激活的拓扑特征，开发出选择性自适应策略，使模型能自主判断何时调整有利、何时维持不变。此外，基于时序一致性的新型正则化技术被提出，可同步提升模型泛化能力与域偏移鲁棒性。在AffWild2、SHIFT和CIFAR100P等真实数据集上的实验表明：TempT不仅性能超越现有TTA方法，更使轻量模型达到媲美大型架构的精度水平（如SHIFT数据集上mAP提升4.7%）。本研究弥合了域适应与自监督学习间的鸿沟，为受限环境下的深度学习提供了兼顾鲁棒性、隐私保护与可扩展性的解决方案。