从机器人控制到资源管理,许多现实世界问题都可以被有效地表述为优化问题。近年来的研究重点逐渐转向将这些优化问题作为层(optimization layers)嵌入深度学习管线,从而能够显式地引入辅助约束或代价函数。这一机制对于需要强制满足物理定律、确保安全约束或优化复杂目标的应用至关重要。然而,这类优化层也带来了诸多挑战,包括推理效率低下、训练动态不稳定、建模不精确以及表示效率不足等问题,必须加以解决,才能充分发挥其潜力。 我们系统地研究了这些挑战,并提出了一系列新的数值方法与体系结构解决方案,以提升优化层在深度学习管线中的效率与效果。我们的贡献包括: * 计算效率提升方法:利用优化问题的迭代特性来加速求解过程; * 梯度偏差与方差控制:在高维问题中通过并行化与网络学习到的系统先验(network-learnt priors)来缓解梯度不稳定; * 强化学习中的样本效率提升:利用近似仿真器改进策略学习效率; * 复杂约束优化层的表征改进:在优化器状态与网络输出之间建立紧密的反馈回路,从而增强模型的可表达性与稳定性。

我们在多个应用场景中验证了这些贡献,包括输入优化问题、三维姿态估计与重建、可微模型预测控制(differentiable model predictive control)以及强化学习任务。此外,我们还提出了一种用于纳卫星(nanosatellite)视觉惯性导航的新方法,展示了在复杂现实环境中集成优化层的实际优势。 总体而言,这些研究成果深化了我们对在深度学习模型中集成优化层所面临的复杂性与潜在机遇的理解,提出了新的框架与洞见,从而在多种复杂任务中显著提升了模型的效率、稳定性与泛化能力。

成为VIP会员查看完整内容
0

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【UFPE大学博士论文】基于熵损失的鲁棒深度学习
专知会员服务
43+阅读 · 2022年11月11日
【MIT博士论文】数据高效强化学习,176页pdf
最新《动态网络嵌入》综述论文,25页pdf
专知
37+阅读 · 2020年6月17日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
15+阅读 · 2018年9月20日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Arxiv
171+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
484+阅读 · 2023年3月31日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
微信扫码咨询专知VIP会员