【IJCAI2025教程】基于梯度的多目标深度学习，221页ppt

概述

深度学习模型的评估往往需要在多个准则之间进行权衡。本教程系统性地概述了用于深度学习模型的**基于梯度的多目标优化（Multi-Objective Optimization, MOO）方法。我们将从基础理论出发，系统探讨三类核心求解策略：寻找单一的平衡解、获得一组离散的帕累托最优解，以及学习连续的帕累托解集。教程将涵盖这些方法的算法细节、收敛性分析以及泛化能力。 在教程的后半部分，我们将重点讨论 MOO 在大语言模型（LLMs）**中的应用。我们将展示 MOO 如何为微调与对齐提供一个有原则的框架，从而有效应对多目标之间的权衡。通过对最前沿方法的实际演示，参与者将能够获得有价值的见解。教程最后将讨论新兴挑战与未来研究方向，为与会者提供应对多目标问题的工具与思路。 本教程基于我们的综述论文 《基于梯度的多目标深度学习：算法、理论、应用及未来展望》。 https://gradnexus.github.io/IJCAI25_tutorial/