【NeurIPS2021】非凸从动件的基于梯度的双层优化

该论文题为Towards Gradient-based Bilevel Optimization with Non-convex Followers and Beyond，从新的视角来构造逼近框架，设计了Initialization Auxiliary and Pessimistic Trajectory Truncated Gradient Method (IAPTT-GM)，解决下层非凸问题。具体来说，针对下层非凸结构特点，设计梯度下降迭代模块，利用迭代初始点作为额外的控制元（Initialization Auxiliary），构造对下层最优解的逼近；另一方面，从理论分析与降低计算负担两个角度，在外层迭代中引入（Pessimistic Trajectory Truncation）机制，构造对上层目标的有效逼近。在基于元学习的小样本分类任务与超参数优化数据超清洗任务上，论文验证了当下层问题有非凸结构时，IAPTT-GM与现有流行算法相比，具有明显的优势。

https://www.zhuanzhi.ai/paper/67ba4c9895d646ab8376a36ebbd0e9db