项目名称: 非光滑约束优化束方法和梯度取样法研究

项目编号: No.11301095

项目类型: 青年科学基金项目

立项/批准年度: 2014

项目学科: 数理科学和化学

项目作者: 唐春明

作者单位: 广西大学

项目金额: 22万元

中文摘要: 非光滑优化是最优化研究的重要分支,不仅有重要的理论意义,而且广泛应用于最优控制、工程设计和图像处理等实际领域。本项目研究求解非光滑约束优化的束方法和梯度取样(GS)法。研究内容与创新主要有:(1)基于"上-下"多面体近似模型、DC分片仿射模型、二次逼近模型及bundle修正策略等,提出求解非光滑约束优化的新型束方法;(2)构建非光滑约束优化的强次可行GS方法、内点型GS方法、信赖域型GS方法和filter型GS方法,并利用无导数技术、梯度近似技术和自适应技术等,对提出方法进一步改进,旨在减少计算量、加快收敛速度;(3)探索将GS思想融入到束方法中,提出一类新型非光滑方法:GS-束方法;(4)针对minimax问题的特殊结构,结合增量型技术、无导数技术、聚集技术和多面体近似技术等,提出约束minimax问题的束方法和GS方法;(5)分析论证算法的收敛性,并进行大量数值试验,验证算法的有效性。

中文关键词: 非光滑优化;束方法;极大极小;割平面模型;全局收敛

英文摘要: Nonsmooth optimization is an important branch of optimization studies. It not only has important theoretical value, but also is widely used in practical problems, such as optimal control, engineering design and image processing, etc. This project studies the bundle methods and gradient sampling (GS) methods for solving nonsmooth constrained optimization. The research contents and innovation are: (1) to propose new bundle methods for solving nonsmooth constrained optimization based on upper-lower polyhedral approximation model, DC piecewise affine model, quadratic approximation model and bundle modification strategy, etc; (2) to design strongly sub-feasible GS method, interior point GS method, trust region GS method and filter GS method for nonsmooth constrained optimization, and to improve the proposed methods by the use of nonderivative technique, gradient approximation technique and adaptive technique, in order to reduce the computational cost and accelerate the rate of convergence; (3) to present a new class of nonsmooth method: GS-bundle method by incorporating GS idea into bundle methods; (4) aiming at the special structure of minimax problems, to propose new bundle methods and GS methods for solving constrained minimax problems by combining the incremental technique, nonderivative technique, aggregation t

英文关键词: Nonsmooth optimization;Bundle method;Minmimax;Cutting-planes model;Global convergence

成为VIP会员查看完整内容
0

相关内容

图像分类的深度卷积神经网络模型综述
专知会员服务
56+阅读 · 2021年10月29日
专知会员服务
12+阅读 · 2021年10月12日
专知会员服务
55+阅读 · 2021年9月18日
【开放书】《矩阵流形优化算法》,241页pdf
专知会员服务
93+阅读 · 2021年7月3日
专知会员服务
29+阅读 · 2021年4月12日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
108+阅读 · 2020年12月18日
专知会员服务
73+阅读 · 2020年12月7日
《常微分方程》笔记,419页pdf
专知会员服务
71+阅读 · 2020年8月2日
专知会员服务
42+阅读 · 2020年7月29日
积分梯度:一种归因分析方法
极市平台
1+阅读 · 2022年3月17日
多任务学习漫谈:行梯度之事
PaperWeekly
0+阅读 · 2022年2月18日
综述:图像滤波常用算法实现及原理解析
极市平台
0+阅读 · 2022年1月29日
交替方向乘子法(ADMM)算法原理详解
PaperWeekly
3+阅读 · 2022年1月21日
SquarePlus:可能是运算最简单的ReLU光滑近似
PaperWeekly
0+阅读 · 2022年1月20日
正则化方法小结
极市平台
2+阅读 · 2021年11月24日
用狄拉克函数来构造非光滑函数的光滑近似
PaperWeekly
0+阅读 · 2021年10月23日
约束进化算法及其应用研究综述
专知
0+阅读 · 2021年4月12日
【优博微展2019】李志泽:简单快速的机器学习优化方法
清华大学研究生教育
14+阅读 · 2019年10月8日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Convex-Concave Min-Max Stackelberg Games
Arxiv
0+阅读 · 2022年4月19日
Arxiv
15+阅读 · 2021年2月19日
Arxiv
10+阅读 · 2018年4月19日
小贴士
相关VIP内容
图像分类的深度卷积神经网络模型综述
专知会员服务
56+阅读 · 2021年10月29日
专知会员服务
12+阅读 · 2021年10月12日
专知会员服务
55+阅读 · 2021年9月18日
【开放书】《矩阵流形优化算法》,241页pdf
专知会员服务
93+阅读 · 2021年7月3日
专知会员服务
29+阅读 · 2021年4月12日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
108+阅读 · 2020年12月18日
专知会员服务
73+阅读 · 2020年12月7日
《常微分方程》笔记,419页pdf
专知会员服务
71+阅读 · 2020年8月2日
专知会员服务
42+阅读 · 2020年7月29日
相关资讯
积分梯度:一种归因分析方法
极市平台
1+阅读 · 2022年3月17日
多任务学习漫谈:行梯度之事
PaperWeekly
0+阅读 · 2022年2月18日
综述:图像滤波常用算法实现及原理解析
极市平台
0+阅读 · 2022年1月29日
交替方向乘子法(ADMM)算法原理详解
PaperWeekly
3+阅读 · 2022年1月21日
SquarePlus:可能是运算最简单的ReLU光滑近似
PaperWeekly
0+阅读 · 2022年1月20日
正则化方法小结
极市平台
2+阅读 · 2021年11月24日
用狄拉克函数来构造非光滑函数的光滑近似
PaperWeekly
0+阅读 · 2021年10月23日
约束进化算法及其应用研究综述
专知
0+阅读 · 2021年4月12日
【优博微展2019】李志泽:简单快速的机器学习优化方法
清华大学研究生教育
14+阅读 · 2019年10月8日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员