约束优化已经成为一个很好的研究领域,有一些强大的技术可以解决该领域的一般问题。在这本书中,考虑了一类特殊的约束,称为几何约束,它表示优化问题的解在流形上。这是一个最近的研究领域,它为更一般的约束优化方法提供了强大的替代方案。经典的约束优化技术适用于比流形大得多的嵌入式空间。因此,在流形上工作的优化算法具有较低的复杂性,而且通常还具有更好的数值特性(例如,保持能量等不变量的数值积分方案)。作者将此称为受限搜索空间中的无约束优化。

可以用流形来描述差分方程或微分方程的思想起源于布罗克特、弗拉施卡和鲁提肖瑟的工作。例如,他们描述了等谱流,这些流产生的时变矩阵彼此相似,最终收敛到有序特征值的对角矩阵。这些想法在数值线性代数领域没有像在动力系统领域那样得到那么多的关注,因为由此产生的差分和微分方程并没有立即导致有效的算法实现。

这本书对发展高阶优化技术的微分几何的进行了深入的介绍,但它仍然成功地用简单的想法解释复杂的概念。这些思想随后被用于发展牛顿型方法以及其他超线性方法,如信赖域方法和非精确和准牛顿方法,这些方法更加强调概念算法的高效数值实现。

成为VIP会员查看完整内容
92

相关内容

专知会员服务
99+阅读 · 2021年8月23日
专知会员服务
78+阅读 · 2021年5月4日
【经典书】信息论原理,774页pdf
专知会员服务
238+阅读 · 2021年3月22日
【干货书】机器学习优化,509页pdf
专知会员服务
143+阅读 · 2021年2月26日
专知会员服务
134+阅读 · 2020年12月3日
【经典书】微积分导论第二卷,632页pdf
专知会员服务
72+阅读 · 2020年11月5日
专知会员服务
199+阅读 · 2020年9月1日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
最新《图嵌入组合优化》综述论文,40页pdf
从动力学角度看优化算法:自适应学习率算法
PaperWeekly
8+阅读 · 2018年12月27日
入门 | 深度学习模型的简单优化技巧
机器之心
9+阅读 · 2018年6月10日
Arxiv
0+阅读 · 2021年9月3日
OnlineSTL: Scaling Time Series Decomposition by 100x
Learning Dynamic Routing for Semantic Segmentation
Arxiv
8+阅读 · 2020年3月23日
Arxiv
20+阅读 · 2019年11月24日
Arxiv
15+阅读 · 2019年9月30日
Real-time Scalable Dense Surfel Mapping
Arxiv
5+阅读 · 2019年9月10日
Efficient and Effective $L_0$ Feature Selection
Arxiv
5+阅读 · 2018年8月7日
Arxiv
3+阅读 · 2018年5月20日
VIP会员
相关VIP内容
专知会员服务
99+阅读 · 2021年8月23日
专知会员服务
78+阅读 · 2021年5月4日
【经典书】信息论原理,774页pdf
专知会员服务
238+阅读 · 2021年3月22日
【干货书】机器学习优化,509页pdf
专知会员服务
143+阅读 · 2021年2月26日
专知会员服务
134+阅读 · 2020年12月3日
【经典书】微积分导论第二卷,632页pdf
专知会员服务
72+阅读 · 2020年11月5日
专知会员服务
199+阅读 · 2020年9月1日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
相关论文
Arxiv
0+阅读 · 2021年9月3日
OnlineSTL: Scaling Time Series Decomposition by 100x
Learning Dynamic Routing for Semantic Segmentation
Arxiv
8+阅读 · 2020年3月23日
Arxiv
20+阅读 · 2019年11月24日
Arxiv
15+阅读 · 2019年9月30日
Real-time Scalable Dense Surfel Mapping
Arxiv
5+阅读 · 2019年9月10日
Efficient and Effective $L_0$ Feature Selection
Arxiv
5+阅读 · 2018年8月7日
Arxiv
3+阅读 · 2018年5月20日
微信扫码咨询专知VIP会员