【凸优化】谈非线性规划的一维搜索各种方法!

2018 年 1 月 25 日 机器学习研究会
一维搜索

一维搜索就是目标变量只有一个的时候的最优化问题,又称为单变量函数寻优法。

求解这类问题一般有两种方法,一类是区间收缩法(如黄金分割法),一类是函数逼近法(如三点二次插值法、牛顿法)。下面分别介绍:

2
 单谷函数

定义:如果函数f(x)在区间[a,b]上只有一个极小值点, 则称f(x)为[a,b]上的单谷函数。

单谷函数具有一个重要的消去性质

3
 外推内插法

在一维搜索中的区间收缩法中需要用到单谷区间,而寻找单谷区间的方法就是下面要介绍的外推内插法。

其思路为从某个初始点出发,沿函数值下降的方向前进,直至发现函数值上升为止。而由两边高,中间低的三点,可确定极小点所在的初始区间。

4
黄金分割法

黄金分割法的思想是:反复使用单谷函数的消去性质,不断缩小包含极小点的搜索区间,直到满足精度为止。

该方法的优点是需计算函数值,通用性强。


转自:机器学习算法与自然语言处理


完整内容请点击“阅读原文”

登录查看更多
2

相关内容

【经典书】机器学习:贝叶斯和优化方法,1075页pdf
专知会员服务
401+阅读 · 2020年6月8日
【圣经书】《强化学习导论(2nd)》电子书与代码,548页pdf
专知会员服务
201+阅读 · 2020年5月22日
最新《机器学习理论初探》概述
专知会员服务
42+阅读 · 2020年5月19日
【经典书】机器学习高斯过程,266页pdf
专知会员服务
227+阅读 · 2020年5月2日
【斯坦福新课】CS234:强化学习,附课程PPT下载
专知会员服务
117+阅读 · 2020年1月15日
【斯坦福&Google】面向机器人的机器学习,63页PPT
专知会员服务
23+阅读 · 2019年11月19日
过参数化、剪枝和网络结构搜索
极市平台
17+阅读 · 2019年11月24日
【优博微展2019】李志泽:简单快速的机器学习优化方法
清华大学研究生教育
14+阅读 · 2019年10月8日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
246 页《统计机器学习与凸优化》教程 PPT 下载
新智元
24+阅读 · 2018年9月21日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
R语言之数据分析高级方法「时间序列」
R语言中文社区
17+阅读 · 2018年4月24日
BAT机器学习面试1000题系列(第51~55题)
七月在线实验室
10+阅读 · 2017年10月8日
机器学习算法比较
我爱机器学习
4+阅读 · 2016年12月11日
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
Arxiv
18+阅读 · 2019年1月16日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
Arxiv
6+阅读 · 2018年4月24日
VIP会员
相关VIP内容
【经典书】机器学习:贝叶斯和优化方法,1075页pdf
专知会员服务
401+阅读 · 2020年6月8日
【圣经书】《强化学习导论(2nd)》电子书与代码,548页pdf
专知会员服务
201+阅读 · 2020年5月22日
最新《机器学习理论初探》概述
专知会员服务
42+阅读 · 2020年5月19日
【经典书】机器学习高斯过程,266页pdf
专知会员服务
227+阅读 · 2020年5月2日
【斯坦福新课】CS234:强化学习,附课程PPT下载
专知会员服务
117+阅读 · 2020年1月15日
【斯坦福&Google】面向机器人的机器学习,63页PPT
专知会员服务
23+阅读 · 2019年11月19日
相关资讯
过参数化、剪枝和网络结构搜索
极市平台
17+阅读 · 2019年11月24日
【优博微展2019】李志泽:简单快速的机器学习优化方法
清华大学研究生教育
14+阅读 · 2019年10月8日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
246 页《统计机器学习与凸优化》教程 PPT 下载
新智元
24+阅读 · 2018年9月21日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
R语言之数据分析高级方法「时间序列」
R语言中文社区
17+阅读 · 2018年4月24日
BAT机器学习面试1000题系列(第51~55题)
七月在线实验室
10+阅读 · 2017年10月8日
机器学习算法比较
我爱机器学习
4+阅读 · 2016年12月11日
Top
微信扫码咨询专知VIP会员