优化 | 怎么判断一个优化问题是凸优化还是非凸优化?

2019 年 10 月 4 日 极市平台

加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动!

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流。关注 极市平台 公众号 ,回复 加群,立刻申请入群~






本文介绍了判断一个优化问题是否是凸/非凸问题的常用方法:基于定义/一般形式判断;求导&一阶/二阶充要条件判断;基于叠加/变化/复合而成;基于定义的蒙特卡洛采样暴力数据验证。


一般来说,判断一个问题是否是凸的是强NP-难的


首先这个问题一般来说是很难的。比如:判断一个多元四次(及以上)偶多项式是否是凸的是strongly NP-hard的(http://web.mit.edu/~a_a_a/Public/Publications/convexity_nphard.pdf)。也就是说,除非NP=P,不存在(伪)多项式算法可以判断一个优化问题是凸或非凸的。


凸问题的一般形式


所以实际上难点就在于如何判断一个函数是否是凸的。



判断一个函数是否凸的一些“奇技淫巧”


当然,如果这些方法都没用,我们还是只能回归初心(凸函数的定义),可以数值地来进行蒙特卡洛验证:每次取俩点,然后看凸组合的值是否小于等于值的凸组合...做很多很多次采样


以下sao操作来自于Stephen Boyd(我不背锅,来源是Boyd本人的凸优化公开课课程):如果当你蒙特卡洛采样了很多很多次都没有发现反例,那么可以认为大概率这函数估计是凸的,这个时候你可以把它放在paper里作为“猜想”(conjecture),说不定过段时间某个年轻有为发奋向上的青年AP就写了个几十页proof把你的“猜想”给证明了 -- 这也是判断是否是凸函数的好方法233 (别人问你怎么想到这个conjecture的:"Intuition.")


参考文献:

Boyd, Stephen, and Lieven Vandenberghe. Convex optimization. Cambridge university press, 2004.




-End-



*延伸阅读



添加极市小助手微信(ID : cv-mart),备注:研究方向-姓名-学校/公司-城市(如:目标检测-小极-北大-深圳),即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割等极市技术交流群,更有每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流一起来让思想之光照的更远吧~


△长按添加极市小助手


△长按关注极市平台


觉得有用麻烦给个在看啦~  

登录查看更多
1

相关内容

【硬核课】统计学习理论,321页ppt
专知会员服务
140+阅读 · 2020年6月30日
【经典书】机器学习:贝叶斯和优化方法,1075页pdf
专知会员服务
410+阅读 · 2020年6月8日
【ICLR2020】图神经网络与图像处理,微分方程,27页ppt
专知会员服务
48+阅读 · 2020年6月6日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
226+阅读 · 2020年6月5日
【机器学习课程】机器学习中的常识性问题
专知会员服务
75+阅读 · 2019年12月2日
目标检测实用中可以改进的方向
极市平台
11+阅读 · 2019年5月4日
从最优化的角度看待 Softmax 损失函数
极市平台
31+阅读 · 2019年2月21日
从零推导支持向量机 (SVM)
AI科技评论
10+阅读 · 2019年2月7日
从动力学角度看优化算法:一个更整体的视角
黑龙江大学自然语言处理实验室
8+阅读 · 2019年1月28日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
深度学习面试100题(第56-60题)
七月在线实验室
9+阅读 · 2018年7月23日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
机器学习(15)之支持向量机原理(一)线性支持向量机
机器学习算法与Python学习
6+阅读 · 2017年9月1日
[有意思的数学] 参数估计
机器学习和数学
15+阅读 · 2017年6月4日
Arxiv
18+阅读 · 2019年1月16日
Meta-Learning with Latent Embedding Optimization
Arxiv
6+阅读 · 2018年7月16日
Arxiv
11+阅读 · 2018年4月25日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
相关VIP内容
【硬核课】统计学习理论,321页ppt
专知会员服务
140+阅读 · 2020年6月30日
【经典书】机器学习:贝叶斯和优化方法,1075页pdf
专知会员服务
410+阅读 · 2020年6月8日
【ICLR2020】图神经网络与图像处理,微分方程,27页ppt
专知会员服务
48+阅读 · 2020年6月6日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
226+阅读 · 2020年6月5日
【机器学习课程】机器学习中的常识性问题
专知会员服务
75+阅读 · 2019年12月2日
相关资讯
目标检测实用中可以改进的方向
极市平台
11+阅读 · 2019年5月4日
从最优化的角度看待 Softmax 损失函数
极市平台
31+阅读 · 2019年2月21日
从零推导支持向量机 (SVM)
AI科技评论
10+阅读 · 2019年2月7日
从动力学角度看优化算法:一个更整体的视角
黑龙江大学自然语言处理实验室
8+阅读 · 2019年1月28日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
深度学习面试100题(第56-60题)
七月在线实验室
9+阅读 · 2018年7月23日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
机器学习(15)之支持向量机原理(一)线性支持向量机
机器学习算法与Python学习
6+阅读 · 2017年9月1日
[有意思的数学] 参数估计
机器学习和数学
15+阅读 · 2017年6月4日
Top
微信扫码咨询专知VIP会员