凸优化这个在深度学习的应用领域是什么呢？有什么相关课程或者书籍推荐吗？ | 社区问答

这里是 AI 研习社，我们的社区已经正式推出了！欢迎大家来多多交流~

mooc.ai/bbs

（戳文末阅读原文直接进）

社长为你推荐来自 AI 研习社问答社区的精华问答。如有你也有问题，欢迎进社区提问。 

一个小介绍：

社区目前主要功能是问答和博客，支持文字、图片、视频、代码、公式、超链接，这些功能可以让你在描述问题 / 回答问题 / 写文章的时候用最清晰的方式来表达，还需要什么你说，我改。

  话不多说，直接上题  

问：凸优化这个在深度学习的应用领域是什么呢？有什么相关课程或者书籍推荐吗？

凸优化这个在深度学习的应用领域是什么呢？然后推荐哪个凸优化的课程或者相关书籍呢？

来自社友的回答

▼▼▼  

@仵赛飞  

在掌握凸优化之前需要掌握数学分析、线性代数、概率论。结合以上三门基础的数学课程，凸优化可以说是一门应用课程。但对于深度学习而言，由于常用的深度学习优化方法往往只利用了一阶的梯度信息进行随机梯度下降，因而从业者事实上并不需要多少 “高深” 的凸优化知识。理解凸集、凸函数、凸优化的基本概念，掌握对偶问题的一般概念，掌握常见的无约束优化方法如梯度下降方法、随机梯度下降方法、Newton 方法，了解一点等式约束优化和不等式约束优化方法，即可满足理解深度学习中优化方法的理论要求。这里推荐一本教材，Stephen Boyd 的《Convex Optimization》。

@Pelhans  

说一下个人粗浅的认识，如有错误，望告知。

首先机器学习中的传统损失函数有一些是凸函数，如 L = (y - y_gold)^2 这种，想对这类函数进行优化就需要采用凸优化理论。不过现在深度学习中的损失函数往往不是严格的凸函数，更为复杂，因此通常采用随机梯度下降等算法来优化，所以会出现参数设置不好困在鞍点的情况。。。教材的话，Boyd 的凸优化和 Bertsekas 的凸优化理论都是凸优化的好书，不过在深度学习中用的不多。。。。

@iSen  

人们渴望得到全局的最优，不想局部最优，想方设法地找方法，然后就定义了一个凸函数，它的性质是局部最优就是全局最优，然后发现实际问题好多是非凸的，咋办啊，又想方设法转换为凸问题来解决，或者就拿局部最优凑合过吧。

新人福利

关注 AI 研习社（okweiwu），回复  1  领取

【超过 1000G 神经网络 / AI / 大数据，教程，论文】

如果你有更好的答案，点击阅读原文分享你的观点~

▼▼▼