本书提供了分布式优化、博弈和学习的基本理论。它包括那些直接从事优化工作的人,以及许多其他问题,如时变拓扑、通信延迟、等式或不等式约束,以及随机投影。本书适用于在动态经济调度、需求响应管理和智能电网插电式混合动力汽车路由等领域使用分布式优化、博弈和学习理论的研究人员和工程师。

无线技术和计算能力的进步使得理论、模型和工具的发展成为必要,以应对网络上大规模控制和优化问题带来的新挑战。经典的优化方法是在所有问题数据都可用于集中式服务器的前提下工作的。然而,这一前提不适用于由电力系统、传感器网络、智能建筑和智能制造等应用驱动的分布式环境中的大型网络系统。在这样的环境中,每个节点(agent)根据自己的数据(信息)以及通过底层通信网络从相邻的agent接收到的信息进行本地计算,从而分布式地解决大规模控制和优化问题。最终,集中式优化方法必然会走向衰落,从而产生一种新的分布式优化类型,它考虑了多个agent之间的有效协调,即所有agent共同协作,使一个局部目标函数之和的全局函数最小化。

本书研究了近年来分布式优化问题中的几个标准热点问题,如无约束优化、有约束优化、分布式博弈和分布式/分散学习等。为了强调分布式优化在这些主题中的作用,我们将重点放在一个简单的原始(次)梯度方法上,但我们也提供了网络中其他分布式优化方法的概述。介绍了分布式优化框架在电力系统控制中的应用。这本书自然主要包括三个部分。第一部分讨论了分布式优化算法理论,共分为四章:(1)多智能体时滞网络中的协同分布式优化;(2)时变拓扑多智能体系统的约束一致性;(3)不等式约束和随机投影下的分布式优化;(4)随机矩阵有向图上的加速分布优化。第二部分作为过渡,研究了分布式优化算法理论及其在智能电网动态经济调度问题中的应用,包括两章:(5)时变有向图约束优化的线性收敛性;(6)时变有向图上经济调度的随机梯度推动。第三部分对分布式优化、博弈和学习算法理论进行了分析和综合,本部分所有算法都是针对智能电网系统内的特定案例场景设计的。本部分共分三章:(7)智能微电网能源交易博弈中的强化学习;(8)不完全信息约束博弈的强化学习;(9)基于拥塞博弈的插电式混合动力汽车路径选择强化学习。其中,给出了仿真结果和实际应用实例,以说明前面提出的优化算法、博弈算法和学习算法的有效性和实用性。

成为VIP会员查看完整内容
0
52

相关内容

强化学习(RL)智能体需要探索他们的环境,以便通过试错学习最优策略。然而,当奖励信号稀疏,或当安全是一个关键问题和某些错误是不可接受的时候,探索是具有挑战性的。在本论文中,我们通过修改智能体解决的潜在优化问题,激励它们以更安全或更有效的方式探索,来解决深度强化学习设置中的这些挑战。

在这篇论文的第一部分,我们提出了内在动机的方法,在奖励稀少或缺乏的问题上取得进展。我们的第一种方法使用内在奖励来激励智能体访问在学习动力学模型下被认为是令人惊讶的状态,并且我们证明了这种技术比单纯探索更好。我们的第二种方法使用基于变分推理的目标,赋予个体不同的多种技能,而不使用特定任务的奖励。我们证明了这种方法,我们称为变分选择发现,可以用来学习运动行为的模拟机器人环境。

在论文的第二部分,我们重点研究了安全勘探中存在的问题。在广泛的安全强化学习研究的基础上,我们提出将约束的RL标准化为安全探索的主要形式; 然后,我们继续开发约束RL的算法和基准。我们的材料展示按时间顺序讲述了一个故事:我们首先介绍约束策略优化(Constrained Policy Optimization, CPO),这是约束深度RL的第一个算法,在每次迭代时都保证接近约束的满足。接下来,我们开发了安全健身基准,它让我们找到CPO的极限,并激励我们向不同的方向前进。最后,我们发展了PID拉格朗日方法,其中我们发现对拉格朗日原-对偶梯度基线方法进行小的修改,可以显著改善求解Safety Gym中约束RL任务的稳定性和鲁棒性。

https://www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-34.html

成为VIP会员查看完整内容
0
19

深入机器学习模型的超参数调优,关注什么是超参数以及它们是如何工作的。这本书讨论了超参数调优的不同技术,从基础到高级方法。

这是一个循序渐进的超参数优化指南,从什么是超参数以及它们如何影响机器学习模型的不同方面开始。然后通过一些基本的(蛮力的)超参数优化算法。进一步,作者提出了时间和内存约束的问题,使用分布式优化方法。接下来,您将讨论超参数搜索的贝叶斯优化,它从以前的历史中学习。

这本书讨论了不同的框架,如Hyperopt和Optuna,它们实现了基于顺序模型的全局优化(SMBO)算法。在这些讨论中,您将关注不同的方面,比如搜索空间的创建和这些库的分布式优化。

机器学习中的超参数优化创建了对这些算法如何工作的理解,以及如何在现实生活中的数据科学问题中使用它们。最后一章总结了超参数优化在自动机器学习中的作用,并以创建自己的AutoML脚本的教程结束。

超参数优化是一项繁琐的任务,所以请坐下来,让这些算法来完成您的工作。

https://link.springer.com/book/10.1007/978-1-4842-6579-6#about

你会:

了解超参数的变化如何影响模型的性能。

将不同的超参数调优算法应用于数据科学问题

使用贝叶斯优化方法创建高效的机器学习和深度学习模型

使用一组机器来分配超参数优化

利用超参数优化方法实现自动机器学习

成为VIP会员查看完整内容
0
71

强化学习(RL)作为一种可行的、强大的技术,用于解决各种复杂的跨行业业务问题,包括在不确定性下的顺序优化决策。尽管RL被归类为机器学习(ML)的一个分支,但它的看待和处理方式往往与机器学习的其他分支(监督和非监督学习)非常不同。事实上,RL似乎掌握了开启人工智能前景的关键——人工智能可以根据观察到的信息的变化来调整决策,同时不断朝着最优结果前进。RL算法在无人驾驶汽车、机器人和策略游戏等备受瞩目的问题上的渗透,预示着未来RL算法的决策能力将远超人类。

本书重点研究支撑RL的基础理论。我们对这一理论的处理是基于本科水平的概率、优化、统计和线性代数。我们强调严谨但简单的数学符号和公式来发展理论,并鼓励你把方程写出来,而不是仅仅从书中阅读。偶尔,我们引用一些高等数学(如:随机微积分),但本书的大部分是基于容易理解的数学。特别是,两个基本的理论概念- Bellman最优方程和广义策略迭代-贯穿全书,因为它们构成了我们在RL中所做的几乎所有事情的基础,甚至在最先进的算法中。

本书第二部分用动态规划或强化学习算法解决的金融应用。作为随机控制问题的许多金融应用的一个基本特征是,模型MDP的回报是效用函数,以捕捉金融回报和风险之间的权衡。

成为VIP会员查看完整内容
0
37

这本书的目的是介绍图理论的基础。在第一章中,我们对数学符号和证明技巧给予了明确的关注。这种方法使学生逐渐为使用图论所必需的工具——复杂网络——做好准备。在书的第二部分,学生学习关于随机网络,小世界,互联网和网络的结构,点对点系统,和社会网络。再说一次,所有的问题都是在初级阶段讨论的,但这样到最后学生们确实会有这样的感觉:1。学会了如何阅读和理解与图论相关的基本数学。了解基本图论如何应用于优化问题,如通讯网络中的路由。更多地了解这个小世界和随机网络的神秘领域。

成为VIP会员查看完整内容
0
44

凸优化提供了一个统一的框架,以获得数据分析问题的数值解决方案,并在充分理解的计算成本下,以可证明的统计保证正确性。

为此,本课程回顾了大数据之后在凸优化和统计分析方面的最新进展。我们提供了新兴的凸数据模型及其统计保证的概述,描述了可扩展的数值求解技术,如随机,一阶和原对偶方法。在整个课程中,我们将数学概念运用到大规模的应用中,包括机器学习、信号处理和统计。

在整个课程中,我们将数学概念运用到大规模的应用中,包括机器学习、信号处理和统计。

https://www.epfl.ch/labs/lions/teaching/ee-556-mathematics-of-data-from-theory-to-computation/

本课程包括以下主题

第一讲:绪论。模型和数据的作用。最大似然公式。估计和预测的样本复杂度界限。

第二讲:计算的作用。优化算法的挑战。最优测度。结构优化。梯度下降法。梯度下降的收敛速度。

第三讲:收敛速度的最优性。加速梯度下降法。全部复杂性的概念。随机梯度下降法。

第四讲:简洁的信号模型。压缩传感。估计和预测的样本复杂度界限。非光滑优化对优化算法的挑战。

第五讲:近端算子介绍。近端梯度方法。线性最小化神谕。约束优化的条件梯度法。

第六讲:时间-数据的权衡。方差减少以改进权衡。

第七讲:深度学习的数学介绍。双下降曲线和过度参数化。隐式规则化。

第八讲:非凸优化中的结构。最优的措施。逃避鞍点。自适应梯度方法。

第九讲:对抗性机器学习和生成式对抗性网络(GANs)。Wasserstein GAN。极大极小优化的难点。

第十讲: 原对偶优化- i:极大极小问题的基础。梯度下降-上升法的陷阱。

第十一讲: 原对偶优化- ii:额外梯度法。Chambolle-Pock算法。随机非方法。

第十二讲:原对偶III:拉格朗日梯度法。拉格朗日条件梯度法。

成为VIP会员查看完整内容
0
22

基于最近关于非凸优化算法在训练深度神经网络和数据分析中的其他优化问题中的应用,我们对非凸优化算法全局性能保证的最新理论成果进行了综述。我们从经典的论证开始,证明一般的非凸问题不可能在合理的时间内得到有效的解决。然后,我们给出了一个可以通过尽可能多地利用问题的结构来寻找全局最优解的问题列表。处理非凸性的另一种方法是将寻找全局最小值的目标放宽到寻找一个平稳点或局部最小值。对于这种设置,我们首先给出确定性一阶方法收敛速度的已知结果,然后是最优随机和随机梯度格式的一般理论分析,以及随机一阶方法的概述。然后,我们讨论了相当一般的一类非凸问题,如α-弱拟凸函数的极小化和满足Polyak- Lojasiewicz条件的函数,这些函数仍然可以得到一阶方法的理论收敛保证。然后我们考虑非凸优化问题的高阶、零阶/无导数方法及其收敛速度。

成为VIP会员查看完整内容
0
40

机器学习中部分非凸和随机优化算法研究

机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算 法复杂度理论等多门学科。算法理论与应用是机器学习中最为重要的核心之一。其中一阶优化算法因其简单有效性,而被广泛研究与应用。另一方面由于近年来 数据规模的不断增大,数据集的规模使得二阶或更高阶的算法应用受阻。这使得 一阶算法进一步成为机器学习的研究重点。随着机器学习中问题模型的不断扩张, 例如深度学习,非凸问题和模型也激发了学者们广泛的研究兴趣。这使得研究非 凸算法显得更加急迫。而且由于数据集的庞大性,确定算法难以逃出鞍点,因此 随机算法受到了史无前例的关注。本文主要结果可以归纳如下:

一、研究了三种 ADMM 算法。第一个 ADMM 的工作是关于一般的 ADMM 收 敛性分析统一框架。在此框架下,很多现有的 ADMM 收敛性分析可以归纳进该 框架。除了现有的 ADMM 算法,根据统一框架还能够设计出新的 ADMM 算法。第二个和第三个 ADMM 都是针对结构非凸优化问题提出的:一个是针对泛 ℓq 正 则化约束优化问题,而另一个是针对 ℓ1−2 正则化约束优化。给出了后面两种非凸 ADMM 算法的收敛性分析,所得到的结果可以指导用户选择合适的超参数。

二、研究了两种一阶优化领域常用的非精确算法。第一种是非精确的加速算 法。相较于之前的研究,该算法的假设更为真实。而且还囊括了一大类随机噪声 的情况,使得算法更为实用。而机器学习中的一阶催化剂算法由于是该加速算法 带上了随机噪声,因此可以看做本算法的特例。在第二部分给出了非精确非凸算 法的收敛性框架理论。可以被广泛应用到各种一阶非凸算法。

三、证明了在有界和无界延迟以及随机和确定性块选择下异步并行梯度下降法 的收敛结果。这些结果不需要迄今为止绝大多数其他工作中出现的独立性假设。这是由于本文使用了 Lyapunov 函数技术,可直接处理延迟,而不是像之前的工作 一样仅仅将它们建模为噪声。

四、分析了马尔可夫链随机梯度下降法,其中样本采用了某个马尔可夫链的轨迹。主要贡献之一是给出了马尔可夫链随机梯度下降法的在凸情况下的非遍历收 敛分析。结果然后扩展到不精确的格式。这种分析使得能够建立不可逆有限状态 马尔可夫链和非凸最小化问题的收敛性。这样的结果适用于不知道具体的概率分 布,但可以通过马尔可夫链进行采样的情形。

成为VIP会员查看完整内容
0
37

神经网络在诸多应用领域展现了巨大的潜力,成为当前最热门的研究方向之一。神经网络的训练主要通过求解一个优化问题来完成,但这是一个困难的非线性优化问题,传统的优化理论难以直接应用。在神经网络和优化的交叉领域,长期以来研究人员积累了大量的理论研究知识,不过这些研究或过于理论而不被大部分实践者所了解,或过于偏工程而不被理论学者所理解和欣赏。本文的目的是总结目前对于神经网络优化基本理论和算法的现状,架起理论和实践、优化和机器学习界之间的桥梁。

对苦于调参常感到困惑的工程师而言,本文可以提供一些已有的理论理解以供参考,并提供一些思考的方式。对理论学者而言,本文力图解释其作为数学问题的困难之所在以及目前的理论进展,以期吸引更多研究者投身神经网络优化理论和算法研究。

本文概述了神经网络的算法和优化理论。首先,我们讨论梯度爆炸/消失问题和更一般的谱控制问题,然后讨论实际中常用的解决方案,包括初始化方法和归一化方法。其次,我们回顾用于训练神经网络的一般优化方法,如SGD、自适应梯度方法和大规模分布式训练方法,以及这些算法的现有理论结果。第三,我们回顾了最近关于神经网络训练的全局问题的研究,包括局部极值、模式连接、彩票假设和无限宽度分析等方面的结果。

成为VIP会员查看完整内容
1
50

凸优化研究在凸集上最小化凸函数的问题。凸性,连同它的许多含义,已经被用来为许多类凸程序提出有效的算法。因此,凸优化已经广泛地影响了科学和工程的几个学科。

过去几年,凸优化算法彻底改变了离散和连续优化问题的算法设计。对于图的最大流、二部图的最大匹配和子模函数最小化等问题,已知的最快算法涉及到对凸优化算法的基本和重要使用,如梯度下降、镜像下降、内点方法和切割平面方法。令人惊讶的是,凸优化算法也被用于设计离散对象(如拟阵)的计数问题。同时,凸优化算法已经成为许多现代机器学习应用的中心。由于输入实例越来越大、越来越复杂,对凸优化算法的需求也极大地推动了凸优化技术本身的发展。

这本书的目的是使读者能够获得对凸优化算法的深入理解。重点是从第一性原理推导出凸优化的关键算法,并根据输入长度建立精确的运行时间界限。由于这些方法的广泛适用性,一本书不可能向所有人展示这些方法的应用。这本书展示了各种离散优化和计数问题的快速算法的应用。本书中所选的应用程序的目的是为了说明连续优化和离散优化之间的一个相当令人惊讶的桥梁。

目标受众包括高级本科生、研究生和理论计算机科学、离散优化和机器学习方面的研究人员。

https://convex-optimization.github.io/

第一章-连续优化和离散优化的衔接

我们提出了连续优化和离散优化之间的相互作用。最大流问题是一个激励人心的例子。我们也追溯了线性规划的历史——从椭球法到现代内点法。最后介绍了椭球法在求解最大熵问题等一般凸规划问题上的一些最新成果。

第二章 预备知识

我们复习这本书所需的数学基础知识。这些内容包括多元微积分、线性代数、几何、拓扑、动力系统和图论中的一些标准概念和事实。

第三章-凸性

我们引入凸集,凸性的概念,并展示了伴随凸性而来的能力:凸集具有分离超平面,子梯度存在,凸函数的局部最优解是全局最优解。

第四章-凸优化与效率

我们提出了凸优化的概念,并正式讨论了它意味着什么,有效地解决一个凸程序作为一个函数的表示长度的输入和期望的精度。

第五章-对偶性与最优性

我们引入拉格朗日对偶性的概念,并证明在一个称为Slater条件的温和条件下,强拉格朗日对偶性是成立的。随后,我们介绍了拉格朗日对偶和优化方法中经常出现的Legendre-Fenchel对偶。最后,给出了Kahn-Karush-Tucker(KKT)最优性条件及其与强对偶性的关系。

第六章-梯度下降

我们首先介绍梯度下降法,并说明如何将其视为最陡下降。然后,我们证明了梯度下降法在函数的梯度是连续的情况下具有收敛时间界。最后,我们使用梯度下降法提出了一个快速算法的离散优化问题:计算最大流量无向图。

第七章-镜像下降和乘法权值更新

我们推出我们的凸优化的第二个算法-称为镜面下降法-通过正则化观点。首先,提出了基于概率单纯形的凸函数优化算法。随后,我们展示了如何推广它,重要的是,从它推导出乘法权值更新(MWU)方法。然后利用后一种算法开发了一个快速的近似算法来解决图上的二部图匹配问题。

第八章-加速梯度下降

提出了Nesterov的加速梯度下降算法。该算法可以看作是前面介绍的梯度下降法和镜像下降法的混合。我们还提出了一个应用加速梯度法求解线性方程组。

第九章-牛顿法

IWe开始了设计凸优化算法的旅程,其迭代次数与误差成对数关系。作为第一步,我们推导并分析了经典的牛顿方法,这是一个二阶方法的例子。我们认为牛顿方法可以被看作是黎曼流形上的最速下降,然后对其收敛性进行仿射不变分析。

第十章 线性规划的内点法

利用牛顿法及其收敛性,推导出一个线性规划的多项式时间算法。该算法的关键是利用障碍函数的概念和相应的中心路径,将有约束优化问题简化为无约束优化问题。

第十一章-内点法的变种与自洽

给出了线性规划中路径遵循IPM的各种推广。作为应用,我们推导了求解s-t最小代价流问题的快速算法。随后,我们引入了自一致性的概念,并给出了多边形和更一般凸集的障碍函数的概述。

第十二章 线性规划的椭球法

介绍了凸优化的一类切割平面方法,并分析了一种特殊情况,即椭球体法。然后,我们展示了如何使用这个椭球方法来解决线性程序超过0-1多边形时,我们只能访问一个分离oracle的多边形。

第十三章-凸优化的椭球法

我们展示了如何适应椭球法求解一般凸程序。作为应用,我们提出了子模函数最小化的多项式时间算法和计算组合多边形上的最大熵分布的多项式时间算法。

成为VIP会员查看完整内容
0
99

这项工作的目标是研发一个训练图卷积网络(GCNs)的完全分布式算法框架。该方法能够利用输入数据的有意义的关系结构,这些数据是由一组代理收集的,这些代理通过稀疏网络拓扑进行通信。在阐述了集中的GCN训练问题之后,我们首先展示如何在底层数据图在不同代理之间分割的分布式场景中进行推理。然后,我们提出了一个分布式梯度下降方法来解决GCN训练问题。得到的模型沿着三条线分布计算:推理、反向传播和优化。在温和的条件下,也建立了GCN训练问题对平稳解的收敛性。最后,我们提出了一个优化准则来设计代理之间的通信拓扑,以匹配描述数据关系的图。大量的数值结果验证了我们的想法。据我们所知,这是第一个将图卷积神经网络与分布式优化相结合的工作。

https://www.zhuanzhi.ai/paper/8a4718497597c36257418a3dd85639f4

成为VIP会员查看完整内容
0
23
小贴士
相关VIP内容
专知会员服务
71+阅读 · 5月18日
专知会员服务
37+阅读 · 3月30日
专知会员服务
44+阅读 · 3月5日
专知会员服务
22+阅读 · 1月31日
专知会员服务
40+阅读 · 2020年12月18日
专知会员服务
37+阅读 · 2020年12月7日
专知会员服务
99+阅读 · 2020年9月1日
专知会员服务
23+阅读 · 2020年7月20日
相关论文
Xuefeng Du,Tian Bian,Yu Rong,Bo Han,Tongliang Liu,Tingyang Xu,Wenbing Huang,Junzhou Huang
0+阅读 · 6月14日
Frederik Schubert,Theresa Eimer,Bodo Rosenhahn,Marius Lindauer
0+阅读 · 6月11日
Qingfeng Liu,Yang Feng
0+阅读 · 6月11日
Saeed Bajalan,Nastaran Bajalan
0+阅读 · 5月17日
Luciano Melodia,Richard Lenz
0+阅读 · 2020年12月31日
Younjoo Seo,Andreas Loukas,Nathanaël Perraudin
4+阅读 · 2019年6月5日
HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs
Naganand Yadati,Madhav Nimishakavi,Prateek Yadav,Vikram Nitin,Anand Louis,Partha Talukdar
9+阅读 · 2019年5月22日
Joaquin Vanschoren
113+阅读 · 2018年10月8日
Meta-Learning with Latent Embedding Optimization
Andrei A. Rusu,Dushyant Rao,Jakub Sygnowski,Oriol Vinyals,Razvan Pascanu,Simon Osindero,Raia Hadsell
6+阅读 · 2018年7月16日
Liwei Cai,William Yang Wang
5+阅读 · 2017年11月11日
Top