约束优化已经成为一个很好的研究领域,有一些强大的技术可以解决该领域的一般问题。在这本书中,考虑了一类特殊的约束,称为几何约束,它表示优化问题的解在流形上。这是一个最近的研究领域,它为更一般的约束优化方法提供了强大的替代方案。经典的约束优化技术适用于比流形大得多的嵌入式空间。因此,在流形上工作的优化算法具有较低的复杂性,而且通常还具有更好的数值特性(例如,保持能量等不变量的数值积分方案)。作者将此称为受限搜索空间中的无约束优化。

可以用流形来描述差分方程或微分方程的思想起源于布罗克特、弗拉施卡和鲁提肖瑟的工作。例如,他们描述了等谱流,这些流产生的时变矩阵彼此相似,最终收敛到有序特征值的对角矩阵。这些想法在数值线性代数领域没有像在动力系统领域那样得到那么多的关注,因为由此产生的差分和微分方程并没有立即导致有效的算法实现。

这本书对发展高阶优化技术的微分几何的进行了深入的介绍,但它仍然成功地用简单的想法解释复杂的概念。这些思想随后被用于发展牛顿型方法以及其他超线性方法,如信赖域方法和非精确和准牛顿方法,这些方法更加强调概念算法的高效数值实现。

成为VIP会员查看完整内容
0
37

相关内容

利用Python及其标准库中的数值和数学模块,以及流行的开源数值Python包,如NumPy、SciPy、FiPy、matplotlib等。这个完全修订的版本,更新了每个包的最新细节和更改Jupyter项目,演示了如何在大数据,云计算,金融工程,商业管理和更多的数字计算解决方案和数学模型应用。

Numerical Python,第二版,提供了许多使用Python在数据科学和统计中应用的全新案例研究示例,以及对以前的许多示例的扩展。由于Python的语法简单而高级,以及数据分析的多种选项,因此它们都展示了Python在快速开发和探索性计算方面的强大功能。

阅读本书后,读者将熟悉许多计算技术,包括基于数组和符号计算,可视化和数字文件I/O,方程求解,优化,插值和积分,以及领域特定的计算问题,如微分方程求解,数据分析,统计建模和机器学习。

科学和数值计算是研究、工程和分析领域的一个蓬勃发展的领域。在过去的几十年里,计算机行业的革命为计算机从业者提供了新的和强大的工具。这使得前所未有的规模和复杂性的计算工作成为可能。结果,整个领域和行业如雨后春笋般涌现出来。这种发展仍在继续,随着硬件、软件和算法的不断改进,它正在创造新的机会。最终,实现这一运动的技术是近几十年来发展起来的强大的计算硬件。然而,对于计算从业者来说,用于计算工作的软件环境与执行计算的硬件同等重要(如果不是更重要的话)。这本书是关于一个流行的快速增长的数值计算环境:Python编程语言及其用于计算工作的库和扩展的充满活力的生态系统。

计算是一项跨学科的活动,需要理论和实践学科的经验和专业知识:对数学和科学思维的牢固理解是有效计算工作的基本要求。同样重要的是在计算机编程和计算机科学方面的扎实训练。这本书的作用是通过介绍如何使用Python编程语言和围绕该语言出现的计算环境来完成科学计算,从而将这两个主题连接起来。在这本书中,假定读者先前有一些数学和数值方法的训练,以及Python编程的基本知识。这本书的重点是介绍用Python解决计算问题的实用方法。简要介绍的理论涵盖的主题给出在每一章,以介绍符号和提醒读者的基本方法和算法。然而,这本书并不是对数值方法的自洽处理。为了帮助读者以前不熟悉这本书的一些主题,进一步阅读的参考文献在每一章的结尾。同样,没有Python编程经验的读者可能会发现,将这本书和一本专注于Python编程语言本身的书一起阅读会很有用

https://www.programmer-books.com/wp-content/uploads/2019/02/Numerical-Python-2nd-Edition.pdf

成为VIP会员查看完整内容
0
39

本书提供了分布式优化、博弈和学习的基本理论。它包括那些直接从事优化工作的人,以及许多其他问题,如时变拓扑、通信延迟、等式或不等式约束,以及随机投影。本书适用于在动态经济调度、需求响应管理和智能电网插电式混合动力汽车路由等领域使用分布式优化、博弈和学习理论的研究人员和工程师。

无线技术和计算能力的进步使得理论、模型和工具的发展成为必要,以应对网络上大规模控制和优化问题带来的新挑战。经典的优化方法是在所有问题数据都可用于集中式服务器的前提下工作的。然而,这一前提不适用于由电力系统、传感器网络、智能建筑和智能制造等应用驱动的分布式环境中的大型网络系统。在这样的环境中,每个节点(agent)根据自己的数据(信息)以及通过底层通信网络从相邻的agent接收到的信息进行本地计算,从而分布式地解决大规模控制和优化问题。最终,集中式优化方法必然会走向衰落,从而产生一种新的分布式优化类型,它考虑了多个agent之间的有效协调,即所有agent共同协作,使一个局部目标函数之和的全局函数最小化。

本书研究了近年来分布式优化问题中的几个标准热点问题,如无约束优化、有约束优化、分布式博弈和分布式/分散学习等。为了强调分布式优化在这些主题中的作用,我们将重点放在一个简单的原始(次)梯度方法上,但我们也提供了网络中其他分布式优化方法的概述。介绍了分布式优化框架在电力系统控制中的应用。这本书自然主要包括三个部分。第一部分讨论了分布式优化算法理论,共分为四章:(1)多智能体时滞网络中的协同分布式优化;(2)时变拓扑多智能体系统的约束一致性;(3)不等式约束和随机投影下的分布式优化;(4)随机矩阵有向图上的加速分布优化。第二部分作为过渡,研究了分布式优化算法理论及其在智能电网动态经济调度问题中的应用,包括两章:(5)时变有向图约束优化的线性收敛性;(6)时变有向图上经济调度的随机梯度推动。第三部分对分布式优化、博弈和学习算法理论进行了分析和综合,本部分所有算法都是针对智能电网系统内的特定案例场景设计的。本部分共分三章:(7)智能微电网能源交易博弈中的强化学习;(8)不完全信息约束博弈的强化学习;(9)基于拥塞博弈的插电式混合动力汽车路径选择强化学习。其中,给出了仿真结果和实际应用实例,以说明前面提出的优化算法、博弈算法和学习算法的有效性和实用性。

成为VIP会员查看完整内容
0
63

在过去的二十年里,机器学习已经成为信息技术的支柱之一,并因此成为我们生活中相当核心(尽管通常是隐藏的)的一部分。随着可用数据量的不断增加,我们有充分的理由相信,智能数据分析将变得更加普遍,成为技术进步的必要因素。本章的目的是为读者提供一个广泛的应用的概述,这些应用的核心是一个机器学习问题,并给这一大堆问题带来一定程度的秩序。在那之后,我们将讨论一些来自统计和概率论的基本工具,因为它们构成了许多机器学习问题必须被表述成易于解决的语言。最后,我们将概述一套相当基本但有效的算法来解决一个重要的问题,即分类。更复杂的工具,更普遍的问题的讨论和详细的分析将在本书后面的部分。

成为VIP会员查看完整内容
0
32

本书是信息论领域中一本简明易懂的教材。主要内容包括:熵、信源、信道容量、率失真、数据压缩与编码理论和复杂度理论等方面的介绍。

本书还对网络信息论和假设检验等进行了介绍,并且以赛马模型为出发点,将对证券市场研究纳入了信息论的框架,从新的视角给投资组合的研究带来了全新的投资理念和研究技巧。

本书适合作为电子工程、统计学以及电信方面的高年级本科生和研究生的信息论基础教程教材,也可供研究人员和专业人士参考。

本书是一本简明易懂的信息论教材。正如爱因斯坦所说:“凡事应该尽可能使其简单到不能再简单为止。''虽然我们没有深人考证过该引语的来源(据说最初是在幸运蛋卷中发现的),但我们自始至终都将这种观点贯穿到本书的写作中。信息论中的确有这样一些关键的思想和技巧,一旦掌握了它们、不仅使信息论的主题简明,而且在处理新问題时提供重要的直觉。本书来自使用了十多年的信息论讲义,原讲义是信息论课程的高年级本科生和一年级研究生两学期用的教材。本书打算作为通信理论.计算机科学和统计学专业学生学习信息论的教材。

信息论中有两个简明要点。第一,熵与互信息这样的特殊量是为了解答基本问题而产生的。例如,熵是随机变量的最小描述复杂度,互信息是度量在噪声背景下的通信速率。另外,我们在以后还会提到,互信息相当于已知边信息条件下财富双倍的增长。第二,回答信息理论问邀的答案具有自然的代数结构。例如,熵具有链式法则,因而,谪和互信息也是相关的。因此,数据压缩和通信中的问题得到广泛的解释。我们都有这样的感受,当研究某个问题时,往往历经大量的代数运算推理得到了结果,但此时没有真正了解问题的全莪,最终是通过反复观察结果,才对整个问题有完整、明确的认识。所以,对一个问题的全面理解,不是靠推理,而是靠对结果的观察。要更具体地说明这一点,物理学中的牛顿三大定律和薛定谔波动方程也许是最合适的例子。谁曾预见过薛定谔波动方程后来会有如此令人敬畏的哲学解释呢?

在本书中,我们常会在着眼于问题之前,先了解一下答案的性质。比如第2章中,我们定义熵、相对熵和互信息,研究它们之间的关系,再对这些关系作一点解释·由此揭示如何融会贯通地使用各式各样的方法解决实际问题。同理,我们顺便探讨热力学第二定律的含义。熵总是增加吗?答案既肯定也否定。这种结果会令专家感兴趣,但初学者或i午认为这是必然的而不会深人考虑。

在实际教学中.教师往往会加人一自己的见解。事实上,寻找无人知道的证明或者有所创新的结果是一件很愉快的事情。如果有人将新的思想和已经证明的内容在课堂上讲解给学生,那么不仅学生会积极反馈“对,对,对六而且会大大地提升教授该课程的乐崆我们正是这样从研究本教材的许多新想法中获得乐趣的。

本书加人的新素材实例包括信息论与博弈之间的关系,马尔可夫链背景下热力学第二定律的普遍性问题,信道容量定理的联合典型性证明,赫夫曼码的竞争最优性,以及关于最大熵谱密度估计的伯格(回定理的证明。科尔莫戈罗夫复杂度这一章也是本书的独到之处。面将费希尔信息,互信息、中心极限定理以及布伦一闵可夫斯基不等式与熵幂不等式联系在一起,也是我们引以为豪之处。令我们感到惊讶的是.关于行列式不等式的许多经典结论,当利用信息论不等式后会很容易得到证明。

自从香农的奠基性论文面世以来,尽管信息论已有了相当大的发展,但我们还是要努力强调它的连贯性。虽然香农创立信息论时受到通信理论中的问题启发,然而我们认为信息论是一门独立的学科,可应用于通信理论和统计学中。我们将信息论作为一个学科领域从通信理论、概率论和统计学的背景中独立出来因为明显不可能从这些学科中获得难以理解的信息概念。由于本书中绝大多数结论以定理和证明的形式给出,所以,我们期望通过对这些定理的巧妙证明能说明这些结论的完美性。一般来讲,我们在介绍问题之前先描述回题的解的性质,而这些很有的性质会使接下来的证明顺理成章。

使用不等式串、中间不加任何文字、最后直接加以解释,是我们在表述方式上的一项创新希望读者学习我们所给的证明过程达到一定数量时,在没有任何解释的情况下就能理解其中的大部分步,并自己给出所需的解释这些不等式串好比模拟到试题,读者可以通过它们确认自己是否已掌握证明那些重要定理的必备知识。这些证明过程的自然流程是如此引人注目,以至于导致我们轻视了写作技巧中的某条重要原则。由于没有多余的话,因而突出了思路的逻辑性与主題思想u我们希望当读者阅读完本书后,能够与我们共同分亨我们所推崇的,具有优美、简洁和自然风格的信息论。

本书广泛使用弱的典型序列的方法,此概念可以追溯到香农1948年的创造性工作,而它真正得到发展是在20世纪70年代初期。其中的主要思想就是所谓的渐近均分性(AEP),或许可以粗略地说成“几乎一切事情都是等可能的"

第2章阐述了熵、相对熵和互信息之同的基本代数关系。渐近均分性是第3章重中之重的内容,这也使我们将随机过程和数据压缩的熵率分别放在第4章和第5章中论述。第6章介绍博弈,研究了数据压缩的对偶性和财富的增长率。可作为对信息论进行理性思考基础的科尔莫戈罗夫复杂度,拥有着巨大的成果,放在第14章中论述。我们的目标是寻找一个通用的最矩描述,而不是平均意义下的次佳描述。的确存在这样的普遍性概念用来刻画一个对象的复杂度。该章也论述了神奇数0,揭示数学上的不少奥秘,是图灵机停止运转概率的推广。第7章论述信道容量定理。第8章叙述微分熵的必需知识,它们是将早期容量定理推广到连续噪声信道的基础。基本的高斯信道容量问题在第9章中论述。第il章阐述信息论和统计学之间的关系,20世纪年代初期库尔贝克首次对此进行了研究,此后相对被忽视。由于率失真理论比无噪声数据压缩理论需要更多的背景知识,因而将其放置在正文中比较靠后的第10章。

网络信息理论是个大的主题,安排在第巧章,主要研究的是噪声和干扰存在情形下的同时可达的信息流。有许多新的思想在网络信息理论中开始活跃起来,其主要新要素有干扰和反馈第16章讲述股票市场,这是第6章所讨论的博弈的推广,也再次表明了信息论和博弈之间的紧密联系。第17章讲述信息论中的不等式,我们借此一隅把散布于全书中的有趣不等式重新收拢在一个新的框架中,再加上一些关于随机抽取子集熵率的有趣新不等式。集合和的体积的布伦一闵可夫斯基不等式,独立随机变量之和的有效方差的熵幂不等式以及费希尔信息不等式之间的美妙关系也将在此章中得到详尽的阐述。

本书力求推理严密,因此对数学的要求相当高·要求读者至少学过一学期的概率论课程且有扎实的数学背景,大致为本科高年级或研究生一年级水平。尽管如此,我们还是努力避免使用测度论。因为了解它只对第16章中的遍历过程的AEP的证明过程起到简化作用。这符合我们的观点,那就是信息论基础与技巧不同,后者才需要将所有推广都写进去。

本书的主体是第2,3,4,5,7,8,9,10,11和巧章,它们自成体系,读懂了它们就可以对信息论有很好的理解。但在我们看来,第14章的科尔莫戈罗夫复杂度是深人理解信息论所需的必备知识。余下的几章,从博弈到不等式.目的是使主题更加连贯和完美。

成为VIP会员查看完整内容
0
92

近年来,自然语言处理的研究方法取得了一些突破。这些突破来源于两个新的建模框架以及在计算和词汇资源的可用性的改进。在这个研讨会小册子中,我们将回顾这些框架,以一种可以被视为现代自然语言处理开端的方法论开始:词嵌入。我们将进一步讨论将嵌入式集成到端到端可训练方法中,即卷积神经网络和递归神经网络。这本小册子的第二章将讨论基于注意力的模型的影响,因为它们是最近大多数最先进的架构的基础。因此,我们也将在本章中花很大一部分时间讨论迁移学习方法在现代自然语言处理中的应用。最后一章将会是一个关于自然语言生成的说明性用例,用于评估最先进的模型的训练前资源和基准任务/数据集。

https://compstat-lmu.github.io/seminar_nlp_ss20/

在过去的几十年里,人工智能技术的重要性和应用不断得到关注。在当今时代,它已经与构成人类塑造环境的大部分环境密不可分。因此,商业、研究和开发、信息服务、工程、社会服务和医学等无数部门已经不可逆转地受到人工智能能力的影响。人工智能有三个主要领域组成了这项技术:语音识别、计算机视觉和自然语言处理(见Yeung (2020))。在这本书中,我们将仔细研究自然语言处理(NLP)的现代方法。

这本小册子详细介绍了用于自然语言处理的现代方法,如深度学习和迁移学习。此外,本研究亦会研究可用于训练自然语言处理任务的资源,并会展示一个将自然语言处理应用于自然语言生成的用例。

为了分析和理解人类语言,自然语言处理程序需要从单词和句子中提取信息。由于神经网络和其他机器学习算法需要数字输入来进行训练,因此应用了使用密集向量表示单词的词嵌入。这些通常是通过有多个隐藏层的神经网络学习的,深度神经网络。为了解决容易的任务,可以应用简单的结构神经网络。为了克服这些简单结构的局限性,采用了递归和卷积神经网络。因此,递归神经网络用于学习不需要预先定义最佳固定维数的序列的模型,卷积神经网络用于句子分类。第二章简要介绍了NLP中的深度学习。第三章将介绍现代自然语言处理的基础和应用。在第四章和第五章中,将解释和讨论递归神经网络和卷积神经网络及其在自然语言处理中的应用。

迁移学习是每个任务或领域的学习模型的替代选择。在这里,可以使用相关任务或领域的现有标记数据来训练模型,并将其应用到感兴趣的任务或领域。这种方法的优点是不需要在目标域中进行长时间的训练,并且可以节省训练模型的时间,同时仍然可以(在很大程度上)获得更好的性能。迁移学习中使用的一个概念是注意力,它使解码器能够注意到整个输入序列,或自注意,它允许一个Transformer 模型处理所有输入单词,并建模一个句子中所有单词之间的关系,这使得快速建模一个句子中的长期依赖性成为可能。迁移学习的概念将在小册子的第6章简要介绍。第七章将通过ELMo、ULMFiT和GPT模型来描述迁移学习和LSTMs。第八章将详细阐述注意力和自注意力的概念。第九章将迁移学习与自注意力相结合,介绍了BERT模型、GTP2模型和XLNet模型。

为NLP建模,需要资源。为了找到任务的最佳模型,可以使用基准测试。为了在基准实验中比较不同的模型,需要诸如精确匹配、Fscore、困惑度或双语评估替补学习或准确性等指标。小册子的第十章简要介绍了自然语言处理的资源及其使用方法。第11章将解释不同的指标,深入了解基准数据集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA,以及可以找到资源的预训练模型和数据库,如“带代码的论文”和“大坏的NLP数据库”。

在小册子的最后一章中,介绍了生成性NLP处理自然语言生成,从而在人类语言中生成可理解的文本。因此,不同的算法将被描述,聊天机器人和图像字幕将被展示,以说明应用的可能性。

本文对自然语言处理中各种方法的介绍是接下来讨论的基础。小册子的各个章节将介绍现代的NLP方法,并提供了一个更详细的讨论,以及各种示例的潜力和限制。

成为VIP会员查看完整内容
0
133

计算机科学在建模和解决问题的方法上正在经历一个根本性的转变。早期的计算机科学家主要研究离散数学,专注于由有限数量的不同片段组成的图形、树和阵列等结构。随着快速浮点处理、“大数据”、三维扫描和其他噪杂输入来源的引入,现代计算机科学工作者必须设计健壮的方法来处理和理解实值数据。现在,除了离散数学,计算机科学家必须同样流利地掌握多元微积分和线性代数的语言。

数值算法介绍了计算机科学应用的数值方法的用户所必需的技能。本文是为高级本科生和早期研究生设计的,他们熟悉数学符号和形式,但需要在考虑算法的同时复习连续的概念。它涵盖了广泛的主题基础,从数值线性代数到优化和微分方程,目标是导出标准方法,同时发展直觉和舒适所需的理解更多的文献在每个子主题。在书中,每一章都温和而严谨地介绍了数值方法、数学背景和现代计算机科学的实例。

几乎每个部分都考虑了给定类型的数值算法的实际用例。例如,奇异值分解与统计方法、点云对齐和低秩近似一起被引入,最小二乘的讨论包括机器学习的概念,如核化和正则化。本理论与应用并行介绍的目的是提高设计数值方法和每种方法在实际情况中的应用。

成为VIP会员查看完整内容
0
54

基于最近关于非凸优化算法在训练深度神经网络和数据分析中的其他优化问题中的应用,我们对非凸优化算法全局性能保证的最新理论成果进行了综述。我们从经典的论证开始,证明一般的非凸问题不可能在合理的时间内得到有效的解决。然后,我们给出了一个可以通过尽可能多地利用问题的结构来寻找全局最优解的问题列表。处理非凸性的另一种方法是将寻找全局最小值的目标放宽到寻找一个平稳点或局部最小值。对于这种设置,我们首先给出确定性一阶方法收敛速度的已知结果,然后是最优随机和随机梯度格式的一般理论分析,以及随机一阶方法的概述。然后,我们讨论了相当一般的一类非凸问题,如α-弱拟凸函数的极小化和满足Polyak- Lojasiewicz条件的函数,这些函数仍然可以得到一阶方法的理论收敛保证。然后我们考虑非凸优化问题的高阶、零阶/无导数方法及其收敛速度。

成为VIP会员查看完整内容
0
42

凸优化研究在凸集上最小化凸函数的问题。凸性,连同它的许多含义,已经被用来为许多类凸程序提出有效的算法。因此,凸优化已经广泛地影响了科学和工程的几个学科。

过去几年,凸优化算法彻底改变了离散和连续优化问题的算法设计。对于图的最大流、二部图的最大匹配和子模函数最小化等问题,已知的最快算法涉及到对凸优化算法的基本和重要使用,如梯度下降、镜像下降、内点方法和切割平面方法。令人惊讶的是,凸优化算法也被用于设计离散对象(如拟阵)的计数问题。同时,凸优化算法已经成为许多现代机器学习应用的中心。由于输入实例越来越大、越来越复杂,对凸优化算法的需求也极大地推动了凸优化技术本身的发展。

这本书的目的是使读者能够获得对凸优化算法的深入理解。重点是从第一性原理推导出凸优化的关键算法,并根据输入长度建立精确的运行时间界限。由于这些方法的广泛适用性,一本书不可能向所有人展示这些方法的应用。这本书展示了各种离散优化和计数问题的快速算法的应用。本书中所选的应用程序的目的是为了说明连续优化和离散优化之间的一个相当令人惊讶的桥梁。

目标受众包括高级本科生、研究生和理论计算机科学、离散优化和机器学习方面的研究人员。

https://convex-optimization.github.io/

第一章-连续优化和离散优化的衔接

我们提出了连续优化和离散优化之间的相互作用。最大流问题是一个激励人心的例子。我们也追溯了线性规划的历史——从椭球法到现代内点法。最后介绍了椭球法在求解最大熵问题等一般凸规划问题上的一些最新成果。

第二章 预备知识

我们复习这本书所需的数学基础知识。这些内容包括多元微积分、线性代数、几何、拓扑、动力系统和图论中的一些标准概念和事实。

第三章-凸性

我们引入凸集,凸性的概念,并展示了伴随凸性而来的能力:凸集具有分离超平面,子梯度存在,凸函数的局部最优解是全局最优解。

第四章-凸优化与效率

我们提出了凸优化的概念,并正式讨论了它意味着什么,有效地解决一个凸程序作为一个函数的表示长度的输入和期望的精度。

第五章-对偶性与最优性

我们引入拉格朗日对偶性的概念,并证明在一个称为Slater条件的温和条件下,强拉格朗日对偶性是成立的。随后,我们介绍了拉格朗日对偶和优化方法中经常出现的Legendre-Fenchel对偶。最后,给出了Kahn-Karush-Tucker(KKT)最优性条件及其与强对偶性的关系。

第六章-梯度下降

我们首先介绍梯度下降法,并说明如何将其视为最陡下降。然后,我们证明了梯度下降法在函数的梯度是连续的情况下具有收敛时间界。最后,我们使用梯度下降法提出了一个快速算法的离散优化问题:计算最大流量无向图。

第七章-镜像下降和乘法权值更新

我们推出我们的凸优化的第二个算法-称为镜面下降法-通过正则化观点。首先,提出了基于概率单纯形的凸函数优化算法。随后,我们展示了如何推广它,重要的是,从它推导出乘法权值更新(MWU)方法。然后利用后一种算法开发了一个快速的近似算法来解决图上的二部图匹配问题。

第八章-加速梯度下降

提出了Nesterov的加速梯度下降算法。该算法可以看作是前面介绍的梯度下降法和镜像下降法的混合。我们还提出了一个应用加速梯度法求解线性方程组。

第九章-牛顿法

IWe开始了设计凸优化算法的旅程,其迭代次数与误差成对数关系。作为第一步,我们推导并分析了经典的牛顿方法,这是一个二阶方法的例子。我们认为牛顿方法可以被看作是黎曼流形上的最速下降,然后对其收敛性进行仿射不变分析。

第十章 线性规划的内点法

利用牛顿法及其收敛性,推导出一个线性规划的多项式时间算法。该算法的关键是利用障碍函数的概念和相应的中心路径,将有约束优化问题简化为无约束优化问题。

第十一章-内点法的变种与自洽

给出了线性规划中路径遵循IPM的各种推广。作为应用,我们推导了求解s-t最小代价流问题的快速算法。随后,我们引入了自一致性的概念,并给出了多边形和更一般凸集的障碍函数的概述。

第十二章 线性规划的椭球法

介绍了凸优化的一类切割平面方法,并分析了一种特殊情况,即椭球体法。然后,我们展示了如何使用这个椭球方法来解决线性程序超过0-1多边形时,我们只能访问一个分离oracle的多边形。

第十三章-凸优化的椭球法

我们展示了如何适应椭球法求解一般凸程序。作为应用,我们提出了子模函数最小化的多项式时间算法和计算组合多边形上的最大熵分布的多项式时间算法。

成为VIP会员查看完整内容
0
107

这本书的第五版继续讲述如何运用概率论来深入了解真实日常的统计问题。这本书是为工程、计算机科学、数学、统计和自然科学的学生编写的统计学、概率论和统计的入门课程。因此,它假定有基本的微积分知识。

第一章介绍了统计学的简要介绍,介绍了它的两个分支:描述统计学和推理统计学,以及这门学科的简短历史和一些人,他们的早期工作为今天的工作提供了基础。

第二章将讨论描述性统计的主题。本章展示了描述数据集的图表和表格,以及用于总结数据集某些关键属性的数量。

为了能够从数据中得出结论,有必要了解数据的来源。例如,人们常常假定这些数据是来自某个总体的“随机样本”。为了确切地理解这意味着什么,以及它的结果对于将样本数据的性质与整个总体的性质联系起来有什么意义,有必要对概率有一些了解,这就是第三章的主题。本章介绍了概率实验的思想,解释了事件概率的概念,并给出了概率的公理。

我们在第四章继续研究概率,它处理随机变量和期望的重要概念,在第五章,考虑一些在应用中经常发生的特殊类型的随机变量。给出了二项式、泊松、超几何、正规、均匀、伽玛、卡方、t和F等随机变量。

成为VIP会员查看完整内容
2
129

本备忘单是机器学习手册的浓缩版,包含了许多关于机器学习的经典方程和图表,旨在帮助您快速回忆起机器学习中的知识和思想。

这个备忘单有两个显著的优点:

  1. 清晰的符号。数学公式使用了许多令人困惑的符号。例如,X可以是一个集合,一个随机变量,或者一个矩阵。这是非常混乱的,使读者很难理解数学公式的意义。本备忘单试图规范符号的使用,所有符号都有明确的预先定义,请参见小节。

  2. 更少的思维跳跃。在许多机器学习的书籍中,作者省略了数学证明过程中的一些中间步骤,这可能会节省一些空间,但是会给读者理解这个公式带来困难,读者会在中间迷失。

成为VIP会员查看完整内容
0
182
小贴士
相关VIP内容
专知会员服务
32+阅读 · 4月20日
专知会员服务
92+阅读 · 3月22日
专知会员服务
133+阅读 · 2月22日
专知会员服务
42+阅读 · 2020年12月18日
专知会员服务
107+阅读 · 2020年9月1日
专知会员服务
129+阅读 · 2020年7月28日
机器学习速查手册,135页pdf
专知会员服务
182+阅读 · 2020年3月15日
相关资讯
最新《图嵌入组合优化》综述论文,40页pdf
最新《多任务学习》综述,39页pdf
专知
8+阅读 · 2020年7月10日
再谈人脸识别损失函数综述
人工智能前沿讲习班
10+阅读 · 2019年5月7日
机器学习中的最优化算法总结
人工智能前沿讲习班
12+阅读 · 2019年3月22日
从零推导支持向量机 (SVM)
AI科技评论
9+阅读 · 2019年2月7日
从动力学角度看优化算法:自适应学习率算法
PaperWeekly
7+阅读 · 2018年12月27日
独家 | 一文读懂优化算法
数据派THU
6+阅读 · 2017年9月15日
相关论文
Olivier Peltre
0+阅读 · 7月26日
Domitilla Brandoni,Margherita Porcelli,Valeria Simoncini
0+阅读 · 7月24日
Feng Xia,Ke Sun,Shuo Yu,Abdul Aziz,Liangtian Wan,Shirui Pan,Huan Liu
28+阅读 · 5月3日
Xia Hu,Lingyang Chu,Jian Pei,Weiqing Liu,Jiang Bian
17+阅读 · 3月8日
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
42+阅读 · 2020年7月2日
Meng Qu,Jian Tang
5+阅读 · 2019年6月20日
Self-Driving Cars: A Survey
Claudine Badue,Rânik Guidolini,Raphael Vivacqua Carneiro,Pedro Azevedo,Vinicius Brito Cardoso,Avelino Forechi,Luan Ferreira Reis Jesus,Rodrigo Ferreira Berriel,Thiago Meireles Paixão,Filipe Mutz,Thiago Oliveira-Santos,Alberto Ferreira De Souza
31+阅读 · 2019年1月14日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Simultaneous Localization and Mapping (SLAM) using RTAB-MAP
Sagarnil Das
5+阅读 · 2018年9月9日
Wenhan Xiong,Thien Hoang,William Yang Wang
18+阅读 · 2018年1月8日
Top