主动学习是一种有监督的机器学习协议,其中学习算法从大量未标记数据中序列地请求选定数据点的标签。这与被动学习形成了对比,被动学习是随机获取有标记的数据。主动学习的目标是产生一个高度精确的分类器,理想情况下使用的标签要比被动学习达到同样目的所需的随机标记数据的数量少。这本书描述了我们对主动学习的理论益处的理解的最新进展,以及对设计有效的主动学习算法的启示。文章的大部分内容都集中在一种特殊的方法上,即基于不同意见的主动学习,到目前为止,这种方法已经积累了大量的文献。它还从文献中简要地考察了几种可供选择的方法。重点是关于一些一般算法的性能的定理,包括适当的严格证明。然而,本文的目的是教学,集中于说明基本思想的结果,而不是获得最强或最普遍的已知定理。目标受众包括机器学习和统计学领域的研究人员和高级研究生,他们有兴趣更深入地了解主动学习理论最近和正在进行的发展。

成为VIP会员查看完整内容
1
52

相关内容

近年来,博弈论对计算机科学产生了重大影响,特别是在互联网和电子商务相关问题上。首次发表于2007年的算法博弈论,以清晰简洁的方式阐述了这一令人兴奋领域的核心思想和结果。在这个领域中,超过40位顶尖的研究人员已经撰写了从基础到技术的各个章节。关于均衡的算法方法、机制设计和组合拍卖的基本章节之后是关于激励和定价、成本分担、信息市场、密码和安全等重要博弈论应用的章节。这项决定性的工作将为今后几年乃至更久的研究奠定基调。学生、研究者和实践者都需要更多地了解这些引人入胜的理论发展及其广泛的实际应用。

https://www.cambridge.org/core/books/algorithmic-game-theory/0092C07CA8B724E1B1BE2238DDD66B38#fndtn-metrics

成为VIP会员查看完整内容
0
55

在过去的二十年里,机器学习已经成为信息技术的支柱之一,并因此成为我们生活中相当核心(尽管通常是隐藏的)的一部分。随着可用数据量的不断增加,我们有充分的理由相信,智能数据分析将变得更加普遍,成为技术进步的必要因素。本章的目的是为读者提供一个广泛的应用的概述,这些应用的核心是一个机器学习问题,并给这一大堆问题带来一定程度的秩序。在那之后,我们将讨论一些来自统计和概率论的基本工具,因为它们构成了许多机器学习问题必须被表述成易于解决的语言。最后,我们将概述一套相当基本但有效的算法来解决一个重要的问题,即分类。更复杂的工具,更普遍的问题的讨论和详细的分析将在本书后面的部分。

成为VIP会员查看完整内容
0
32

这本书调研了大约20世纪90年代末机器学习的许多重要课题。我的意图是在理论和实践之间寻求一个中间桥梁带。笔记集中在机器学习的重要思想上——它既不是一本实践手册,也不是一个理论证明的概要。我的目标是为读者提供充分的准备,使一些关于机器学习的广泛文献易于理解。草稿只有200多页(包括扉页)。

这本书集中在机器学习的重要思想上。对于我所陈述的许多定理,我并没有给出证明,但对于形式的证明,我确实给出了可信的论据和引用。而且,我没有讨论许多在应用中具有实际重要性的问题;这本书不是机器学习实践手册。相反,我的目标是为读者提供充分的准备,使大量关于机器学习的文献易于理解。

学习,就像智力一样,涵盖了如此广泛的过程,很难精确定义。词典的定义包括这样的短语:“通过学习、指导或经验获得知识、或理解、或技能”和“通过经验改变行为倾向”。动物学家和心理学家研究动物和人类的学习。在这本书中,我们关注的是机器学习。动物和机器学习之间有一些相似之处。当然,机器学习的许多技术都来自心理学家的努力,他们通过计算模型使动物和人类学习的理论更加精确。机器学习研究人员正在探索的概念和技术似乎也可能阐明生物学习的某些方面。

成为VIP会员查看完整内容
0
41

本书是信息论领域中一本简明易懂的教材。主要内容包括:熵、信源、信道容量、率失真、数据压缩与编码理论和复杂度理论等方面的介绍。

本书还对网络信息论和假设检验等进行了介绍,并且以赛马模型为出发点,将对证券市场研究纳入了信息论的框架,从新的视角给投资组合的研究带来了全新的投资理念和研究技巧。

本书适合作为电子工程、统计学以及电信方面的高年级本科生和研究生的信息论基础教程教材,也可供研究人员和专业人士参考。

本书是一本简明易懂的信息论教材。正如爱因斯坦所说:“凡事应该尽可能使其简单到不能再简单为止。''虽然我们没有深人考证过该引语的来源(据说最初是在幸运蛋卷中发现的),但我们自始至终都将这种观点贯穿到本书的写作中。信息论中的确有这样一些关键的思想和技巧,一旦掌握了它们、不仅使信息论的主题简明,而且在处理新问題时提供重要的直觉。本书来自使用了十多年的信息论讲义,原讲义是信息论课程的高年级本科生和一年级研究生两学期用的教材。本书打算作为通信理论.计算机科学和统计学专业学生学习信息论的教材。

信息论中有两个简明要点。第一,熵与互信息这样的特殊量是为了解答基本问题而产生的。例如,熵是随机变量的最小描述复杂度,互信息是度量在噪声背景下的通信速率。另外,我们在以后还会提到,互信息相当于已知边信息条件下财富双倍的增长。第二,回答信息理论问邀的答案具有自然的代数结构。例如,熵具有链式法则,因而,谪和互信息也是相关的。因此,数据压缩和通信中的问题得到广泛的解释。我们都有这样的感受,当研究某个问题时,往往历经大量的代数运算推理得到了结果,但此时没有真正了解问题的全莪,最终是通过反复观察结果,才对整个问题有完整、明确的认识。所以,对一个问题的全面理解,不是靠推理,而是靠对结果的观察。要更具体地说明这一点,物理学中的牛顿三大定律和薛定谔波动方程也许是最合适的例子。谁曾预见过薛定谔波动方程后来会有如此令人敬畏的哲学解释呢?

在本书中,我们常会在着眼于问题之前,先了解一下答案的性质。比如第2章中,我们定义熵、相对熵和互信息,研究它们之间的关系,再对这些关系作一点解释·由此揭示如何融会贯通地使用各式各样的方法解决实际问题。同理,我们顺便探讨热力学第二定律的含义。熵总是增加吗?答案既肯定也否定。这种结果会令专家感兴趣,但初学者或i午认为这是必然的而不会深人考虑。

在实际教学中.教师往往会加人一自己的见解。事实上,寻找无人知道的证明或者有所创新的结果是一件很愉快的事情。如果有人将新的思想和已经证明的内容在课堂上讲解给学生,那么不仅学生会积极反馈“对,对,对六而且会大大地提升教授该课程的乐崆我们正是这样从研究本教材的许多新想法中获得乐趣的。

本书加人的新素材实例包括信息论与博弈之间的关系,马尔可夫链背景下热力学第二定律的普遍性问题,信道容量定理的联合典型性证明,赫夫曼码的竞争最优性,以及关于最大熵谱密度估计的伯格(回定理的证明。科尔莫戈罗夫复杂度这一章也是本书的独到之处。面将费希尔信息,互信息、中心极限定理以及布伦一闵可夫斯基不等式与熵幂不等式联系在一起,也是我们引以为豪之处。令我们感到惊讶的是.关于行列式不等式的许多经典结论,当利用信息论不等式后会很容易得到证明。

自从香农的奠基性论文面世以来,尽管信息论已有了相当大的发展,但我们还是要努力强调它的连贯性。虽然香农创立信息论时受到通信理论中的问题启发,然而我们认为信息论是一门独立的学科,可应用于通信理论和统计学中。我们将信息论作为一个学科领域从通信理论、概率论和统计学的背景中独立出来因为明显不可能从这些学科中获得难以理解的信息概念。由于本书中绝大多数结论以定理和证明的形式给出,所以,我们期望通过对这些定理的巧妙证明能说明这些结论的完美性。一般来讲,我们在介绍问题之前先描述回题的解的性质,而这些很有的性质会使接下来的证明顺理成章。

使用不等式串、中间不加任何文字、最后直接加以解释,是我们在表述方式上的一项创新希望读者学习我们所给的证明过程达到一定数量时,在没有任何解释的情况下就能理解其中的大部分步,并自己给出所需的解释这些不等式串好比模拟到试题,读者可以通过它们确认自己是否已掌握证明那些重要定理的必备知识。这些证明过程的自然流程是如此引人注目,以至于导致我们轻视了写作技巧中的某条重要原则。由于没有多余的话,因而突出了思路的逻辑性与主題思想u我们希望当读者阅读完本书后,能够与我们共同分亨我们所推崇的,具有优美、简洁和自然风格的信息论。

本书广泛使用弱的典型序列的方法,此概念可以追溯到香农1948年的创造性工作,而它真正得到发展是在20世纪70年代初期。其中的主要思想就是所谓的渐近均分性(AEP),或许可以粗略地说成“几乎一切事情都是等可能的"

第2章阐述了熵、相对熵和互信息之同的基本代数关系。渐近均分性是第3章重中之重的内容,这也使我们将随机过程和数据压缩的熵率分别放在第4章和第5章中论述。第6章介绍博弈,研究了数据压缩的对偶性和财富的增长率。可作为对信息论进行理性思考基础的科尔莫戈罗夫复杂度,拥有着巨大的成果,放在第14章中论述。我们的目标是寻找一个通用的最矩描述,而不是平均意义下的次佳描述。的确存在这样的普遍性概念用来刻画一个对象的复杂度。该章也论述了神奇数0,揭示数学上的不少奥秘,是图灵机停止运转概率的推广。第7章论述信道容量定理。第8章叙述微分熵的必需知识,它们是将早期容量定理推广到连续噪声信道的基础。基本的高斯信道容量问题在第9章中论述。第il章阐述信息论和统计学之间的关系,20世纪年代初期库尔贝克首次对此进行了研究,此后相对被忽视。由于率失真理论比无噪声数据压缩理论需要更多的背景知识,因而将其放置在正文中比较靠后的第10章。

网络信息理论是个大的主题,安排在第巧章,主要研究的是噪声和干扰存在情形下的同时可达的信息流。有许多新的思想在网络信息理论中开始活跃起来,其主要新要素有干扰和反馈第16章讲述股票市场,这是第6章所讨论的博弈的推广,也再次表明了信息论和博弈之间的紧密联系。第17章讲述信息论中的不等式,我们借此一隅把散布于全书中的有趣不等式重新收拢在一个新的框架中,再加上一些关于随机抽取子集熵率的有趣新不等式。集合和的体积的布伦一闵可夫斯基不等式,独立随机变量之和的有效方差的熵幂不等式以及费希尔信息不等式之间的美妙关系也将在此章中得到详尽的阐述。

本书力求推理严密,因此对数学的要求相当高·要求读者至少学过一学期的概率论课程且有扎实的数学背景,大致为本科高年级或研究生一年级水平。尽管如此,我们还是努力避免使用测度论。因为了解它只对第16章中的遍历过程的AEP的证明过程起到简化作用。这符合我们的观点,那就是信息论基础与技巧不同,后者才需要将所有推广都写进去。

本书的主体是第2,3,4,5,7,8,9,10,11和巧章,它们自成体系,读懂了它们就可以对信息论有很好的理解。但在我们看来,第14章的科尔莫戈罗夫复杂度是深人理解信息论所需的必备知识。余下的几章,从博弈到不等式.目的是使主题更加连贯和完美。

成为VIP会员查看完整内容
0
92

「本书提供许多绝佳的机器学习实用案例。有别于工具书或理论证明,本书着重于实际问题处理,因此具备程式设计背景及对机器学习有兴趣的读者们均可轻松入门。」

  • Max Shron, OkCupid

如果你是平时喜欢上网搜集各种资料的程式设计师,想寻找并学习资料分析的方法与工具,本书将会是您了解机器学习最好的起点。在Machine Learning领域中,包含各种分析问题的工具与方法,可以让我们很方便地架构出一套自动分析资料系统,使电脑可以自动分析。不过这些方法的背后,通常都蕴含着艰涩、难懂的数学理论,因而提高了学习门槛。有鉴于此,本书作者Drew Conway和John Myles准备了许多实用案例。在本书中,他们将以生动活泼的方式,使用案例导向方式,透过生活实例,带领我们一起学习这些Machine Learning工具和统计工具的实际应用。经由这些过程学习机器学习领域的核心与价值,而非传统数学导向的介绍方式。

本书采用实例导向、问题导向的介绍方式,在每一个章节中,透过实际问题,介绍机器学习典型问题与解决方法。其中包含:分类问题、预测问题、最佳化问题、推荐系统建置问题...等,在书中都会一一介绍。本书所有程式均以R语言撰写,于每个章节中将学到:如何以R语言分析资料,并撰写简易机器学习演算法。《机器学习骇客秘笈》本书,是专为机器学习领域的初学者所写的,无论是商业、政府机关或学术界...等都适用。

chapter 01使用R语言 chapter 02资料探索 chapter 03文本分类:垃圾邮件判断 chapter 04项目排序:优先收件匣 chapter 05回归分析:预测网页浏览人次 chapter 06正则化:文本回归 chapter 07最佳化:破解密码 chapter 08 PCA:建立股价指数 chapter 09 MDS:视觉化呈现美国参议员相似度 chapter 10 kNN:推荐系统 chapter 11分析社群关系图 chapter 12模型比较

成为VIP会员查看完整内容
0
38

**从简单的样本到困难的样本,以一种有意义的顺序,使用课程学习可以提供比基于随机数据变换的标准训练方法更好的性能,而不需要额外的计算成本。**课程学习策略已成功地应用于机器学习的各个领域,广泛的任务。然而,必须找到一种方法来对样本从容易到难进行排序,以及正确的节奏函数来引入更难的数据,这可能会限制课程方法的使用。在本综述中,我们展示了这些限制是如何在文献中被处理的,并且我们为机器学习中的各种任务提供了不同的课程学习实例。我们根据不同的分类标准,手工构建了一个多角度的课程学习方法分类。我们进一步使用凝聚聚类算法建立课程学习方法的层次树,将发现的聚类与我们的分类方法联系起来。最后,我们对未来的工作提出了一些有趣的方向。

https://www.zhuanzhi.ai/paper/737037858f92a59732f06559b38cfc15

背景和动机。深度神经网络已经在各种各样的任务成为最先进的方法,从对象识别图像[1],[2],[3],[4]和医学成像[5],[11]0,[11]1,[11]3到文本分类[11]2,[10],[11],[12]和语音识别[13],[14]。这一研究领域的主要焦点是构建越来越深入的神经体系结构,这是最近性能改进的主要驱动力。例如,Krizhevsky等人的CNN模型[1]在只有8层结构的ImageNet[15]上达到了15.4%的top-5误差,而最近的ResNet模型[4]达到了3.6%的top-5误差,有152层。在过去的几年里,CNN的架构已经进化到可以容纳更多的卷积层,减少滤波器的尺寸,甚至消除完全连接的层,相比之下,人们对改进训练过程的关注较少。上面提到的最先进的神经模型的一个重要限制是在训练过程中以随机顺序考虑示例。事实上,训练通常是用小批随机梯度下降的某种变体来进行的,每个小批中的例子是随机选择的。

既然神经网络的架构是受到人类大脑的启发,那么我们似乎可以合理地认为,学习过程也应该受到人类学习方式的启发。与机器通常接受的训练方式的一个本质区别是,人类学习基本(简单)概念的时间较早,学习高级(困难)概念的时间较晚。这基本上反映在世界上所有学校系统所教授的课程中,因为当例子不是随机呈现,而是按照有意义的顺序组织起来时,人类学习得更好。使用类似的策略训练机器学习模型,我们可以实现两个重要的好处: (i) 提高训练过程的收敛速度和(ii) 更好的准确性。Elman[16]对这一方向进行了初步研究。据我们所知,Bengio等人[17]是第一个在机器学习的背景下形成易-难训练策略的人,并提出了课程学习(CL)范式。这一开创性的工作激发了许多研究人员在各种应用领域研究课程学习策略,如弱监督对象定位[18],[19],[20],对象检测[21],[22],[23],[24]和神经机器翻译[25],[26],[27],[18]0等。这些研究的实证结果表明,用课程学习取代基于随机小批量抽样的传统训练有明显的好处。尽管课程学习在多个领域都取得了一致的成功,但这种训练策略并没有被主流作品所采用。这一事实促使我们撰写了这篇关于课程学习方法的综述,以提高课程学习方法的普及程度。另一方面,研究人员提出了相反的策略,强调更难的例子,如硬样例挖掘(HEM)[29],[30],[31],[32]或反课程[33],[34],在特定条件下显示出改善的结果。

贡献。我们的第一个贡献是将现有的课程学习方法正式化。这使我们能够定义课程学习的一般形式。从理论上讲,我们将课程学习与任何机器学习方法的四个主要组成部分联系起来:数据、模型、任务和性能度量。我们观察到,课程学习可以应用于这些组成部分中的每一个,所有这些课程形式都有一个与损失函数平滑相关的联合解释。在此基础上,结合数据类型、任务、课程策略、排名标准和课程安排的正交分析视角,对课程学习方法进行了分类。我们用自动构建的课程方法层次树来验证人工构建的分类方法。在很大程度上,层次树确认了我们的分类,尽管它也提供了一些新的视角。在收集关于课程学习和定义课程学习方法分类的工作的同时,我们的综述也旨在展示课程学习的优势。因此,我们最后的贡献是在主流工作中提倡课程学习。

成为VIP会员查看完整内容
1
25

本书是关于在R中快速进入建立机器学习模型,这个理论被保持在最低限度,并且有关于分类,聚类,特征工程和关联规则的每一个主要算法的例子。

成为VIP会员查看完整内容
0
13

基于最近关于非凸优化算法在训练深度神经网络和数据分析中的其他优化问题中的应用,我们对非凸优化算法全局性能保证的最新理论成果进行了综述。我们从经典的论证开始,证明一般的非凸问题不可能在合理的时间内得到有效的解决。然后,我们给出了一个可以通过尽可能多地利用问题的结构来寻找全局最优解的问题列表。处理非凸性的另一种方法是将寻找全局最小值的目标放宽到寻找一个平稳点或局部最小值。对于这种设置,我们首先给出确定性一阶方法收敛速度的已知结果,然后是最优随机和随机梯度格式的一般理论分析,以及随机一阶方法的概述。然后,我们讨论了相当一般的一类非凸问题,如α-弱拟凸函数的极小化和满足Polyak- Lojasiewicz条件的函数,这些函数仍然可以得到一阶方法的理论收敛保证。然后我们考虑非凸优化问题的高阶、零阶/无导数方法及其收敛速度。

成为VIP会员查看完整内容
0
42

论文主题: Recent Advances in Deep Learning for Object Detection

论文摘要: 目标检测是计算机视觉中的基本视觉识别问题,并且在过去的几十年中已得到广泛研究。目标检测指的是在给定图像中找到具有精确定位的特定目标,并为每个目标分配一个对应的类标签。由于基于深度学习的图像分类取得了巨大的成功,因此近年来已经积极研究了使用深度学习的对象检测技术。在本文中,我们对深度学习中视觉对象检测的最新进展进行了全面的调查。通过复习文献中最近的大量相关工作,我们系统地分析了现有的目标检测框架并将调查分为三个主要部分:(i)检测组件,(ii)学习策略(iii)应用程序和基准。在调查中,我们详细介绍了影响检测性能的各种因素,例如检测器体系结构,功能学习,建议生成,采样策略等。最后,我们讨论了一些未来的方向,以促进和刺激未来的视觉对象检测研究。与深度学习。

成为VIP会员查看完整内容
0
65
小贴士
相关主题
相关VIP内容
相关论文
Petru Soviany,Radu Tudor Ionescu,Paolo Rota,Nicu Sebe
16+阅读 · 1月25日
Eugene A. Golikov
5+阅读 · 2020年12月10日
Transfer Learning in Deep Reinforcement Learning: A Survey
Zhuangdi Zhu,Kaixiang Lin,Jiayu Zhou
15+阅读 · 2020年9月16日
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
42+阅读 · 2020年7月2日
Advances and Open Problems in Federated Learning
Peter Kairouz,H. Brendan McMahan,Brendan Avent,Aurélien Bellet,Mehdi Bennis,Arjun Nitin Bhagoji,Keith Bonawitz,Zachary Charles,Graham Cormode,Rachel Cummings,Rafael G. L. D'Oliveira,Salim El Rouayheb,David Evans,Josh Gardner,Zachary Garrett,Adrià Gascón,Badih Ghazi,Phillip B. Gibbons,Marco Gruteser,Zaid Harchaoui,Chaoyang He,Lie He,Zhouyuan Huo,Ben Hutchinson,Justin Hsu,Martin Jaggi,Tara Javidi,Gauri Joshi,Mikhail Khodak,Jakub Konečný,Aleksandra Korolova,Farinaz Koushanfar,Sanmi Koyejo,Tancrède Lepoint,Yang Liu,Prateek Mittal,Mehryar Mohri,Richard Nock,Ayfer Özgür,Rasmus Pagh,Mariana Raykova,Hang Qi,Daniel Ramage,Ramesh Raskar,Dawn Song,Weikang Song,Sebastian U. Stich,Ziteng Sun,Ananda Theertha Suresh,Florian Tramèr,Praneeth Vepakomma,Jianyu Wang,Li Xiong,Zheng Xu,Qiang Yang,Felix X. Yu,Han Yu,Sen Zhao
16+阅读 · 2019年12月10日
Deep Learning in Video Multi-Object Tracking: A Survey
Gioele Ciaparrone,Francisco Luque Sánchez,Siham Tabik,Luigi Troiano,Roberto Tagliaferri,Francisco Herrera
35+阅读 · 2019年7月31日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
316+阅读 · 2019年4月10日
Risk-Aware Active Inverse Reinforcement Learning
Daniel S. Brown,Yuchen Cui,Scott Niekum
4+阅读 · 2019年1月8日
A Survey of Learning Causality with Data: Problems and Methods
Ruocheng Guo,Lu Cheng,Jundong Li,P. Richard Hahn,Huan Liu
7+阅读 · 2018年9月25日
Deep Learning
Nicholas G. Polson,Vadim O. Sokolov
3+阅读 · 2018年8月3日
Top