邢波(卡内基梅隆大学机器学习系副主任)的这场talk是一场非常insightful的报告,这场报告的主要点是围绕我们能不能像当年麦克斯韦统一电磁学一样来只用几个方程式就能统一现在众多的ML/AI算法。最后给出了展望:进入这个ML/AI领域的人不必是专家,或者对这方面有丰富知识的人,他们可以从一个最简单的equation开始,然后不断的向上加东西,就像玩乐高一样,然后创造出非常好的,有用的结果。

摘要: 在处理从数据实例、知识、约束、奖励、对手到不断增长的任务范围内的终身相互作用的广泛经验中,当代ML/AI研究已经产生了数以千计的模型、学习范例、优化算法,更不用说无数的逼近启发式、调优技巧、黑箱神谕,以及以上所有这些的组合。这些成果在推动该领域快速发展的同时,也使得对现有ML技术的全面掌握变得越来越困难,使ML/AI产品的标准化、可重复使用、可重复、可靠和可解释的实践以及进一步开发的成本变得非常高,如果可能的话。在这篇演讲中,我们从损失、优化求解器和模型架构等方面,给出了一个简单而系统的ML蓝图,为学习提供了一个统一的数学公式与所有的经验和任务。该蓝图提供了对各种ML算法的整体理解,指导使用ML以可组合和机械的方式创建问题解决方案,以及用于理论分析的统一框架。

成为VIP会员查看完整内容
0
25

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

徐宗本院士在SIGIR2020的演讲,突破机器学习前提的瓶颈,非常硬核,值得学习

徐宗本

西安交通大学教授、陈嘉庚奖获得者、中国科学院院士

徐宗本教授发表了280余篇关于非线性功能分析,优化,机器学习和大数据研究的学术论文,其中大部分在国际期刊上。他目前的研究兴趣包括用于大数据分析,机器学习和数据科学的数学理论和基本算法。徐教授获得了许多学术奖项,例如,国家自然科学奖(2007年),国家科学技术进步奖(2011年),CSIAM Su Buchin应用数学奖(2008年)和Tan Kah Kee科学奖(信息技术科学,2018年)。应大会委员会的邀请,他在国际数学家大会(ICM 2010)上发表了45分钟的演讲。2011年当选为中国科学院院士。徐宗本院士在7月27日即主会议的首日下午,围绕“关于机器学习的前提:一个元理论”带来主题演讲。

关于机器学习的前提:一个元理论

机器学习(ML)运行和应用的前提是一系列的前提,这些前提既是AI的巨大成功,也是ML进一步发展的瓶颈。这些前提包括: (一)数据集上损失函数的独立性假设(假设i); (二)假设空间上的大容量假设,包括解(假设二); (三) 训练数据高质量的完备性假设(假设三);欧几里得关于分析框架和方法的假设(假设四)。

在这次演讲中,我们报告了我的团队在如何突破ML的这些预设并推动ML的发展方面所做的努力和取得的进展。对于假设I,我们引入噪声建模原理,根据数据样本的分布自适应地设计ML的损失函数,从而为实现ML的健壮性提供了一种通用的方法。对于假设二,我们提出了模型驱动的深度学习方法来定义深度神经网络(DNN)的最小假设空间,这不仅产生了非常高效的深度学习,而且为DNN的设计、解释和与传统的基于优化的方法联系提供了一种新的方法。对于假设三,我们开发了公理课程学习框架,从一个不完整的数据集,由易到难,一步一步地学习模式,从而为处理非常复杂的不完整数据集提供了可行的方法。最后,对于假设IV,我们引入一般的巴拿赫空间几何,特别是徐罗奇定理,作为对ML问题进行非欧几里得分析的可能有用的工具。在每个案例中,我们都提出了其思想、原理、应用实例和文献。

成为VIP会员查看完整内容
0
29

交互式信息检索:模型、算法和评估

由于信息检索(IR)通常是一个交互过程,因此研究交互式信息检索(IIR)是很重要的,在IIR中,我们将尝试建模和优化整个交互式检索过程(而不是单个查询),同时考虑用户可能与搜索引擎交互的许多不同方式。本教程系统地回顾了IIR的研究进展,重点介绍了IIR的模型、算法和评估策略的最新进展。首先对IIR的研究进行了广泛的概述,然后介绍了使用合作博弈框架进行IIR的形式化模型,并涵盖了决策理论模型,如接口卡模型和IIR的概率排序原理。接下来,它提供了一个审查一些代表特定的信息检索的技术和算法,如各种形式的反馈技术和多样化的搜索结果,然后讨论了应该如何评价一个信息检索系统和多种策略提出最近使用模拟的用户评价信息检索。本教程最后简要讨论了IIR中的主要开放挑战和一些最有前途的未来研究方向。

视频地址:

https://sigir-preview.baai.ac.cn/vod-0726/tut0008.mp4

成为VIP会员查看完整内容
0
22

这本书全面介绍优化工程系统设计的实用算法。这本书从工程的角度进行优化,其目标是设计一个系统来优化受约束的一组指标。读者将学习一系列挑战的计算方法,包括高维搜索空间,处理有多个竞争目标的问题,以及适应指标中的不确定性。图表、例子和练习传达了数学方法背后的直觉。文本提供了Julia编程语言的具体实现。

https://mitpress.mit.edu/books/algorithms-optimization

许多学科的核心都涉及到优化。在物理学中,系统被驱动到他们的最低能量状态服从物理定律。在商业上,公司的目标是股东价值最大化。在生物学中,越健康的生物体越有可能生存下来。这本书将从工程的角度关注优化,目标是设计一个系统来优化受约束的一组指标。这个系统可以是一个复杂的物理系统,比如飞机,也可以是一个简单的结构,比如自行车车架。这个系统甚至可能不是物理的;例如,我们可能会有兴趣为自动化车辆设计一个控制系统,或设计一个计算机视觉系统来检测肿瘤活检的图像是否为癌。我们希望这些系统能运行得尽可能好。根据应用程序的不同,相关的度量可能包括效率、安全性和准确性。对设计的限制可能包括成本、重量和结构坚固性。

这本书是关于优化的算法,或计算过程。给定系统设计的一些表示,如编码机翼几何的一组数字,这些算法将告诉我们如何搜索空间的可能设计,以找到最好的一个。根据应用程序的不同,这种搜索可能涉及运行物理实验,比如风洞测试,也可能涉及计算解析表达式或运行计算机模拟。我们将讨论解决各种挑战的计算方法,例如如何搜索高维空间,处理有多个竞争目标的问题,以及适应指标中的不确定性。

成为VIP会员查看完整内容
0
178

【导读】机器学习和系统芯片互相促进发展,近年来机器学习算法深刻改变了计算硬件资源的发展。最近谷歌发布了强化学习用于芯片布局的论文。在加州理工的《数据驱动算法设计》课程上,GOOGLE两位研究人员Azalia Mirhoseini & Anna Goldie做了《机器学习在系统和芯片设计》的报告,讲述了机器学习芯片设计技术,值得关注。Jeff Dean在Twitter做了推荐。

在过去的十年中,系统和硬件已经改变了机器学习。现在是机器学习改变系统和硬件的时候了。在芯片设计过程中,芯片布局(chip placement)可以说是其中最复杂和耗时的步骤了。芯片设计周期的缩短有助于硬件设备适应机器学习领域的快速发展,那么,机器学习能否助力芯片设计呢?最近,谷歌提出了一种基于强化学习的芯片布局方法。本报告内容包括:

  • 学习优化器件放置
  • 学习配分图
  • 学习优化芯片布局

概述

计算机芯片通常分为数十个模块,每个模块都是一个单独的模组,例如内存的子系统、计算单元以及控制逻辑的系统。这些模块可以通过网表以及宏(内存组件)和标准单元(逻辑门,例如 NAND、NOR 和 XOR)等电路组件图来描述,而所有这些组件均通过网格连接。

确定芯片如何布局(通常称为芯片的布局规划过程)是芯片设计过程中最复杂、最耗时的阶段之一,它涉及到将网表放置在芯片的画布(2D 网格)上,尽可能使得功率、性能和面积(PPA)降至最低,同时还要注意密度和布线拥塞方面的限制。

尽管对此方向进行了数十年的研究,但是行业内专家仍然需要迭代数周的时间才能完成一个满足多方面设计标准的解决方案。简单来说,其复杂性来自于几个主要层面:网表图的大小(数百万至数十亿个节点)、网表图放置的网格粒度,以及计算真实目标所产生的过高成本,如果使用行业标准的电子设计自动化工具这个计算过程可能要花费数小时(有时甚至超过一天)。

谷歌研究者将芯片布局看作一个强化学习问题,然后训练智能体将芯片网表(netlist)的节点放置在芯片画布(canvas)上。为了使强化学习策略泛化至新的芯片 block,研究者将表征学习置于预测芯片布局质量的监督任务中。通过设计能够在大量网表及其布局上准确预测奖励的神经架构,该研究生成输入网表的丰富特征嵌入。然后利用该架构作为策略和价值网络的编码器,实现迁移学习。

该研究旨在最小化芯片设计的 PPA(功耗、性能和面积)。研究者称,该方法能够在 6 小时内完成芯片布局设计,布局质量超过或匹配人类设计,而现有的基线方法需要人类专家参与,且往往需要数周时间才能完成。此外,谷歌还表示,该方法可以为谷歌加速器芯片(TPU)生成更优化的芯片放置方案,还适用于任意类型的芯片(ASIC)。 Chip Placement with Deep Reinforcement Learning

博客链接:http://ai.googleblog.com/2020/04/chip-design-with-deep-reinforcement.html

作者:Azalia Mirhoseini、Anna Goldie、Jeff Dean 等 论文链接:https://arxiv.org/pdf/2004.10746.pdf

摘要:在芯片设计过程中,芯片布局(chip placement)可以说是其中最复杂和耗时的步骤了。芯片设计周期的缩短有助于硬件设备适应机器学习领域的快速发展,那么,机器学习能否助力芯片设计呢?最近,谷歌提出了一种基于强化学习的芯片布局方法。

研究者将芯片布局看作一个强化学习问题,然后训练智能体将芯片网表(netlist)的节点放置在芯片画布(canvas)上。为了使强化学习策略泛化至新的芯片 block,研究者将表征学习置于预测芯片布局质量的监督任务中。通过设计能够在大量网表及其布局上准确预测奖励的神经架构,该研究生成输入网表的丰富特征嵌入。然后利用该架构作为策略和价值网络的编码器,实现迁移学习。

该研究旨在最小化芯片设计的 PPA(功耗、性能和面积)。研究者称,该方法能够在 6 小时内完成芯片布局设计,布局质量超过或匹配人类设计,而现有的基线方法需要人类专家参与,且往往需要数周时间才能完成。

成为VIP会员查看完整内容
0
46

林轩田机器学习基石这门课有一个配套教材:《Learning From Data》,林轩田也是编者之一。这本书的主页为:Learning From Data,豆瓣上关于这本书的评分高达9.4,还是很不错的,值得推荐!可以配套视频一起学习。

机器学习允许计算系统根据从观测数据中积累的经验自适应地改进性能。其技术广泛应用于工程、科学、金融、商业等领域。这本书是为机器学习的短期课程设计的。这是一门短期课程,不是仓促的课程。经过十多年的教材教学,我们提炼出了我们认为每个学生都应该知道的核心主题。我们选择了“从数据中学习”这个标题,它忠实地描述了这个主题是关于什么的,并且以一种类似故事的方式覆盖了这些主题。我们希望读者能通过从头到尾阅读这本书来学习这门学科的所有基础知识。

  • 数据学习具有明显的理论和实践轨迹。在这本书中,我们平衡了理论和实践,数学和启发式。我们的纳入标准是相关性。包括建立学习概念框架的理论,以及影响实际学习系统性能的启发法。

  • 从数据中学习是一个动态的领域。一些热门的技术和理论有时只是一时的流行,而另一些获得了牵引,成为该领域的一部分。我们在本书中强调的是必要的基础知识,这些基础知识使任何从数据中学习的学生有了坚实的基础,并使他们能够冒险去探索更多的技术和理论,或者贡献自己的知识。

  • 作者是加州理工学院(Caltech)、伦斯勒理工学院(RPI)和国立台湾大学(NTU)的教授,这本书是他们广受欢迎的机器学习课程的主要教材。作者还广泛咨询了金融和商业公司关于机器学习的应用,并在机器学习竞赛中带领获胜团队。

成为VIP会员查看完整内容
0
135

【导读】这本书对自动化机器学习(AutoML)的一般化方法进行了全面的阐述,并且收集了以这些方法为基础的系统的描述和一系列关于自动化机器学习系统领域的挑战。最近,机器学习在商业领域取得的成就和该领域的快速增长对机器学习产生了大量的需求,尤其是可以很容易地使用,并且不需要专家知识的机器学习方法。然而,当前许多表现优异的机器学习方法的大多都依赖人类专家去手动选择适当的机器学习架构以及模型的超参数(深度学习架构或者更加传统的机器学习方法)。为了克服这个问题,AutoML基于优化原理和机器学习本身去逐步实现机器学习的自动化。这本书可以为为研究人员和高年级学生提供一个进入这个快速发展的领域的切入点,同时也为打算在工作中使用AutoML的从业者提供参考。

第一部分 自动机器学习方法

每个机器学习系统都有超参数,而自动化机器学习最基本的任务就是自动设置这些超参数来优化性能。尤其是最近的深度神经网络严重依赖对于神经网络的结构、正则化和优化等超参数的选择。自动优化超参数(HPO)有几个重要的用例:​

  • 减少机器学习应用过程中所需的人力。这在自动化机器学习(AutoML)的上下文中尤其重要。
  • 提高机器学习算法的性能(根据实际问题调整算法);这已经在一些研究中对重要的机器学习基准方法产生了效果。
  • 提高科学研究的再现性和公平性。自动化的HPO显然比手工搜索更具可重复性。它使得不同的方法可以公平的比较,因为不同的方法只有在它们在相同级别的问题上调优时才能公平地进行比较。

第二部分 自动化机器学习系统

越来越多的非领域专家开始学习使用机器学习工具,他们需要非独立的解决方案。机器学习社区通过开源代码为这些用户提供了大量复杂的学习算法和特征选择方法,比如WEKA和mlr。这些开源包需要使用者做出两种选择:选择一种学习算法,并通过设置超参数对其进行定制。然而想要一次性做出正确的选择是非常具有挑战性的,这使得许多用户不得不通过算法的声誉或直觉来进行选择,并将超参数设置为默认值。当然,采用这种方法所获得的性能要比最佳方法进行超参数设置差得多。

第三部分 自动化机器学习面临的挑战

直到十年之前,机器学习还是一门鲜为人知的学科。对于机器学习领域的科学家们来说,这是一个“卖方市场”:他们研究产出了大量的算法,并不断地寻找新的有趣的数据集。大的互联网公司积累了大量的数据,如谷歌,Facebook,微软和亚马逊已经上线了基于机器学习的应用,数据科学竞赛也吸引了新一代的年轻科学家。如今,随着开放性数据的增加,政府和企业不断发掘机器学习的新的应用领域。然而,不幸的是机器学习并不是全自动的:依旧很难确定哪个算法一定适用于哪种问题和如何选择超参数。完全自动化是一个无界的问题,因为总是有一些从未遇到过的新设置。AutoML面临的挑战包括但不限于:

  • 监督学习问题(分类和回归)
  • 特征向量表示问题
  • 数据集特征分布问题(训练集,验证集和测试集分布相同)
  • 小于200兆字节的中型数据集
  • 有限的计算资源
成为VIP会员查看完整内容
0
112

机器学习速成课程 是 Google 在 google.cn 推出的一些了机器学习课程,针对初学者,只要有一些基础的数学以及 python 知识,就可以开始快速入门。

这套教程可以帮你解决以下问题:

机器学习与传统编程有何不同?

什么是损失,如何衡量损失?

梯度下降法的运作方式是怎样的?

如何确定我的模型是否有效?

怎样为机器学习提供我的数据?

如何构建深度神经网络?

成为VIP会员查看完整内容
0
99

课程介绍

在人工智能、统计学、计算机系统、计算机视觉、自然语言处理和计算生物学等许多领域中的问题,都可以被视为从局部信息中寻找一致的全局结论。概率图模型框架为这些普遍问题提供了统一的视角解决方案,支持在具有大量属性和庞大数据集的问题中进行有效的推理、决策和学习。本研究生课程将为您运用图模型到复杂的问题和解决图模型的核心研究课题提供坚实的基础。

课程大纲

  • 模块1 - 简介,表示形式和精确推断
  • 模块2 - 近似推断
  • 模块3 - 深度学习和生成模型
  • 模块4 - 通过GM中的推理进行强化学习和控制
  • 模块5 - 非参数方法
  • 模块6 - 模块化和可扩展的算法和系统

讲师:邢波

讲师简介

邢波,卡耐基梅隆大学教授,曾于2014年担任国际机器学习大会(ICML)主席。主要研究兴趣集中在机器学习和统计学习方法论及理论的发展,和大规模计算系统和架构的开发。他创办了Petuum 公司,这是一家专注于人工智能和机器学习的解决方案研发的公司,腾讯曾投资了这家公司。

个人主页

http://www.cs.cmu.edu/~epxing/

成为VIP会员查看完整内容
0
47

主题: Introduction to Machine Learning

课程简介: 机器学习是指通过经验自动提高性能的计算机程序(例如,学习识别人脸、推荐音乐和电影以及驱动自主机器人的程序)。本课程从不同的角度介绍机器学习的理论和实用算法。主题包括贝叶斯网络、决策树学习、支持向量机、统计学习方法、无监督学习和强化学习。本课程涵盖理论概念,例如归纳偏差、PAC学习框架、贝叶斯学习方法、基于边际的学习和Occam的剃刀。编程作业包括各种学习算法的实际操作实验。这门课程的目的是让一个研究生在方法论,技术,数学和算法方面有一个彻底的基础,目前需要的人谁做的机器学习的研究。

邀请嘉宾: Hal Daumé III,纽约市微软研究院的研究员,是机器学习小组的一员;他也是马里兰大学的副教授。他主要从事自然语言处理和机器学习。

Matt Gormley,卡内基梅隆大学计算机科学学院机器学习部(ML)助教。

Roni Rosenfeld,卡内基梅隆大学计算机学院机器学习系教授兼主任,个人主页:https://www.cs.cmu.edu/~roni/。等

成为VIP会员查看完整内容
0
39
小贴士
相关论文
XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
Junjie Hu,Sebastian Ruder,Aditya Siddhant,Graham Neubig,Orhan Firat,Melvin Johnson
3+阅读 · 2020年3月24日
Bernhard Schölkopf
10+阅读 · 2019年11月24日
Qizhe Xie,Zihang Dai,Eduard Hovy,Minh-Thang Luong,Quoc V. Le
4+阅读 · 2019年7月10日
Kun Xu,Liwei Wang,Mo Yu,Yansong Feng,Yan Song,Zhiguo Wang,Dong Yu
14+阅读 · 2019年5月28日
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Daniel S. Park,Jascha Sohl-Dickstein,Quoc V. Le,Samuel L. Smith
3+阅读 · 2019年5月9日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
331+阅读 · 2019年4月10日
Multi-class Classification without Multi-class Labels
Yen-Chang Hsu,Zhaoyang Lv,Joel Schlosser,Phillip Odom,Zsolt Kira
4+阅读 · 2019年1月2日
Yanbin Liu,Juho Lee,Minseop Park,Saehoon Kim,Eunho Yang,Sungju Hwang,Yi Yang
20+阅读 · 2018年12月25日
Catherine Wong,Neil Houlsby,Yifeng Lu,Andrea Gesmundo
4+阅读 · 2018年9月11日
Top