NeruIPS 2018 所有tutorial的视频与PPT汇总【附下载】

【导读】2018年12月2日到12月8日，第三十二届NeurIPS （Conference on Neural Information Processing Systems）年度会议在蒙特利尔会议中心盛大召开。该会议汇集了机器学习和神经网络领域的顶级专家学者，为广大研究者带来了大量高质量的研究成果。会议的Tutorial环节于前日结束，小编收集了NeruIPS 2018的所有tutorial的视频和ppt，分享给大家。

编辑报道 | huaiwen

P.S. 

• 小编基于自己的理解，将相关tutorial的简介，以及作者的个人简介翻译成了中文，如果问题，请在评论区指出。

• 本文中给出的tutorial视频地址，可能需要科学上网。

• 部分PPT作者暂未放出，请留意后续更新。

Adversarial Robustness: Theory and Practice

对抗的鲁棒性：理论与实践

J. Zico Kolter · Aleksander Madry

近些年，机器学习逐渐脱离缥缈的定义和公式，走向真正的工业应用。在这一过程中，机器学习始终面临一个重大问题：机器学习给出的解决方案真的能够全天候的、可靠地、鲁邦的工作么？本教程将调查机器学习工业化面临的一系列问题，然后重点讨论深度学习中，对抗生成网络拥有的广泛的脆弱的问题（对抗样本、神经网络攻击算法等）。我们将在理论和实践两方面讨论这一问题，特别的，我们的重点是最近的基于验证来保证鲁棒性的方法。我们不仅仅把对抗的鲁邦性当成安全问题，我们还讨论了它承担的正则化角色以及它的泛化能力。

J. Zico Kolter 是卡内基梅陇大学计算机科学学院的助理教授，也是Bosch人工智能中心的首席科学家。他的研究方向是机器学习与优化方法的交叉，即开发更加强大、鲁邦、可解释的深度学习方法。他是DARPA青年教师奖获得者，曾获得KDD、IJCAI、PESGM的最佳论文。

Aleksander Madry 是麻省理工学院EECS系的NBX计算机科学副教授，也是麻省理工学院计算机科学与人工智能实验室（CSAIL）的首席研究员。 他于2011年获得麻省理工学院博士学位，在加入麻省理工学院之前，他曾在新英格兰微软研究院和EPFL工作过一段时间。 Aleksander的研究兴趣包括算法，持续优化，深度学习以及从稳健性角度理解机器学习。 他的作品获得了多项奖项，包括NSF CAREER奖，Alfred P. Sloan研究奖学金，ACM博士论文奖荣誉奖和2018年Presburger奖。

• 后台回复“ARTP” 就可以获取该tutorial的PPT下载链接~ 

• 视频地址：https://dwz.cn/rpC884DA

Scalable Bayesian Inference

大规模贝叶斯推断

David Dunson

本教程将陈述使用贝叶斯统计方法分析海量数据集的最新方法的实用概述。本教程的第一个重点是：将算法运用在非常大的样本量数据上(大n), 第二个重点是：将算法运用在非常高的高维数据(大p)上。特别强调不确定性的有效表征, 排除了许多流行的方法,比如(大多数)变分近似和最大后验估计的方法。我将简要回顾经典的后验分布大样本逼近(如拉普拉斯方法、贝叶斯中心极限定理)，然后将讨论概念上和实践上的简单方法，然后扩大到常用的马尔可夫链蒙特卡罗(MCMC)算法。其重点是在保证精度的同时，使后验计算更快地运用在海量数据集上。一些有用的算法有越来越多的理论和实践支持，包括高度并行(EP) MCMC，近似MCMC，随机逼近，混合优化和采样，和模块化。相关工作将会为计算机广告、基因组学、神经科学等领域的应用将提供支持。

David Dunson是杜克大学统计科学和数学的艺术与科学杰出教授。他研究复杂和高维数据统计方法方面的国际权威，特别是贝叶斯和概率建模方法。他的工作直接影响包括人类生殖、神经科学、环境卫生、生态学和基因组学在内的多个领域。他目前的主要工作是为在具有挑战性的环境中为统计推断开发全新的框架，包括改进对建模假设的健壮性和对大型数据集的可伸缩性。他曾多次获奖，包括2010年COPSS总统奖，该奖项被广泛认为是统计学领域最负盛名的奖项，每年在国际上授予一名年龄在41岁以下的杰出研究人员。

• 后台回复“SBI” 就可以获取该tutorial的PPT下载链接~ 

• 视频地址：https://dwz.cn/LqcLLHuQ

Visualization for Machine Learning

机器学习可视化研究

Fernanda Viégas · Martin Wattenberg

可视化是理解和解释机器学习的有效方式，也是机器学习一个有前景的领域。 本教程将介绍两类机器学习可视化的方法：按用户类型及其目标进行组织。 我们将讨论机器学习研究和开发流程的每个阶段是如何应用不同的可视化技术的包括：分析训练数据，了解模型的内部结构，以及测试性能。此外，我们还将探讨可视化如何在机器学习教育和面向非技术人员方面发挥的重要作用。本教程还涉及一些图像设计和人机交互的关键技术。这些技术有助于改进现有的可视化方法。

Fernanda Viegas和Martin Wattenberg是谷歌的PAIR (People+AI Research)项目的负责人，该项目是谷歌Brain的一部分。专注于改善人机交互。他们对社会和协作可视化的贡献广为人知，创建的系统每天被数百万人使用。Fernanda Viegas和Martin Wattenberg的视觉艺术作品已经在世界各地展出，是纽约现代艺术博物馆永久藏品的一部分。

• 后台回复“VML” 就可以获取该tutorial的PPT下载链接~ 

• 视频地址：https://dwz.cn/wR7LCTYe

Common Pitfalls for Studying the Human Side of Machine Learning

机器学习人性研究的常见陷阱

Deirdre Mulligan · Nitin Kohli · Joshua A. Kroll

该教程非常形而上，小编看不懂，就不翻译了，读者有兴趣，可以根据下面的链接观看视频。

• 视频地址：https://dwz.cn/0rINDeYa
  

Unsupervised Deep Learning

无监督深度学习

Alex Graves · Marc'Aurelio Ranzato

无监督学习在深度神经网络中的地位正变得越来越重要，其既可以使用大量未标记数据，也可以学习到能够快速推广到新任务和场景的表示。其主要的挑战在于如何确定学习的目标是什么，以及如何去定义这个目标。本教程将介绍一种简单粗暴的“预测所有内容”的方法，这种方法基于概率模型实现，可以通过最小描述长度原理（Minimum Mescription Length principle）来尽可能的压缩数据。同时，我们还将对该领域的一些其他方法进行综述，包括非标准的基于能量（energy-based）的模型，自监督的算法和纯粹的生成模型，如GAN等。如果时间允许的化，我们会将讨论扩展到强化学习领域，在其中的无监督学习驱动力被类比为内在动机，诸如好奇心（curiosity）、授权（empowerment）以及压缩过程之类的概念都将被作为学习的驱动因素。

Alex Graves在爱丁堡大学获得了理论物理学士学位，在IDSIA获得人工智能博士学位人工智能博士学位，随后在慕尼黑技术大学，以及多伦多大学的Geoff Hinton处获得博士后学位。现在供职于DeepMind，其贡献主要包括用于序列标记的时间分类算法，随机梯度变分推断、神经图灵机/可微分神经计算机结构。

Marc'Aurelio Ranzato是纽约市Facebook AI研究实验室的研究科学家主管。他的研究兴趣在于无监督学习、持续学习和迁移学习，成果应用于计算机视觉、自然语言处理和语音识别领域。她在Yann LeCun的指导下获得了纽约大学计算机科学博士学位，并在多伦多大学Geoffrey Hinton处获得博后职位。于2011年加入Google Brain团队，2013年，加入Facebook并成为Facebook AI研究实验室的创始人员。

• 后台回复“UDL” 就可以获取该tutorial的PPT下载链接~ 

• 视频地址：https://dwz.cn/iRfDaKTr

Negative Dependence, Stable Polynomials, and All That

负相关、稳定多项式及其相关工作

Suvrit Sra · Stefanie Jegelka

本教程介绍了一个快速发展的主题:负相关理论及其在机器学习中的众多分支。事实上，负相关概率度量为 非独立同分布（i.i.d）的数据的建模提供了一个强大的工具。因此也影响了机器学习的所有方面，包括有监督的、无监督的、可解释的、交互式的和大规模的设置。负相关分布最著名的例子可能是确定性点过程(DPPs)，基于它已经发展出了过个机器学习应用。但DPPs只是冰山一角;负相关度量的种类要广泛得多，而且鉴于它所享有的庞大的数学联系网络，它作为机器学习工具的前景非常广阔。本教程向ML读者展示了这个丰富的数学工具箱，同时概述了关键的理论思想和基本应用。从负相关中获益的任务包括异常检测、信息最大化、实验设计、黑盒系统验证、架构学习、快速MCMC采样、数据集汇总、可解释学习。

Suvrit Sra是麻省理工学院EECS系的一名教员，也是IDSS、LIDS、MIT- ml Group以及统计和数据科学中心的核心教员。他的研究领域涉及最优化、矩阵理论、微分几何和概率论，并与机器学习相联系——他的研究重点是“机器学习的最优化”(http://opt-ml.org)。

Stefanie Jegelka是麻省理工学院EECS系的X-Consortium职业发展助理教授。她是计算机科学与人工智能实验室(CSAIL)的成员，该实验室是统计中心，也是数据、系统与社会研究所和运营研究中心的附属机构。在加入麻省理工学院之前，她是加州大学伯克利分校的博士后研究员，并在苏黎世ETH和马克斯·普朗克智能系统研究所获得博士学位。Stefanie获得了Sloan研究奖学金、NSF职业奖、DARPA青年教师奖、德国模式识别奖以及国际机器学习会议(ICML)最佳论文奖。她的研究兴趣横跨算法机器学习的理论和实践。

• 视频地址：https://dwz.cn/KuSl0G25

Automatic Machine Learning

自动机器学习

Frank Hutter · Joaquin Vanschoren

机器学习的成功关键依赖于人类机器学习专家，他们构建合适的特征和工作流，选择合适的机器学习范式、算法、神经网络结构及其超参数。自动机器学习(AutoML)是一个以机器学习的渐进式自动化为目标的新兴研究领域，它利用机器学习和优化技术，开发出无需专家知识即可轻松使用的现成机器学习方法。它涵盖了广泛的子领域，包括超参数优化、神经结构搜索、元学习和转移学习。本教程将介绍这个快速发展的领域中当前技术状态的基础方法。

Frank Hutter是德国弗莱堡大学计算机科学系机器学习专业的全职教授，他曾在2013-2017年担任弗莱堡大学计算机科学系助理教授。在此之前，他在英属哥伦比亚大学(UBC)读了8年的博士和博士后。Frank的主要研究兴趣是机器学习、人工智能和自动算法设计。2009年，他的算法配置博士论文获得加拿大CAIAC最佳博士论文奖。他与合著者在机器学习、SAT求解、AI规划等国际竞赛中多次获得最佳论文奖和奖项。

Joaquin Vanschoren是埃因霍温理工大学(Eindhoven University of Technology)机器学习专业的助理教授。他的研究集中于元学习、理解和机器学习的自动化。他创建并领导了OpenML.org，这是一个流行的开放科学平台，旨在促进可复制的经验机器学习数据的共享和重用。曾多次获得demo和application奖项，应邀在ECDA、StatComp、IDA、AutoML@ICML、CiML@NIPS、AutoML@PRICAI、MLOSS@NIPS等多个场合演讲，并在NIPS、ECMLPKDD等场合担任导师演讲。他曾担任LION 2016大会的主席、Discovery Science 2018大会的项目主席、ECMLPKDD 2013大会的演示主席，并在NIPS 2018、ICML 2016-2018、ECMLPKDD 2012-2015、ECAI 2012-2014大会上共同组织了AutoML和meta-learning系列研讨会。他也是《自动机器学习:方法、系统、挑战》一书的编辑和撰稿人。

• 后台回复“AML” 就可以获取该tutorial的PPT下载链接~ 
  

• 视频地址：https://dwz.cn/nAadGAVF

Statistical Learning Theory: a Hitchhiker's Guide

统计学习理论漫游指南

John Shawe-Taylor · Omar Rivasplata

本教程将展示统计学习理论到底在学习什么、评估什么，以及它能为学习系统提供什么。我们将重点介绍算法如何利用它的结果来提高学习算法的性能，以及了解它们的局限性。本教程的致力于介绍统计学习理论的价值和作用，从未为使用者提供便利。

John Shawe-Taylor为图论，密码学，统计学习理论及其应用等领域做了巨大的贡献。他的主要贡献是发展了基于统计学习理论的机器学习算法的分析和定义。这项工作有效的推动了机器学习领域的建立，特别是在引入核方法和SVM之后，机器学习方法在计算机视觉，文本分类，甚至生物医学上有飞速的发展。他发表了300多篇论文，出版了两本书，共被引用6万余次。他的这些项目影响了一整代研究人员。

Omar Rivasplata正在研究PAC泛化界和PAC- bayes不等式保证的学习算法的稳定性与未来性能之间的关系。他感兴趣的是将合理的理论与实践相结合，并致力于以一种理论基础良好的方式理解自动化学习系统。先前的研究包括博弈论、马尔可夫扩散的可逆性和稀疏随机矩阵的可逆性。Omar目前是伦敦大学学院计算机科学专业的一名研究生，也是DeepMind的一名研究实习生。

• 视频地址：https://dwz.cn/vTS4BiFN
  

Counterfactual Inference

反事实推断

Susan Athey

本教程将回顾将机器学习的最新发展与反事实推理方法结合在一起的文献，重点是在一些目标为估计因果效应大小，以及量化研究人员对这些大小的不确定性的问题上。本教程将从两个方面解读该文献。一是尝试估计单一干预因素的因果效应，如药物或价格变化。目标可以是估计将某个方案应用在每个人身上的平均(反事实的)效果；或者是方案应用到一个有条件的共变量上的条件平均处理效果。我们还将考虑在限制政策性质（如预算约束）的情况下估算最佳方案分配政策（将特征映射到分配）的问题，并研究分配失业工人到再就业服务的应用。最后，我们以多种不同的处理方法来考虑这个案例，以及该文献与语境强盗文献之间的联系。二是试图从个体的行为中推断出个体的偏好(机器学习中的逆强化学习，计量经济学中的结构估计)，然后预测个体在新环境中的行为。我们研究消费者选择行为的应用，并分析价格变化的反事实估计。我们讨论当目标是反事实估计而不是预测结果时，如何调整这些模型。

Susan Athey是斯坦福大学商学院技术经济学教授。她在杜克大学获得学士学位，在斯坦福大学获得博士学位，并在杜克大学获得荣誉博士学位。她曾在麻省理工学院、斯坦福大学和哈佛大学的经济学系任教。2007年，Athey教授获得了约翰·贝茨·克拉克奖章，这是由美国经济协会颁发给“40岁以下被认为对经济思想和知识做出了最重大贡献的美国经济学家”的奖章。2012年，她被选入美国国家科学院(National Academy of Science)， 2008年被选入美国艺术与科学学院(American Academy of Arts and Sciences)。Athey教授的研究集中在互联网经济学、在线广告、新闻媒体、市场设计、虚拟货币以及计算机科学、机器学习和经济学的交叉领域。她在市场设计和平台经济学方面为政府和企业提供咨询，特别是自2007年以来，她一直担任微软公司(Microsoft Corporation)的长期顾问，担任多个职位，包括首席经济师。

-END-

专 · 知

人工智能领域26个主题知识资料全集获取与加入专知人工智能服务群: 欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！

PC登录www.zhuanzhi.ai或者点击阅读原文，可以获取更多AI知识资料！

加入专知主题群（请备注主题类型：AI、NLP、CV、 KG等）可以其他同行一起交流~ 请加专知小助手微信（扫一扫如下二维码添加），

 AI 项目技术 & 商务合作：bd@zhuanzhi.ai, 或扫描上面二维码联系！

请关注专知公众号，获取人工智能的专业知识！

点击“阅读原文”，使用专知