相关内容

自动化机器学习支持用户、开发人员和研究人员快速开发新的ML应用程序。然而,AutoML工具的输出并不总是能够很容易地用人类的直觉或专家知识来解释,因此专家有时会对AutoML工具缺乏信任。因此,我们开发了一些方法,提高了AutoML系统的透明度和可解释性,增加了对AutoML工具的信任,并对其他不透明的优化过程产生了有价值的见解。解释AutoML的方法包括:

超参数的重要性: 哪些超参数(或其他设计决策)对提高ML系统的性能具有全局重要性?[Hutter等人2014]

自动消融研究: 如果一个AutoML工具从一个给定的配置开始(例如,由用户或ML算法的原始开发人员定义),与AutoML工具返回的配置相比,哪些更改是重要的,以实现观察到的性能改进?[Biedenkapp等人2017]

超参数效果的可视化: 我们如何可视化更改超参数设置的效果,无论是局部的还是全局的?[Hutter等人2014,Biedenkapp等人2018]

采样过程的可视化: 在配置空间的哪些区域有一个AutoML工具在什么时候采样,为什么采样?我们在那儿能看到哪场演出?[Biedenkapp等人2018]

https://www.automl.org/xautoml/

成为VIP会员查看完整内容
0
26

图表示学习

近年来,图神经网络(GNNs)在结构化数据建模方面取得了巨大的成功。然而,大多数GNN是为同构网络设计的,即所有节点或边具有相同的特征空间和表示分布。这使得它们无法代表真实世界中不断演化的异构图,如知识图谱、物联网图、领英经济图、开放学术图和Facebook实体图。在这次演讲中,我将介绍图神经网络架构,它可以建模十亿年规模的异构图形与动态。重点将是我们如何设计图注意力和相对时间编码机制,以捕获真实图异构和动态性质。接下来,我将进一步讨论为一般的图挖掘任务预先训练这类GNN的策略。最后,为了处理web规模的数据,我将介绍一种异构的小型批处理图采样算法,该算法带有一个归纳的时间戳分配方法,用于高效和可扩展的训练。大量的实验显示了在实践中对网络规模图进行预训练的GNNs的前景。

https://ericdongyx.github.io/papers/slides-Graph-Rep-Learning-GNN-PreTraining-at-CCF-BAAI-2020.pdf

成为VIP会员查看完整内容
0
95

人类的视觉系统证明,用极少的样本就可以学习新的类别;人类不需要一百万个样本就能学会区分野外的有毒蘑菇和可食用蘑菇。可以说,这种能力来自于看到了数百万个其他类别,并将学习到的表现形式转化为新的类别。本报告将正式介绍机器学习与热力学之间的联系,以描述迁移学习中学习表征的质量。我们将讨论诸如速率、畸变和分类损失等信息理论泛函如何位于一个凸的,所谓的平衡曲面上。我们规定了在约束条件下穿越该表面的动态过程,例如,一个调制速率和失真以保持分类损失不变的等分类过程。我们将演示这些过程如何完全控制从源数据集到目标数据集的传输,并保证最终模型的性能。

成为VIP会员查看完整内容
0
122
小贴士
相关VIP内容
专知会员服务
26+阅读 · 6月29日
专知会员服务
24+阅读 · 6月27日
专知会员服务
30+阅读 · 6月21日
专知会员服务
31+阅读 · 4月30日
专知会员服务
26+阅读 · 4月23日
专知会员服务
122+阅读 · 2020年5月22日
专知会员服务
97+阅读 · 2020年2月1日
相关论文
Lisa Jin,Daniel Gildea
0+阅读 · 8月27日
Glimpse-Attend-and-Explore: Self-Attention for Active Visual Exploration
Soroush Seifi,Abhishek Jha,Tinne Tuytelaars
0+阅读 · 8月26日
Siyang Wang,Simon Alexanderson,Joakim Gustafson,Jonas Beskow,Gustav Eje Henter,Éva Székely
0+阅读 · 8月25日
Towards Topic-Guided Conversational Recommender System
Kun Zhou,Yuanhang Zhou,Wayne Xin Zhao,Xiaoke Wang,Ji-Rong Wen
3+阅读 · 2020年11月2日
AutoML: A Survey of the State-of-the-Art
Xin He,Kaiyong Zhao,Xiaowen Chu
38+阅读 · 2019年8月14日
Learning from Dialogue after Deployment: Feed Yourself, Chatbot!
Braden Hancock,Antoine Bordes,Pierre-Emmanuel Mazare,Jason Weston
5+阅读 · 2019年1月16日
Deep Reinforcement Learning: An Overview
Yuxi Li
11+阅读 · 2018年11月26日
Ravi Shekhar,Tim Baumgartner,Aashish Venkatesh,Elia Bruni,Raffaella Bernardi,Raquel Fernandez
4+阅读 · 2018年6月12日
Andrew Collins,Joeran Beel,Dominika Tkaczyk
3+阅读 · 2018年5月30日
Top