ACM SIGKDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,国际数据挖掘与知识发现大会,简称 KDD)是数据挖掘领域国际顶级学术会议,今年的KDD大会将于8月23日至27日在线上召开。宾夕法尼亚州立大学ZhenhuiLi, Huaxiu Yao, Fenglong Ma等做了关于小数据学习《Learning with Small Data》教程,116页ppt涵盖迁移学习与元学习等最新课题,是非常好的学习材料!

摘要:

在大数据时代,数据驱动的方法在图像识别、交通信号控制、假新闻检测等各种应用中越来越受欢迎。这些数据驱动方法的优越性能依赖于大规模的标记训练数据,而实际应用中可能无法获得这些数据,即“小(标记)数据”挑战。例如,预测一个城市的突发事件,发现新出现的假新闻,以及预测罕见疾病的病情发展。在大多数情况下,人们最关心的是这些小数据案例,因此提高带有小标记数据的机器学习算法的学习效率一直是一个热门的研究课题。在本教程中,我们将回顾使用小数据进行学习的最新的机器学习技术。这些技术被组织从两个方面: (1) 提供一个全面的回顾最近的研究关于知识的泛化,迁移,和共享,其中迁移学习,多任务学习,元学习被讨论。特别是元学习,提高了模型的泛化能力,近年来已被证明是一种有效的方法; (2) 引入前沿技术,着重于将领域知识融入机器学习模型中。与基于模型的知识迁移技术不同,在现实应用中,领域知识(如物理定律)为我们提供了一个处理小数据挑战的新角度。具体地说,领域知识可以用来优化学习策略和/或指导模型设计。在数据挖掘领域,我们认为小数据学习是一个具有重要社会影响的热门话题,将吸引学术界和产业界的研究者和从业者。

目录:

地址:

https://sites.psu.edu/kdd20tutorial/

成为VIP会员查看完整内容
0
60

相关内容

异常检测已经得到了广泛的研究和应用。建立一个有效的异常检测系统需要研究者和开发者从嘈杂的数据中学习复杂的结构,识别动态异常模式,用有限的标签检测异常。与经典方法相比,近年来深度学习技术的进步极大地提高了异常检测的性能,并将异常检测扩展到广泛的应用领域。本教程将帮助读者全面理解各种应用领域中基于深度学习的异常检测技术。首先,我们概述了异常检测问题,介绍了在深度模型时代之前采用的方法,并列出了它们所面临的挑战。然后我们调查了最先进的深度学习模型,范围从构建块神经网络结构,如MLP, CNN,和LSTM,到更复杂的结构,如自动编码器,生成模型(VAE, GAN,基于流的模型),到深度单类检测模型,等等。此外,我们举例说明了迁移学习和强化学习等技术如何在异常检测问题中改善标签稀疏性问题,以及在实际中如何收集和充分利用用户标签。其次,我们讨论来自LinkedIn内外的真实世界用例。本教程最后讨论了未来的趋势。

https://sites.google.com/view/kdd2020deepeye/home

成为VIP会员查看完整内容
0
83

许多ML任务与信号处理有共同的实际目标和理论基础(例如,光谱和核方法、微分方程系统、顺序采样技术和控制理论)。信号处理方法是ML许多子领域中不可分割的一部分,例如,强化学习,哈密顿蒙特卡洛,高斯过程(GP)模型,贝叶斯优化,神经ODEs /SDEs。

本教程旨在涵盖与离散时间和连续时间信号处理方法相联系的机器学习方面。重点介绍了随机微分方程(SDEs)、状态空间模型和高斯过程模型的递推估计(贝叶斯滤波和平滑)。目标是介绍基本原则之间的直接联系信号处理和机器学习, (2) 提供一个直观的实践理解随机微分方程都是关于什么, (3) 展示了这些方法在加速学习的真正好处,提高推理,模型建立,演示和实际应用例子。这将展示ML如何利用现有理论来改进和加速研究,并为从事这些方法交叉工作的ICML社区成员提供统一的概述。

成为VIP会员查看完整内容
0
73

【导读】元学习旨在学会学习,是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》,值得关注,详述了元学习体系,包括定义、方法、应用、挑战,成为不可缺少的文献。

近年来,元学习领域,或者说“学会学习的学习”,引起了人们极大的兴趣。与传统的人工智能方法(使用固定的学习算法从头开始解决给定的任务)不同,元学习的目的是改进学习算法本身,考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战,包括数据和计算瓶颈,以及泛化的基本问题。在这项综述中,我们描述了当代元学习的景观。我们首先讨论元学习的定义,并将其定位于相关领域,如迁移学习、多任务学习和超参数优化。然后,我们提出了一个新的分类法,对元学习方法的空间进行了更全面的细分。我们综述了元学习的一些有前途的应用和成功案例,包括小样本学习、强化学习和体系架构搜索。最后,我们讨论了突出的挑战和未来研究的有希望的领域。

https://arxiv.org/abs/2004.05439

概述

现代机器学习模型通常是使用手工设计的固定学习算法,针对特定任务从零开始进行训练。基于深度学习的方法在许多领域都取得了巨大的成功[1,2,3]。但是有明显的局限性[4]。例如,成功主要是在可以收集或模拟大量数据的领域,以及在可以使用大量计算资源的领域。这排除了许多数据本质上是稀有或昂贵的[5],或者计算资源不可用的应用程序[6,7]。

元学习提供了另一种范式,机器学习模型可以在多个学习阶段获得经验——通常覆盖相关任务的分布——并使用这些经验来改进未来的学习性能。这种“学会学习”[8]可以带来各种好处,如数据和计算效率,它更适合人类和动物的学习[9],其中学习策略在一生和进化时间尺度上都得到改善[10,9,11]。机器学习在历史上是建立在手工设计的特征上的模型,而特征的选择往往是最终模型性能的决定因素[12,13,14]。深度学习实现了联合特征和模型学习的承诺[15,16],为许多任务提供了巨大的性能改进[1,3]。神经网络中的元学习可以看作是集成联合特征、模型和算法学习的下一步。神经网络元学习有着悠久的历史[17,18,8]。然而,它作为推动当代深度学习行业前沿的潜力,导致了最近研究的爆炸性增长。特别是,元学习有可能缓解当代深度学习[4]的许多主要批评,例如,通过提供更好的数据效率,利用先验知识转移,以及支持无监督和自主学习。成功的应用领域包括:小样本图像识别[19,20]、无监督学习[21]、数据高效[22,23]、自导向[24]强化学习(RL)、超参数优化[25]和神经结构搜索(NAS)[26, 27, 28]。

在文献中可以找到许多关于元学习的不同观点。特别是由于不同的社区对这个术语的使用略有不同,所以很难定义它。与我们[29]相关的观点认为,元学习是管理“没有免费午餐”定理[30]的工具,并通过搜索最适合给定问题或问题族的算法(归纳偏差)来改进泛化。然而,从广义上来说,这个定义可以包括迁移、多任务、特征选择和模型集成学习,这些在今天通常不被认为是元学习。另一个关于元学习[31]的观点广泛地涵盖了基于数据集特性的算法选择和配置技术,并且很难与自动机器学习(AutoML)[32]区分开来。在这篇论文中,我们关注当代的神经网络元学习。我们将其理解为算法或归纳偏差搜索,但重点是通过端到端学习明确定义的目标函数(如交叉熵损失、准确性或速度)来实现的。

因此,本文提供了一个独特的,及时的,最新的调查神经网络元学习领域的快速增长。相比之下,在这个快速发展的领域,以往的研究已经相当过时,或者关注于数据挖掘[29、33、34、35、36、37、31]、自动[32]的算法选择,或者元学习的特定应用,如小样本学习[38]或神经架构搜索[39]。

我们讨论元学习方法和应用。特别是,我们首先提供了一个高层次的问题形式化,它可以用来理解和定位最近的工作。然后,我们在元表示、元目标和元优化器方面提供了一种新的方法分类。我们调查了几个流行和新兴的应用领域,包括少镜头、强化学习和架构搜索;并对相关的话题如迁移学习、多任务学习和自动学习进行元学习定位。最后,我们讨论了尚未解决的挑战和未来研究的领域。

未来挑战:

-元泛化 元学习在不同任务之间面临着泛化的挑战,这与传统机器学习中在不同实例之间进行泛化的挑战类似。

  • 任务分布的多模态特性
  • 任务族
  • 计算代价
  • 跨模态迁移和异构任务

总结

元学习领域最近出现了快速增长的兴趣。这带来了一定程度的混乱,比如它如何与邻近的字段相关联,它可以应用到什么地方,以及如何对它进行基准测试。在这次综述中,我们试图通过从方法学的角度对这一领域进行彻底的调查来澄清这些问题——我们将其分为元表示、元优化器和元目标的分类;从应用的角度来看。我们希望这项调查将有助于新人和实践者在这个不断增长的领域中定位自己,并强调未来研究的机会。

成为VIP会员查看完整内容
0
174

主题: Differential Deep Learning on Graphs and its Applications

简介: 本教程研究了将微分方程理论引入深度学习方法(称为微分深度学习)的最新进展,并进一步拓宽了此类方法的视野,重点放在图形上。我们将证明,图的差分深度学习是在药物发现中建立复杂系统的结构和动力学模型以及生成分子图的有力工具。

嘉宾介绍: Chengxi Zang,博士后研究助理。2019年获清华大学博士学位,获清华大学优秀博士学位(前3%)。他自2019年2月加入康奈尔大学,在复杂社会和生物系统的数据驱动动力学建模方面做了大量工作。个人主页:http://www.calvinzang.com/index.html

成为VIP会员查看完整内容
0
25

强化学习(RL)研究的是当环境(即动力和回报)最初未知,但可以通过直接交互学习时的顺序决策问题。RL算法最近在许多问题上取得了令人印象深刻的成果,包括游戏和机器人。 然而,大多数最新的RL算法需要大量的数据来学习一个令人满意的策略,并且不能用于样本昂贵和/或无法进行长时间模拟的领域(例如,人机交互)。朝着更具样本效率的算法迈进的一个基本步骤是,设计适当平衡环境探索、收集有用信息的方法,以及利用所学策略收集尽可能多的回报的方法。

本教程的目的是让您认识到探索性开发困境对于提高现代RL算法的样本效率的重要性。本教程将向观众提供主要算法原理(特别是,面对不确定性和后验抽样时的乐观主义)、精确情况下的理论保证(即表格RL)及其在更复杂环境中的应用,包括参数化MDP、线性二次控制,以及它们与深度学习架构的集成。本教程应提供足够的理论和算法背景,以使AI和RL的研究人员在现有的RL算法中集成探索原理,并设计新颖的样本高效的RL方法,能够处理复杂的应用,例如人机交互(例如,会话代理),医学应用(例如,药物优化)和广告(例如,营销中的终身价值优化)。在整个教程中,我们将讨论开放的问题和未来可能的研究方向。

成为VIP会员查看完整内容
0
80

来自密歇根州立大学的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu与 Tengfei Ma在AAAI2020做了关于图神经网络的Tutorial报告,总共305页ppt,涵盖使用GNNs对图结构数据的表示学习、GNNs的健壮性、GNNs的可伸缩性以及基于GNNs的应用,非常值得学习。

摘要

图结构数据如社交网络和分子图在现实世界中无处不在。设计先进的图数据表示学习算法以方便后续任务的实现,具有重要的研究意义。图神经网络(GNNs)将深度神经网络模型推广到图结构数据,为从节点层或图层有效学习图结构数据的表示开辟了新的途径。由于其强大的表示学习能力,GNNs在从推荐、自然语言处理到医疗保健的各种应用中都具有实际意义。它已经成为一个热门的研究课题,近年来越来越受到机器学习和数据挖掘界的关注。这篇关于GNNs的教程对于AAAI 2020来说是非常及时的,涵盖了相关的和有趣的主题,包括使用GNNs对图结构数据的表示学习、GNNs的健壮性、GNNs的可伸缩性以及基于GNNs的应用。

目录

  1. 引言 Introduction
  • 图与图结构数据 Graphs and Graph Structured Data
  • 图结构数据任务 Tasks on Graph Structured Data
  • 图神经网络 Graph neural networks
  1. 基础理论Foundations
  • Basic Graph Theory
  • Graph Fourier Transform
  1. 模型 Models
  • Spectral-based GNN layers
  • Spatial-based GNN layers
  • Pooling Schemes for Graph-level Representation Learning
  • Graph Neural Networks Based Encoder-Decoder models
  • Scalable Learning for Graph Neural Networks
  • Attacks and Robustness of Graph Neural Networks
  1. 应用 Applications
  • Natural Language Processing
  • Recommendation
  • Healthcare

百度网盘直接下载: 链接: https://pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取码: xrkz

讲者介绍

Yao Ma是密歇根州立大学计算机科学与工程专业的博士生。他还在数据科学与工程实验室(DSE实验室)担任研究助理,该实验室由Tang Jiliang博士领导。他的研究兴趣包括网络嵌入和图神经网络在图结构数据上的表示学习。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等顶级会议上发表创新工作。在加入密歇根州立大学之前,他在Eindhoven理工大学获得硕士学位,在浙江大学获得学士学位。

http://cse.msu.edu/~mayao4/

Wei Jin是密歇根州立大学计算机科学与工程专业的一年级博士生,导师是Tang Jiliang博士。他的兴趣在于图表示学习。现从事图神经网络的理论基础、模型鲁棒性和应用研究。

https://chandlerbang.github.io/

Jiliang Tang 自2016年秋季以来一直是密歇根州立大学计算机科学与工程系的助理教授。在此之前,他是雅虎研究院的一名研究科学家,2015年在亚利桑那州立大学获得博士学位。他的研究兴趣包括社会计算、数据挖掘和机器学习,以及它们在教育中的应用。他是2019年NSF Career奖、2015年KDD最佳论文亚军和6个最佳论文奖(或亚军)的获得者,包括WSDM2018和KDD2016。他担任会议组织者(如KDD、WSDM和SDM)和期刊编辑(如TKDD)。他在高排名的期刊和顶级会议上发表多项研究成果,获得了成千上万的引用和广泛的媒体报道。

Lingfei Wu是IBM AI foundation Labs的研究人员,IBM T. J. Watson研究中心的推理小组。

https://sites.google.com/a/email.wm.edu/teddy-lfwu/

Tengfei Ma现任美国纽约IBM沃森研究中心研究员。

https://sites.google.com/site/matf0123/home

成为VIP会员查看完整内容
0
297

WSDM 2020全称为第13届国际互联网搜索与数据挖掘会议(The 13thInternational Conference on Web Search and Data Mining, WSDM 2020),将于2020年2月3日-2月7日在美国休斯敦召开。宾夕法尼亚州立大学ZhenhuiLi, Huaxiu Yao, Fenglong Ma等做了关于小数据学习《Learning with Small Data》教程,124页ppt涵盖迁移学习与元学习等最新课题,是非常好的学习材料!

摘要

在大数据时代,我们很容易收集到大量的图像和文本数据。然而,在一些领域,例如医疗保健和城市计算,我们经常面对现实世界中只有少量(标记的)数据的问题。挑战在于如何使机器学习算法在处理小数据时仍能很好地工作?为了解决这个挑战,在本教程中,我们将介绍处理小数据问题的最新机器学习技术。我们特别关注以下三个方面:(1)全面回顾了近年来在探索知识迁移的力量方面取得的进展,特别是在元学习方面;(2)介绍了将人类/专家知识纳入机器学习模型的前沿技术;(3)确定了开放的挑战数据增强技术,如生成性对抗网络。

百度网盘下载: 链接: https://pan.baidu.com/s/1j-xvPMB4WwSdiMoDsaR8Sg 提取码: 8v7y 目录:

  • 引言 Introduction

  • 从模型进行迁移知识 Transfer knowledge from models

    • 迁移学习 Transfer learning
    • 多任务学习 Multi-task learning
    • 元学习 Meta-learning
    • 应用 Applications
  • 领域专家知识迁移 Transfer knowledge from domain expert

    • Enrich representations using knowledge graph
    • Regularizing the loss function by incorporating domain knowledge
  • 数据增广 Data augmentation

    • Augmentation using labeled data
    • Augmentation using unlabeled data

地址

https://sites.psu.edu/wsdm20/

讲者介绍: Zhenhui Li 是宾夕法尼亚州立大学信息科学与技术终身副教授。在加入宾夕法尼亚州立大学之前,她于2012年在伊利诺伊大学香槟分校获得了计算机科学博士学位,当时她是数据挖掘研究小组的成员。她的研究重点是挖掘时空数据,并将其应用于交通、生态、环境、社会科学和城市计算。她是一位充满激情的跨学科研究人员,一直积极与跨领域研究人员合作。她曾担任过许多会议的组织委员会或高级项目委员会,包括KDD、ICDM、SDM、CIKM和SIGSPATIAL。自2012年以来,她一直定期开设数据组织和数据挖掘课程。她的课程经常受到学生的好评。她获得了NSF职业奖、研究院青年教师优秀奖和乔治J.麦克默里教学院青年教师优秀奖。

https://faculty.ist.psu.edu/jessieli/Site/index.html

成为VIP会员查看完整内容
0
115

“机器会思考吗”和“机器能做人类做的事情吗”是推动人工智能发展的任务。尽管最近的人工智能在许多数据密集型应用中取得了成功,但它仍然缺乏从有限的数据示例学习和对新任务的快速泛化的能力。为了解决这个问题,我们必须求助于机器学习,它支持人工智能的科学研究。特别地,在这种情况下,有一个机器学习问题称为小样本学习(Few-Shot Learning,FSL)。该方法利用先验知识,可以快速地推广到有限监督经验的新任务中,通过推广和类比,模拟人类从少数例子中获取知识的能力。它被视为真正人工智能,是一种减少繁重的数据收集和计算成本高昂的培训的方法,也是罕见案例学习有效方式。随着FSL研究的广泛开展,我们对其进行了全面的综述。我们首先给出了FSL的正式定义。然后指出了FSL的核心问题,将问题从“如何解决FSL”转变为“如何处理核心问题”。因此,从FSL诞生到最近发表的作品都被归为一个统一的类别,并对不同类别的优缺点进行了深入的讨论。最后,我们从问题设置、技术、应用和理论等方面展望了FSL未来可能的发展方向,希望为初学者和有经验的研究者提供一些见解。

成为VIP会员查看完整内容
0
110
小贴士
相关论文
Financial Time Series Representation Learning
Philippe Chatigny,Jean-Marc Patenaude,Shengrui Wang
10+阅读 · 2020年3月27日
Emmanuel Bengio,Joelle Pineau,Doina Precup
8+阅读 · 2020年3月13日
Varun Kumar,Ashutosh Choudhary,Eunah Cho
8+阅读 · 2020年3月4日
Shaolei Wang,Wanxiang Che,Qi Liu,Pengda Qin,Ting Liu,William Yang Wang
4+阅读 · 2019年8月15日
Yu Cheng,Mo Yu,Xiaoxiao Guo,Bowen Zhou
12+阅读 · 2019年1月26日
Risk-Aware Active Inverse Reinforcement Learning
Daniel S. Brown,Yuchen Cui,Scott Niekum
4+阅读 · 2019年1月8日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
11+阅读 · 2018年12月10日
AceKG: A Large-scale Knowledge Graph for Academic Data Mining
Ruijie Wang,Yuchen Yan,Jialu Wang,Yuting Jia,Ye Zhang,Weinan Zhang,Xinbing Wang
4+阅读 · 2018年8月7日
Chung-Wei Lee,Wei Fang,Chih-Kuan Yeh,Yu-Chiang Frank Wang
7+阅读 · 2018年5月26日
YaoSheng Yang,Meishan Zhang,Wenliang Chen,Wei Zhang,Haofen Wang,Min Zhang
12+阅读 · 2018年1月16日
Top