基于物理信息的机器学习可以以一种统一的方式无缝地整合数据和物理原理,也因此提升了机器学习的泛化性,使机器学习不再是只针对特定的某种问题有着很好的效果。

成为VIP会员查看完整内容
0
36

相关内容

图神经网络(GNNs)被广泛用于学习一种强大的图结构数据表示。最近的研究表明,将知识从自监督任务迁移到下游任务可以进一步改善图的表示。然而,自监督任务与下游任务在优化目标和训练数据上存在内在的差距。传统的预训练方法可能对知识迁移不够有效,因为它们不能适应下游任务。为了解决这一问题,我们提出了一种新的迁移学习范式,该范式可以有效地将自监督任务作为辅助任务来帮助目标任务。在微调阶段,我们的方法将不同的辅助任务与目标任务进行自适应的选择和组合。我们设计了一个自适应辅助损失加权模型,通过量化辅助任务与目标任务之间的一致性来学习辅助任务的权重。此外,我们通过元学习来学习权重模型。我们的方法可以运用于各种迁移学习方法,它不仅在多任务学习中有很好的表现,而且在预训练和微调中也有很好的表现。在多个下游任务上的综合实验表明,所提出的方法能够有效地将辅助任务与目标任务相结合,与现有的方法相比,显著提高了性能。

https://www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

成为VIP会员查看完整内容
0
30

在人工智能时代,深度学习已经在诸多方面有了广泛的应用,然而,神经网络黑盒本质使得人们难以理解这个复杂的系统。为了打开这一黑盒,目前,对神经网络的「解释」不仅需要在视觉概念的层面“实验观察”特征的语义,更需要“理论解释并建模”神经网络的表达能力,从而打通“直觉上的语义”与“数学建模表达能力”之间的壁垒。

基于此,本项研究提出了一种对神经网络中层“特征复杂度”的通用量化指标,这一方法能够将神经网络中层特征拆分成不同阶次的复杂度分量。通过对不同复杂度特征分量的可视化,人们可以更清晰地分析不同复杂度分量的语义;同时,本研究也提出了数学指标以分析不同复杂度分量的可靠性、有效性、以及过拟合程度。作为一种通用指标,本项研究也可以为深度学习中的一些经典方法提供全新角度的解释。

成为VIP会员查看完整内容
0
18

深度学习让机器可以从大量的数据中学习经验并加以应用,已经在图像分类、序列标注等多个任务上取得了惊人的成果。但是,这一过程需要大量的人工干预:特征提取、模型选择、参数调节等,既费时又费力。

所以专家们自然而然想到了引入自动化让机器自己“学习如何学习”。然而机器学习的自动化离不开几个关键难题:教授什么知识和配备什么工具?在哪一部分实现自动化?自动化训练如何保证稳定的效果?如何在最短时间内找到又简单又高效的方案?

论文指出,当前的自动机器学习多是在整个流程中的某个或某几个独立分段实现自动化,这种 “半自动” 让搜索自然受限于 “次优” 并导致最终结果的偏差。而且搜索空间往往“精心设计”,与自动学习的初衷相违背,实际落地时也易出现过拟合的情况。很显然,自动机器学习需要对网络结构有更高一级的理解能力。

首先,论文的作者提出了基于终身知识锚点的进化算法。而其中极富创新性的全自动机器学习框架,首次打破了现有自动机器学习中各搜索空间的独立设计,并使用数据集知识锚点加进化算法来加速搜索,解决了在超大空间搜索最优方案的设计难题。

承袭现有的终身学习与元学习思想,该框架中的知识锚点使用了全新的元特征和概率抽样方法,缓解了搜索过程中的过拟合。不仅如此,框架还实现了全流程自动化,极大降低了机器学习应用门槛。用户只需根据提示进行操作,无须了解算法和代码,时间成本很低。

成为VIP会员查看完整内容
0
11

持续学习(CL)是一种特殊的机器学习范式,它的数据分布和学习目标会随着时间的推移而改变,或者所有的训练数据和客观标准都不会立即可用。学习过程的演变是以一系列学习经验为模型的,其中的目标是能够在学习过程中一直学习新的技能,而不会忘记之前学过的知识。CL可以看作是一种在线学习,需要进行知识融合,以便从按顺序及时呈现的数据流中学习。在学习过程中,不断学习的目的还在于优化记忆、计算能力和速度。机器学习的一个重要挑战不是必须找到在现实世界中有效的解决方案,而是找到可以在现实世界中学习的稳定算法。因此,理想的方法是在嵌入的平台中处理现实世界:自治的代理。持续学习在自主代理或机器人中是有效的,它们将通过时间自主学习外部世界,并逐步发展一套复杂的技能和知识。机器人必须学会通过连续的观察来适应环境并与之互动。一些最近的方法旨在解决机器人持续学习的问题,但最近关于持续学习的论文只是在模拟或静态数据集的实验方法。不幸的是,对这些算法的评估并不能说明它们的解决方案是否有助于在机器人技术的背景下持续学习。这篇论文的目的是回顾持续学习的现有状态,总结现有的基准和度量标准,并提出一个框架来展示和评估机器人技术和非机器人技术的方法,使这两个领域之间的转换更加容易。我们在机器人技术的背景下强调持续学习,以建立各领域之间的联系并规范方法。

https://www.sciencedirect.com/science/article/pii/S1566253519307377#sec0001

概要:

机器学习(ML)方法通常从平稳数据分布中随机采样的数据流中学习。这通常是有效学习的必要条件。然而,在现实世界中,这种设置相当少见。持续学习(CL)[128]汇集了解决当数据分布随时间变化时,以及在永无止境的数据流中需要考虑的知识融合的学习问题的工作和方法。因此,CL是处理灾难性遗忘[47]的范式[102]。

为了方便起见,我们可以根据经验将数据流分割成几个子段,这些子段有时间边界,我们称之为任务。然后我们可以观察在学习一项新任务时所学到或忘记了什么。即使对任务没有强制约束,任务通常指的是一段特定的时间,其中数据分布可能(但不一定)是平稳的,并且目标函数是常量。就学习目标而言,任务可以是相互独立的,也可以是相互关联的,并且取决于设置。

持续学习的一个解决方案是保存所有数据,打乱它,然后回到传统的机器学习设置。不幸的是,在这种情况下,这并不总是可能的,也不是最佳的。这里有几个例子,其中持续学习是必要的:

你有一个训练过的模型,你想用新的数据更新它,但是原来的训练数据被丢弃了,或者你没有权利再访问它。

你想在一系列任务上训练一个模型,但你不能存储你的所有数据,或者你没有计算能力从所有数据中重新训练模型(例如,在嵌入式平台中)。

您希望智能代理学习多种策略,但您不知道学习目标何时发生变化,如何变化。

您希望从持续的数据流中学习,这些数据可能会随着时间而变化,但您不知道如何变化,何时变化。

为了处理这些设置,表示应该通过在线方式学习[87]。随着数据被丢弃并且生命周期有限,忘记不重要的东西而保留对未来有意义的东西的能力是持续学习的主要目标和重点。

从机器人技术的角度来看,CL是发展机器人技术的机器学习答案[93]。发展机器人技术是一种交叉学科的方法,用于自主设计人工主体的行为和认知能力,直接从儿童自然认知系统中观察到的发展原则和机制中获得灵感。

在这种情况下,CL必须包含一个学习累积技能的过程,并能逐步提高所处理任务的复杂性和多样性。

自主主体在这样的环境中以开放式的[36]方式学习,但也以持续的方式学习。这种发展方法的关键组成部分包括学习自主产生目标和探索环境的能力,开发内在动机[113]和好奇心的计算模型[112]。

我们提出了一个框架来连接持续学习和机器人技术。这个框架也为持续学习提供了机会,以一个有框架的数学公式以清晰和系统的方式呈现方法。

首先,我们介绍了持续学习的背景和历史。其次,我们的目标是在不断学习的基础上理清概念汇。第三,我们将介绍我们的框架作为一种标准的CL方法,以帮助在不同的持续学习领域之间进行转换,特别是对于机器人技术。第四,我们提供了一组度量标准,它将有助于更好地理解每一类方法的质量和缺点。最后,我们提出了持续学习机器人技术的细节和机会,这使得CL变得如此重要。

对于机器人技术和非机器人技术领域,我们保持了定义、框架、策略和评估的一般性。尽管如此,最后一节,机器人持续学习(第6节)受益于前几节的内容,以呈现机器人领域持续学习的特殊性。

成为VIP会员查看完整内容
0
23
小贴士
相关VIP内容
专知会员服务
23+阅读 · 9月25日
专知会员服务
25+阅读 · 8月13日
专知会员服务
30+阅读 · 7月25日
专知会员服务
17+阅读 · 6月8日
专知会员服务
11+阅读 · 5月1日
专知会员服务
36+阅读 · 2020年7月23日
专知会员服务
31+阅读 · 2020年4月10日
相关资讯
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
10+阅读 · 2020年4月3日
SFFAI分享 | 常建龙:基于关系的深度学习【附PPT与视频资料】
人工智能前沿讲习班
6+阅读 · 2019年7月1日
产品经理们,好好琢磨产品定位吧
产品100干货速递
5+阅读 · 2019年6月4日
【综述】自动机器学习AutoML最新65页综述,带你了解最新进展
中国人工智能学会
46+阅读 · 2019年5月3日
今日面试题分享:解决bias和Variance问题的方法是什么?
七月在线实验室
3+阅读 · 2019年3月19日
迁移自适应学习最新综述,附21页论文下载
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
相关论文
Zhining Liu,Pengfei Wei,Zhepei Wei,Boyang Yu,Jing Jiang,Wei Cao,Jiang Bian,Yi Chang
0+阅读 · 11月24日
Qinbin Li,Bingsheng He,Dawn Song
7+阅读 · 3月30日
Li Yuan,Yunpeng Chen,Tao Wang,Weihao Yu,Yujun Shi,Zihang Jiang,Francis EH Tay,Jiashi Feng,Shuicheng Yan
3+阅读 · 3月22日
Yulei Niu,Kaihua Tang,Hanwang Zhang,Zhiwu Lu,Xian-Sheng Hua,Ji-Rong Wen
10+阅读 · 2020年12月28日
Ching-Yao Chuang,Joshua Robinson,Lin Yen-Chen,Antonio Torralba,Stefanie Jegelka
4+阅读 · 2020年10月21日
Sahil Verma,John Dickerson,Keegan Hines
16+阅读 · 2020年10月20日
Learning Implicit Fields for Generative Shape Modeling
Zhiqin Chen,Hao Zhang
9+阅读 · 2018年12月6日
Federated Learning for Mobile Keyboard Prediction
Andrew Hard,Kanishka Rao,Rajiv Mathews,Françoise Beaufays,Sean Augenstein,Hubert Eichner,Chloé Kiddon,Daniel Ramage
3+阅读 · 2018年11月8日
Multiple Object Tracking in Urban Traffic Scenes with a Multiclass Object Detector
Hui-Lee Ooi,Guillaume-Alexandre Bilodeau,Nicolas Saunier,David-Alexandre Beaupré
3+阅读 · 2018年9月6日
Ignacio Espinoza,Marcelo Mendoza,Pablo Ortega,Daniel Rivera,Fernanda Weiss
5+阅读 · 2018年5月1日
Top