AI必须会「持续学习」,可以来这里学习

2022 年 10 月 27 日 机器之心
人类具有从经验中不断学习的能力。我们不仅可以将以前学到的知识和技能应用到新的情况中,还可以将这些作为以后学习的基础。人工智能的宏伟目标之一是构建能够「持续学习」的 Agent,也就是说,让 AI 自动的积累日益复杂的知识和技能,从他们自己的经验中构建对世界的复杂理解。
持续学习英文是 continual learning,在某些论文中也被称作 incremental learning 或者 lifelong learning。它所研究的是从不断变化的数据中进行学习的问题,其目的是逐渐扩充知识,并将其用于未来的学习中。
在持续学习中,数据的变化通常以「新任务」的形式出现。在每个新任务中,数据的不同可以体现在出现新的领域(domain),比如原任务是识别打印体的数字,而在新任务中变成手写体识别;或者出现新的类别(class),比如原任务中是识别数字1、2,而新任务中增加了两个类3、4;或者是新领域和新类别的混合,比如原任务是识别A类型打印机的心脏造影,新任务中同时增加B类型打印机(new domain)的肺部造影(new task)。
这类学习的一个关键特征是任务数据的序列特性(sequential nature):在某一时刻只有一个任务或部分数据可获得,因此 AI 需要学会如何记忆已经习得的原有知识。持续学习的主要挑战是灾难性遗忘(catastrophic forgetting):当新任务被学习时过去获得的知识被遗忘,亦即之前任务的表现不如以往。持续学习所要解决的最核心问题是模型的可塑性(即获得新知识的能力)和稳定性(保持原有知识的能力)的平衡。
10月28日19:00,机器之心最新一期分享邀请到新加坡科技研究局AI研究员黄佳,详解AI中的持续学习。

分享主题:AI中的持续学习

嘉宾介绍:黄佳,新加坡科技研究局AI研究员,曾出版《数据分析咖哥十话》《零基础学机器学习》等多部受读者好评的 IT 书籍。深耕数据科学领域多年,积累了丰富的科研项目和政府、银行、能源、医疗等领域AI项目落地实战经验。

分享概要:AI中的持续学习(Continual Learning/Lifelong Learning)研究的是从不断变化的场景中学习的问题,其主要挑战是在扩充知识的同时避免旧知识的灾难性遗忘。我们将介绍持续学习的问题定义、研究方法及面临的挑战。同时也将简要介绍分享嘉宾的新书《数据分析咖哥十话》,用机器学习方法解决业务运营问题。

相关链接:

  • Three types of incremental learning, Gido M. van de Ven et al. CoLLAs, 2022

    https://drive.google.com/file/d/1j5fFXUJeDohtg0EP0GTmE2pOYdD0dUiz/view

  • Three scenarios for continual learning,Gido M. van de Ven et al. NeurIPS, 2019

    https://arxiv.org/abs/1904.07734

  • 持续学习项目链接:https://github.com/GMvandeVen/continual-learning

  • 数据分析咖哥十话项目链接: https://github.com/huangjia2019/datalogic

分享时间:10月28日19:00-20:00

直播间关注机器之心机动组视频号,立即预约直播。

直播赠书:本次直播有QA环节,欢迎大家扫码加入交流群,针对本次主题与嘉宾的分享内容提问。我们将邀请嘉宾选出5个精彩提问,为提问的小伙伴送出《数据分析咖哥十话》一本。

温馨提示:为了方便联系大家邮寄赠书,加入下方交流群提问才有效哦。

如群已超出人数限制,请添加小助手:syncedai4、syncedai5 或 syncedai6,备注「持续学习」即可加入。


特别鸣谢

《数据分析咖哥十话》赠书由异步社区(www.epubit.com)提供。异步社区是由人民邮电出版社创办的IT专业图书社区。异步社区于2015年8月上线运营,依托于人民邮电出版社20余年的IT专业优质出版资源和编辑策划团队,致力于优质学习内容的出版和分享,为读者提供优质学习内容,为作译者提供优质出版服务,实现作者与读者在线交流互动,实现传统出版与数字出版的融合发展。

登录查看更多
1

相关内容

持续学习(continuallearning,CL) 是 模 拟 大 脑 学 习 的 过 程,按 照 一 定 的 顺 序 对 连 续 非 独 立 同 分 布 的 (independentlyandidenticallydistributed,IID)流数据进行学习,进而根据任务的执行结果对模型进行 增量式更新.持续学习的意义在于高效地转化和利用已经学过的知识来完成新任务的学习,并且能够极 大程度地降低遗忘带来的问题.连续学习研究对智能计算系统自适应地适应环境改变具有重要的意义
【CVPR2022-上海交大】可持续时空预测学习框架
专知会员服务
30+阅读 · 2022年5月14日
最新《计算机视觉持续学习进展》综述论文,22页pdf
专知会员服务
73+阅读 · 2021年9月25日
专知会员服务
75+阅读 · 2021年7月21日
持续学习最新综述论文,29页pdf
专知会员服务
118+阅读 · 2021年4月22日
专知会员服务
202+阅读 · 2020年12月5日
【Alma Mate博士论文】深度架构持续学习,附150页pdf与Slides
专知会员服务
45+阅读 · 2020年11月18日
【Cell 2020】神经网络中的持续学习
专知会员服务
61+阅读 · 2020年11月7日
机器学习工程化,企业 AI 的下一个起点
基于小样本学习的意图识别冷启动
黑龙江大学自然语言处理实验室
18+阅读 · 2019年5月15日
小样本学习(Few-shot Learning)综述
PaperWeekly
120+阅读 · 2019年4月1日
干货|浅谈强化学习的方法及学习路线
机器学习算法与Python学习
16+阅读 · 2018年3月28日
一文读懂机器学习概率图模型(附示例&学习资源)
资源 | 一文读懂深度学习(附学习资源)
AI100
14+阅读 · 2017年11月30日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年12月22日
Arxiv
0+阅读 · 2022年12月21日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Principal Neighbourhood Aggregation for Graph Nets
Arxiv
17+阅读 · 2020年6月7日
Arxiv
24+阅读 · 2019年11月24日
VIP会员
相关资讯
机器学习工程化,企业 AI 的下一个起点
基于小样本学习的意图识别冷启动
黑龙江大学自然语言处理实验室
18+阅读 · 2019年5月15日
小样本学习(Few-shot Learning)综述
PaperWeekly
120+阅读 · 2019年4月1日
干货|浅谈强化学习的方法及学习路线
机器学习算法与Python学习
16+阅读 · 2018年3月28日
一文读懂机器学习概率图模型(附示例&学习资源)
资源 | 一文读懂深度学习(附学习资源)
AI100
14+阅读 · 2017年11月30日
相关基金
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
相关论文
Arxiv
0+阅读 · 2022年12月22日
Arxiv
0+阅读 · 2022年12月21日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Principal Neighbourhood Aggregation for Graph Nets
Arxiv
17+阅读 · 2020年6月7日
Arxiv
24+阅读 · 2019年11月24日
Top
微信扫码咨询专知VIP会员