成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
0
阿里开源面向NLP的深度学习框架EasyTransfer,今晚这场线上分享不可错过
2020 年 12 月 8 日
机器之心
作为一个快速发展的机器学习领域,迁移学习(Transfer Learning, TL)通过从数据充足任务中的知识迁移来提升数据缺乏任务的学习效果。得益于深度神经网络强大的表征能力,基于 TL 方法的神经架构,即深度迁移学习(Deep Transfer Learning)受到了越来越多研究者的青睐,并被证明在各种应用中非常有效。
一系列 TL 工具包的开发也使得 TL 算法应用起来更加简单,如英伟达的迁移学习工具包(TLT)、亚马逊的 xfer 库、清华大学的迁移学习工具包以及 Huggingface 的 Transformers 工具包。但是,当涉及到工业规模的真实应用时,这些工具包的表现总是不尽如人意。所以,开发一个全面的、工业规模的深度迁移学习工具包变得越来越有必要。
在这篇论文中,来自阿里巴巴的研究者开发了一个新的深度迁移学习框架 EasyTransfer,并向开源社区开放。该框架支持多种自然语言处理(NLP)任务中使用的各类 TL 算法,为真实应用中的模型训练、推理和部署提供了统一的 pipeline。目前,该框架已经整合入阿里巴巴的很多深度学习产品中,并实现了显著的性能增益。
机器之心最新一期线上分享邀请到了论文一作、阿里云高级算法专家邱明辉,为大家详细解读此前沿研究。
分享主题:PAI-EasyTransfer 面向 NLP 场景的深度迁移学习框架
分享嘉宾
:邱明辉,新加坡 SMU 博士,美国卡耐基梅隆大学访问学者,现为阿里云高级算法专家。主要从事自然语言处理和深度学习算法和框架研究,迄今为止已发表 40 余篇自然语言处理和机器学习方向的顶会和期刊论文,Google 学术引用 1500+,H-index 20。曾获得 Best paper runner-up award 和 Best demo award,并担任多家国际顶会和期刊的审稿人。目前主要负责开源框架 EasyTransfer 的开发和落地,目前该框架已经服务阿里内部多个 BU 业务场景。
分享概要
:本次直播将介绍深度迁移学习框架 PAI-EasyTransfer,这是个面向自然语言处理场景的深度迁移学习框架。该框架致力于让自然语言处理场景的模型预训练和迁移学习开发与部署更加简单和高效。EasyTransfer 给自然语言处理和深度迁移学习用户提供了多方面的便利性,包括业界领先的高性能预训练工具链和预训练 ModelZoo,丰富易用的 AppZoo,高效的知识蒸馏工具,全面的深度迁移学习算法,以及全面兼容阿里巴巴 PAI 生态产品。
直播时间
:北京时间 12 月 08 日 20:00-21:00
论文链接:https://arxiv.org/abs/2011.09463
项目地址:https://github.com/alibaba/EasyTransfer
加入机动组,一起看直播
「机动组」是机器之心发起的人工智能技术社区,将持续提供技术公开课、论文分享、热门主题解读等线上线下活动,并在社群中提供每日精选论文与教程、智能技术研究周报,同时「机动组」也将不定期组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。添加机器之心小助手(syncedai5),备注「2020」,加入本次直播群。
ps:如果小助手无法添加,请将「微信 ID」发送邮件到 dujiahao@jiqizhixin.com,我们将与你联系,邀你入群。
登录查看更多
点赞并收藏
0
暂时没有读者
0
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
迁移学习
关注
2572
迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。
知识荟萃
精品入门和进阶教程、论文和代码整理等
更多
查看相关VIP内容、论文、资讯等
【干货书】面向机器学习的自然语言标注,341页pdf
专知会员服务
67+阅读 · 2021年2月7日
小米在预训练模型的探索与优化
专知会员服务
18+阅读 · 2020年12月31日
【干货书】机器学习实战:基于Scikit-Learn、Keras和TensorFlow,510页pdf
专知会员服务
179+阅读 · 2020年10月13日
【KDD2020-阿里】可调控的多兴趣推荐框架
专知会员服务
28+阅读 · 2020年8月11日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
173+阅读 · 2020年6月28日
【复旦大学-SP2020】NLP语言模型隐私泄漏风险
专知会员服务
24+阅读 · 2020年4月20日
【2020新书】JavaScript神经网络在TensorFlow.js中的深度学习,561页pdf
专知会员服务
103+阅读 · 2020年2月4日
【2020新书】JavaScript神经网络在TensorFlow.js中的深度学习,561页pdf,Deep Learning with JavaScript
专知会员服务
53+阅读 · 2020年2月4日
【电子书推荐】《深度学习之TensorFlow工程化项目实战》电子书以及配套代码及数据集资源,附787页pdf
专知会员服务
209+阅读 · 2019年12月15日
知识指导的自然语言处理 [微信模式识别中心 林衍凯] CCKS ATT 16-2019
专知会员服务
46+阅读 · 2019年10月25日
DeepMind网红博士300页论文出炉:面向NLP的神经迁移学习(附下载)
新智元
10+阅读 · 2019年3月27日
阿里开源大规模分布式图学习框架:专为Graph嵌入,无缝对接TF/PyTorch
新智元
9+阅读 · 2019年1月17日
刚刚,阿里开源首个深度学习框架 X-Deep Learning!
阿里技术
4+阅读 · 2018年12月21日
大家都收藏了的最新开源项目Top12!CV、NLP、机器学习一应俱全
AI100
7+阅读 · 2018年10月14日
近期值得关注的8款AI开源项目 | 本周Github精选
PaperWeekly
4+阅读 · 2018年8月3日
朋友,千万不能错过!13个自然语言处理的深度学习框架
深度学习与NLP
8+阅读 · 2018年3月13日
福利 | 实践入门NLP:基于深度学习的自然语言处理
AI科技评论
9+阅读 · 2018年1月23日
实践入门NLP:基于深度学习的自然语言处理
雷锋网
10+阅读 · 2018年1月22日
阿里搜索技术,在AI路上走了多远?
机器学习研究会
11+阅读 · 2017年12月29日
NLP的这一年:深度学习或成主角
论智
3+阅读 · 2017年12月14日
Uncertainty Quantification and Propagation for Airline Disruption Management
Arxiv
0+阅读 · 2021年2月9日
EfficientDet: Scalable and Efficient Object Detection
Arxiv
6+阅读 · 2019年11月20日
A Survey on Edge Computing Systems and Tools
Arxiv
35+阅读 · 2019年11月7日
A Framework of Transfer Learning in Object Detection for Embedded Systems
Arxiv
3+阅读 · 2018年11月12日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Transferring Common-Sense Knowledge for Object Detection
Arxiv
12+阅读 · 2018年4月3日
SIGNet: Scalable Embeddings for Signed Networks
Arxiv
4+阅读 · 2018年3月22日
LSTD: A Low-Shot Transfer Detector for Object Detection
Arxiv
4+阅读 · 2018年3月5日
SSD: Single Shot MultiBox Detector
Arxiv
4+阅读 · 2016年12月29日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
迁移学习
深度迁移学习
深度学习框架
NLP
阿里巴巴
International Conference on Conceptual Modeling
相关VIP内容
【干货书】面向机器学习的自然语言标注,341页pdf
专知会员服务
67+阅读 · 2021年2月7日
小米在预训练模型的探索与优化
专知会员服务
18+阅读 · 2020年12月31日
【干货书】机器学习实战:基于Scikit-Learn、Keras和TensorFlow,510页pdf
专知会员服务
179+阅读 · 2020年10月13日
【KDD2020-阿里】可调控的多兴趣推荐框架
专知会员服务
28+阅读 · 2020年8月11日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
173+阅读 · 2020年6月28日
【复旦大学-SP2020】NLP语言模型隐私泄漏风险
专知会员服务
24+阅读 · 2020年4月20日
【2020新书】JavaScript神经网络在TensorFlow.js中的深度学习,561页pdf
专知会员服务
103+阅读 · 2020年2月4日
【2020新书】JavaScript神经网络在TensorFlow.js中的深度学习,561页pdf,Deep Learning with JavaScript
专知会员服务
53+阅读 · 2020年2月4日
【电子书推荐】《深度学习之TensorFlow工程化项目实战》电子书以及配套代码及数据集资源,附787页pdf
专知会员服务
209+阅读 · 2019年12月15日
知识指导的自然语言处理 [微信模式识别中心 林衍凯] CCKS ATT 16-2019
专知会员服务
46+阅读 · 2019年10月25日
热门VIP内容
开通专知VIP会员 享更多权益服务
《支持 ML/AI 的下一代智能自主网络系统:性能提升与管理》177页
《飞行训练指导:夜间熟悉》152页
数据:联合作战的新弹药
《混合现实飞行模拟器中的夜视镜仿真:无缝集成真实世界》最新54页
相关资讯
DeepMind网红博士300页论文出炉:面向NLP的神经迁移学习(附下载)
新智元
10+阅读 · 2019年3月27日
阿里开源大规模分布式图学习框架:专为Graph嵌入,无缝对接TF/PyTorch
新智元
9+阅读 · 2019年1月17日
刚刚,阿里开源首个深度学习框架 X-Deep Learning!
阿里技术
4+阅读 · 2018年12月21日
大家都收藏了的最新开源项目Top12!CV、NLP、机器学习一应俱全
AI100
7+阅读 · 2018年10月14日
近期值得关注的8款AI开源项目 | 本周Github精选
PaperWeekly
4+阅读 · 2018年8月3日
朋友,千万不能错过!13个自然语言处理的深度学习框架
深度学习与NLP
8+阅读 · 2018年3月13日
福利 | 实践入门NLP:基于深度学习的自然语言处理
AI科技评论
9+阅读 · 2018年1月23日
实践入门NLP:基于深度学习的自然语言处理
雷锋网
10+阅读 · 2018年1月22日
阿里搜索技术,在AI路上走了多远?
机器学习研究会
11+阅读 · 2017年12月29日
NLP的这一年:深度学习或成主角
论智
3+阅读 · 2017年12月14日
相关论文
Uncertainty Quantification and Propagation for Airline Disruption Management
Arxiv
0+阅读 · 2021年2月9日
EfficientDet: Scalable and Efficient Object Detection
Arxiv
6+阅读 · 2019年11月20日
A Survey on Edge Computing Systems and Tools
Arxiv
35+阅读 · 2019年11月7日
A Framework of Transfer Learning in Object Detection for Embedded Systems
Arxiv
3+阅读 · 2018年11月12日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Transferring Common-Sense Knowledge for Object Detection
Arxiv
12+阅读 · 2018年4月3日
SIGNet: Scalable Embeddings for Signed Networks
Arxiv
4+阅读 · 2018年3月22日
LSTD: A Low-Shot Transfer Detector for Object Detection
Arxiv
4+阅读 · 2018年3月5日
SSD: Single Shot MultiBox Detector
Arxiv
4+阅读 · 2016年12月29日
大家都在搜
大模型
palantir
大型语言模型
ETHZ博士论文
自主系统
无人艇
壁画
汽车智能化
笛卡尔
出海产品从 0 到 1 该怎么做
Top
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top