Ruder博士答辩41页PPT,面向自然语言处理的神经网络迁移学习

2019 年 2 月 28 日 专知

【导读】 现实中的自然语言处理面临着多领域、多语种上的多种类型的任务,为每个任务都单独进行数据标注是不大可行的。迁移学习可以将学习的知识迁移到相关的场景下。本文介绍Sebastian Ruder博士的面向自然语言处理的神经网络迁移学习的答辩PPT。


Sebastian Ruder博士的答辩PPT《Neural Transfer Learning for Natural Language Processing》介绍了面向自然语言的迁移学习的动机、研究现状、缺陷以及自己的工作。


Sebastian Ruder博士在PPT中阐述了使用迁移学习的动机:

  • state-of-the-art的有监督学习算法比较脆弱:

    • 易受到对抗样本的影响

    • 易受到噪音数据的影响

    • 易受到释义的影响

  • 现实中的自然语言处理面临着多领域、多语种上的多种类型的任务,为每个任务都单独进行数据标注是不大可行的,而迁移学习可以将学习的知识迁移到相关的场景下

  • 许多基础的前沿的NLP技术都可以被看成是迁移学习:

    • 潜在语义分析 (Latent semantic analysis)

    • Brown clusters

    • 预训练词向量(Pretrained word embeddings)


已有的迁移学习方法往往有着下面的局限性:

  • 过度约束:预定义的相似度指标,硬参数共享

  • 设置定制化:在一个任务上进行评价,任务级别的共享策略

  • 弱baseline:缺少和传统方法的对比

  • 脆弱:在领域外表现很差,依赖语种、任务的相似性

  • 低效:需要更多的参数、时间和样本


因此,作者认为研究迁移学习需要解决下面的这些问题:

  • 克服源和目标之间的差距

  • 引起归纳偏置

  • 结合传统和现有的方法

  • 在NLP任务中跨层次迁移

  • 泛化设置


作者围绕迁移学习做了4个方面的工作:

  • 领域适应(Domain Adaption)

  • 跨语种学习(Cross-lingual learning)

  • 多任务学习(Multi-task learning)

  • 序列迁移学习(Sequential transfer learning)


具体内容可在Sebastian Ruder博士的完整答辩PPT中查看。


 请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“NTLNLP” 就可以获取Sebastian Ruder博士的完整答辩PPTNeural Transfer Learning for Natural Language Processing》的下载链接~ 


PPT截图:


参考链接:

  • https://drive.google.com/file/d/1Jhzd8gWK7M_76t1WfNBcB5gzPIAYZAS1/view


-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!480+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询《深度学习:算法到实战》课程,咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
5

相关内容

迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
最新《生成式对抗网络》简介,25页ppt
专知会员服务
173+阅读 · 2020年6月28日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
少标签数据学习,54页ppt
专知会员服务
196+阅读 · 2020年5月22日
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
212+阅读 · 2020年4月26日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
181+阅读 · 2020年4月26日
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
95+阅读 · 2020年2月8日
赛尔笔记 | 自然语言处理中的迁移学习(下)
AI科技评论
11+阅读 · 2019年10月21日
赛尔笔记 | 自然语言处理中的迁移学习(上)
哈工大SCIR
16+阅读 · 2019年10月17日
39页《迁移学习自然语言生成》PPT
专知
9+阅读 · 2019年2月13日
自然语言处理(NLP)前沿进展报告(PPT下载)
独家 | 一文读懂迁移学习(附学习工具包)
数据派THU
11+阅读 · 2017年7月13日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Arxiv
6+阅读 · 2019年9月25日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
22+阅读 · 2018年8月30日
VIP会员
相关VIP内容
最新《生成式对抗网络》简介,25页ppt
专知会员服务
173+阅读 · 2020年6月28日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
少标签数据学习,54页ppt
专知会员服务
196+阅读 · 2020年5月22日
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
212+阅读 · 2020年4月26日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
181+阅读 · 2020年4月26日
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
95+阅读 · 2020年2月8日
相关论文
Top
微信扫码咨询专知VIP会员