NLP博士答辩41页PPT,面向自然语言处理的神经网络迁移学习

2019 年 3 月 1 日 新智元



  新智元推荐  

来源:专知(ID:Quan_Zhuanzhi)

【新智元导读】现实中的自然语言处理面临着多领域、多语种上的多种类型的任务,为每个任务都单独进行数据标注是不大可行的。迁移学习可以将学习的知识迁移到相关的场景下。本文介绍 Sebastian Ruder 博士的面向自然语言处理的神经网络迁移学习的答辩 PPT。


NLP 领域活跃的技术博主 Sebastian Ruder 最近顺利 PhD 毕业,下周即将进入 DeepMind 开启 AI 研究员生涯。


Sebastian Ruder 博士的答辩 PPT《Neural Transfer Learning for Natural Language Processing》介绍了面向自然语言的迁移学习的动机、研究现状、缺陷以及自己的工作。


Sebastian Ruder 博士在 PPT 中阐述了使用迁移学习的动机:

  • state-of-the-art 的有监督学习算法比较脆弱:

    • 易受到对抗样本的影响

    • 易受到噪音数据的影响

    • 易受到释义的影响

  • 现实中的自然语言处理面临着多领域、多语种上的多种类型的任务,为每个任务都单独进行数据标注是不大可行的,而迁移学习可以将学习的知识迁移到相关的场景下

  • 许多基础的前沿的 NLP 技术都可以被看成是迁移学习:

    • 潜在语义分析 (Latent semantic analysis)

    • Brown clusters

    • 预训练词向量(Pretrained word embeddings)


已有的迁移学习方法往往有着下面的局限性:

  • 过度约束:预定义的相似度指标,硬参数共享

  • 设置定制化:在一个任务上进行评价,任务级别的共享策略

  • 弱 baseline:缺少和传统方法的对比

  • 脆弱:在领域外表现很差,依赖语种、任务的相似性

  • 低效:需要更多的参数、时间和样本


因此,作者认为研究迁移学习需要解决下面的这些问题:

  • 克服源和目标之间的差距

  • 引起归纳偏置

  • 结合传统和现有的方法

  • 在 NLP 任务中跨层次迁移

  • 泛化设置


作者围绕迁移学习做了 4 个方面的工作:

  • 领域适应(Domain Adaption)

  • 跨语种学习(Cross-lingual learning)

  • 多任务学习(Multi-task learning)

  • 序列迁移学习(Sequential transfer learning)


具体内容可在 Sebastian Ruder 博士的完整答辩 PPT 中查看。



PPT下载链接:

  • https://drive.google.com/file/d/1Jhzd8gWK7M_76t1WfNBcB5gzPIAYZAS1/view


本文转载自专知(ID: Quan_Zhuanzhi),请点击阅读原文查看原文。



【加入社群】


新智元AI技术+产业社群招募中,欢迎对AI技术+产业落地感兴趣的同学,加小助手微信号:aiera2015_2   入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。

登录查看更多
30

相关内容

迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【牛津大学&DeepMind】自监督学习教程,141页ppt
专知会员服务
177+阅读 · 2020年5月29日
【IJCAI2020-华为诺亚】面向深度强化学习的策略迁移框架
专知会员服务
26+阅读 · 2020年5月25日
少标签数据学习,54页ppt
专知会员服务
194+阅读 · 2020年5月22日
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
210+阅读 · 2020年4月26日
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
95+阅读 · 2020年2月8日
赛尔笔记 | 自然语言处理中的迁移学习(上)
哈工大SCIR
16+阅读 · 2019年10月17日
NLP领域中的迁移学习现状
AI科技评论
7+阅读 · 2019年9月1日
39页《迁移学习自然语言生成》PPT
专知
9+阅读 · 2019年2月13日
自然语言处理(NLP)前沿进展报告(PPT下载)
独家 | 一文读懂迁移学习(附学习工具包)
数据派THU
11+阅读 · 2017年7月13日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Arxiv
6+阅读 · 2019年9月25日
Arxiv
13+阅读 · 2019年1月26日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
22+阅读 · 2018年8月30日
VIP会员
相关论文
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Arxiv
6+阅读 · 2019年9月25日
Arxiv
13+阅读 · 2019年1月26日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
22+阅读 · 2018年8月30日
Top
微信扫码咨询专知VIP会员