Ruder博士答辩41页PPT，面向自然语言处理的神经网络迁移学习

【导读】 现实中的自然语言处理面临着多领域、多语种上的多种类型的任务，为每个任务都单独进行数据标注是不大可行的。迁移学习可以将学习的知识迁移到相关的场景下。本文介绍Sebastian Ruder博士的面向自然语言处理的神经网络迁移学习的答辩PPT。

Sebastian Ruder博士的答辩PPT《Neural Transfer Learning for Natural Language Processing》介绍了面向自然语言的迁移学习的动机、研究现状、缺陷以及自己的工作。

Sebastian Ruder博士在PPT中阐述了使用迁移学习的动机：

• state-of-the-art的有监督学习算法比较脆弱：

• 易受到对抗样本的影响

• 易受到噪音数据的影响

• 易受到释义的影响

• 现实中的自然语言处理面临着多领域、多语种上的多种类型的任务，为每个任务都单独进行数据标注是不大可行的，而迁移学习可以将学习的知识迁移到相关的场景下

• 许多基础的前沿的NLP技术都可以被看成是迁移学习：

• 潜在语义分析 （Latent semantic analysis）

• Brown clusters

• 预训练词向量（Pretrained word embeddings）

已有的迁移学习方法往往有着下面的局限性：

• 过度约束：预定义的相似度指标，硬参数共享

• 设置定制化：在一个任务上进行评价，任务级别的共享策略

• 弱baseline：缺少和传统方法的对比

• 脆弱：在领域外表现很差，依赖语种、任务的相似性

• 低效：需要更多的参数、时间和样本

因此，作者认为研究迁移学习需要解决下面的这些问题：

• 克服源和目标之间的差距

• 引起归纳偏置

• 结合传统和现有的方法

• 在NLP任务中跨层次迁移

• 泛化设置
  

作者围绕迁移学习做了4个方面的工作：

• 领域适应（Domain Adaption）

• 跨语种学习（Cross-lingual learning）

• 多任务学习（Multi-task learning）

• 序列迁移学习（Sequential transfer learning）

具体内容可在Sebastian Ruder博士的完整答辩PPT中查看。

 请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“NTLNLP” 就可以获取Sebastian Ruder博士的完整答辩PPT《Neural Transfer Learning for Natural Language Processing》的下载链接~ 

PPT截图：

参考链接：

• https://drive.google.com/file/d/1Jhzd8gWK7M_76t1WfNBcB5gzPIAYZAS1/view

-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成！480+位同学在学习，现在报名，限时优惠！网易云课堂人工智能畅销榜首位！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！

请加专知小助手微信（扫一扫如下二维码添加），加入专知人工智能主题群，咨询《深度学习:算法到实战》课程，咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程