【导读】 现实中的自然语言处理面临着多领域、多语种上的多种类型的任务,为每个任务都单独进行数据标注是不大可行的。迁移学习可以将学习的知识迁移到相关的场景下。本文介绍Sebastian Ruder博士的面向自然语言处理的神经网络迁移学习的答辩PPT。
Sebastian Ruder博士的答辩PPT《Neural Transfer Learning for Natural Language Processing》介绍了面向自然语言的迁移学习的动机、研究现状、缺陷以及自己的工作。
Sebastian Ruder博士在PPT中阐述了使用迁移学习的动机:
state-of-the-art的有监督学习算法比较脆弱:
易受到对抗样本的影响
易受到噪音数据的影响
易受到释义的影响
现实中的自然语言处理面临着多领域、多语种上的多种类型的任务,为每个任务都单独进行数据标注是不大可行的,而迁移学习可以将学习的知识迁移到相关的场景下
许多基础的前沿的NLP技术都可以被看成是迁移学习:
潜在语义分析 (Latent semantic analysis)
Brown clusters
预训练词向量(Pretrained word embeddings)
已有的迁移学习方法往往有着下面的局限性:
过度约束:预定义的相似度指标,硬参数共享
设置定制化:在一个任务上进行评价,任务级别的共享策略
弱baseline:缺少和传统方法的对比
脆弱:在领域外表现很差,依赖语种、任务的相似性
低效:需要更多的参数、时间和样本
因此,作者认为研究迁移学习需要解决下面的这些问题:
克服源和目标之间的差距
引起归纳偏置
结合传统和现有的方法
在NLP任务中跨层次迁移
泛化设置
作者围绕迁移学习做了4个方面的工作:
领域适应(Domain Adaption)
跨语种学习(Cross-lingual learning)
多任务学习(Multi-task learning)
序列迁移学习(Sequential transfer learning)
具体内容可在Sebastian Ruder博士的完整答辩PPT中查看。
请关注专知公众号(点击上方蓝色专知关注)
后台回复“NTLNLP” 就可以获取Sebastian Ruder博士的完整答辩PPT《Neural Transfer Learning for Natural Language Processing》的下载链接~
PPT截图:
参考链接:
https://drive.google.com/file/d/1Jhzd8gWK7M_76t1WfNBcB5gzPIAYZAS1/view
-END-
专 · 知
专知《深度学习:算法到实战》课程全部完成!480+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!
请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询《深度学习:算法到实战》课程,咨询技术商务合作~
请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!
点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程