对Transformer,XLNet,ALBERT等技术仍然一知半解?再不学习就OUT了!

2020 年 6 月 9 日 计算机视觉life

NLP领域的现状以及AI工程师面临的严峻挑战


在过去几年时间里,NLP领域取得了飞速的发展,这也推动了NLP在产业中的持续落地,以及行业对相关人才的需求。 虽然,NLP的崛起滞后CV多年,但目前的势头还是势不可挡。 


但这里我们要面对的现实是,行业上90%以上的NLP工程师是“不合格的”。在过去几个月时间里,我们其实也面试过数百名已经在从事NLP的工程师,但明显发现绝大部分对技术深度和宽度的理解是比较薄弱的,大多还是只停留在调用现有工具比如BERT、XLNet等阶段。 


我们一直坚信AI人才的最大壁垒是创造力,能够持续为变化的业务带来更多的价值。但创造的前提一定是对一个领域的深度理解和广度认知,以及不断对一个事物的追问比如不断问自己为什么。


为什么在这个问题上使用Adam,而不是GD或者Adagrad?  对于特定的业务场景,我应该如何把领域知识考虑进去, 用先验,还是用限制条件? 对于拼车场景,设计了一套优化目标,但好像是离散优化问题,应该如何解决? 对于二分类,我应该选择交叉熵还是Hinge Loss?BERT模型太大了,而且效果发现不那么好比如next sentence prediction, 能不能改一改? 为什么CRF要不HMM在不少NLP问题上效果更好? 文本生成效果不太好,如何改造Beam Search让效果更好呢?训练主题模型效率太慢了,如果改造吉布斯采样在分布式环境下运行呢? 数据样本里的标签中有一些依赖关系,能不能把这些信息也加入到目标函数里呢?


另外,有必要保持对前沿技术的敏感性,但事实上,很多人还是由于各种原因很难做到这一点。基于上述的目的,贪心学院一直坚持跑在技术的最前线,帮助大家不断地成长。


为什么选择贪心学院的高端NLP?


首先,全网不可能找得到另外一门系统性的训练营具备如此的深度和广度,这里包括国外的课程,所以从内容的角度来讲是非常稀缺的内容。


其次,即便网络上的资源非常多,学习是需要成本的,而且越有深度的内容越难找到好的学习资源。如果一门课程帮助你清晰地梳理知识体系,而且把有深度的知识点脉络讲清楚,这就是节省最大的成本。


另外,作为一家专注在AI领域的教育科技公司,教研团队的实力在同行业可以算是非常顶尖的,这里不乏顶会的最佳论文作者、ALBERT的作者等。


最后,我们这一期的NLP高阶训练营(第七期)在原有的基础上做了大量的升级,融合了更多前沿的内容,而且在部分内容上加深了难度。



为AI从业者/研究生/研究员专门定制
全网唯一《NLP自然语言处理高阶训练营》


对课程有意向的同学

添加课程顾问小姐姐微信

报名、课程咨询

👇👇👇



02部分项目作业


课程设计 紧密围绕学术界最新进展以及工业界的需求, 涵盖了所有核心知识点,并且结合了 大量实战项目, 培养学员的动手能力,解决问题能力。




03直播授课,现场推导演示


区别于劣质的PPT讲解,导师全程现场推导, 让你在学习中有清晰的思路,深刻的理解算法模型背后推导的每个细节。更重要的是可以清晰地看到各种模型之间的关系!帮助你打通六脉!


▲源自:CRF与Log-Linear模型讲解
▲源自:CRF与Log-Linear模型讲解
▲源自:Convex Optimization 讲解
▲源自:Convergence Analysis 讲解

不管你在学习过程中遇到多少阻碍,你都可以通过以下4种方式解决:
1、直接在线问导师;
2、记录到共享文档中,每日固定时间的直播答疑;
3、学习社群中全职助教,随时提问答疑
4、共同的问题在Review Session里面做讲解


注:每次答疑,班主任都会进行记录,以便学员实时查阅。



04每周课程安排


采用直播的授课方式,一周4-5次的直播教学, 包括2次的main lectures, 1-2次的discussion session (讲解某一个实战、必备基础、案例或者技术上的延伸), 1次的paper reading session (每周会assign一篇必备论文,并且直播解读)。教学模式上也参考了美国顶级院校的教学体系。以下为其中一周的课程安排,供参考。 


05你的必备挑战


1.编写一些技术类文章


通过在知乎上发表相关技术文章进行自我成果检验,同时也是一种思想碰撞的方式,导师会对发表的每一篇文章写一个详细的评语。万一不小心成为一个大V了呢?虽然写文章的过程万分痛苦,学习群里半夜哀嚎遍野,但看一看抓着头发写出来的文章结果还是非常喜人的!看着自己收获的点赞数,大家都默默地感谢起导师们的无情!


这种满满的成就感,让大家一篇接一篇写了下去!
个个都立刻变身成了知乎大牛~



2.Project项目 & 日常作业


除了文章,算法工程师的立命根本--项目代码, 导师更是不会放过的。每次在Gitlab上布置的作业,导师们都会带领助教团队会予以详细的批改和反馈。并逼着你不断的优化!




06 课程研发团队
贪心学院联合来至Google、亚马逊、微软等AI企业11位AI科学家 对课程内容进行不断的打磨细化,课程基础部分涵盖了该AI技术邻域从业者必备的所有核心知识点,同时在课程深度上加入了 最新的学术研究及工业界的最新进展相关的教学, 确保学员学到国内外企业中热门AI知识技能。
▲部分课程研发导师简介

这两天群里更是捷报连连。 我们前三期项目的已经有多名学员被一线AI企业录取,还有通过二面、三面等待着offer。 相信未来几周我们将会受到更多的好消息!
随便截了几个学员反馈。

  



我确定了我们的魔鬼训练营没有误人子弟,我们的课程真的帮助到大家实质的技能提升或帮助大家拿到offer。


这次我们迎来了第八期NLP的招生,千万不要觉得这是一个对标其他线上课程的普通的训练营。由于内容的专业性以及深度,在过去吸引了大量的全球顶级名府的学员, 这里不乏来自斯坦福、UCSD、USC、哥大、HKUST、爱丁堡等世界名府的学生; 在这里,你不仅可以享受到通往顶尖人才的快乐、也可以结识志同道合的AI从业者以及未来的科学家。 


07报名须知

1、本课程为收费教学。
2、 本期仅招收剩余 名额34人。
3、品质保障!正式 开课后7天内,无条件全额退款。
4、学习本课程需要具备一定的AI基础。


●●●

为AI从业者/研究生/研究员专门定制
全网唯一《NLP自然语言处理高阶训练营》

对课程有意向的同学

添加课程顾问小姐姐微信

报名、课程咨询

👇👇👇

登录查看更多
0

相关内容

NLP:自然语言处理
【ACL2020-伯克利】预训练Transformer提高分布外鲁棒性
专知会员服务
20+阅读 · 2020年4月14日
【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
24+阅读 · 2020年4月7日
BERT进展2019四篇必读论文
专知会员服务
68+阅读 · 2020年1月2日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
一步步理解BERT
AINLP
34+阅读 · 2019年6月19日
站在BERT肩膀上的NLP新秀们(PART III)
AINLP
11+阅读 · 2019年6月18日
进一步改进GPT和BERT:使用Transformer的语言模型
机器之心
16+阅读 · 2019年5月1日
靠谱!NLP值得学习的关键技术有哪些?
AI前线
6+阅读 · 2019年3月10日
BERT-预训练的强大
微信AI
60+阅读 · 2019年3月7日
从 Word Embedding 到 Bert:一起肢解 Bert!
人工智能头条
17+阅读 · 2018年12月11日
Arxiv
13+阅读 · 2020年4月12日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
22+阅读 · 2018年8月30日
VIP会员
相关资讯
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
一步步理解BERT
AINLP
34+阅读 · 2019年6月19日
站在BERT肩膀上的NLP新秀们(PART III)
AINLP
11+阅读 · 2019年6月18日
进一步改进GPT和BERT:使用Transformer的语言模型
机器之心
16+阅读 · 2019年5月1日
靠谱!NLP值得学习的关键技术有哪些?
AI前线
6+阅读 · 2019年3月10日
BERT-预训练的强大
微信AI
60+阅读 · 2019年3月7日
从 Word Embedding 到 Bert:一起肢解 Bert!
人工智能头条
17+阅读 · 2018年12月11日
Top
微信扫码咨询专知VIP会员