豆瓣评分9.4！跟邱锡鹏教授一起学「神经网络与深度学习」，7月19日开课

我们经常会在后台收到一些比较简要的 技术咨询，描述了是什么任务，发现用BERT粗暴精调效果不好之后，问我们有什么办法可以提升。 我们：

在面对第一把梭就失败时，我们通常是这么判断的：

1. 如果效果差的很离谱，比如二分类准确率在60%以下，那大概率是模型有问题，开始用小数据集debug

2. 如果有点效果，但一言难尽，那估计是数据有问题，要不然噪声多，要不然是真的难，可以自己看一下训练集，如果人看完后在几秒内都不能给出答案，就别太指望模型可以做好

在第一把效果还行的情况下，推荐尝试以下策略：

1. In-Domain Further Pre-train： 利用同领域下的无监督数据继续MLM预训练，这个方法我真的百试不厌，一般用一两百万的数据就能提升1-2个点；

2. Within-Task Further Pre-Training： 利用不同领域的同任务数据预先精调，选通用一些的一般也有提升；

3. Multi-Task Fine-Tuning： 利用不同任务预先精调；

4. Layer-wise Decreasing Layer Rate： 每层学到的知识都是不同的，前面几层会更通用，所以学的时候可以用小一点的学习率，防止灾难性遗忘；

5. Features from Different layers： 把不同层的输出集成起来，不过这个方法不一定有提升；

6. 长文本处理： 截断或使用层次化编码。

以上这些方法，都出自复旦邱锡鹏老师的《How to fine-tune BERT for text classification?》，该文进行了各种详细的实验，得出了不少有用的结论，推荐大家去学习。即使有的方法在论文数据集中表现一般，在自己的数据上也可以尝试。

估计很多同学都知道邱老师，他的《神经网络与深度学习》（即蒲公英书）在豆瓣评分9.4，是一本十分适合算法同学入门、复习的读物。

但虽然基础有了，真到coding的时候往往还是下不去手，怎么破？

Don't Worry！邱神联合百度飞桨，以蒲公英书为基础，出品了配套产业案例与实践的免费教程！

其中很多知识点，都会配上底层代码，帮大家稳稳拿捏，比如BatchNorm：

同时，为了让大家更好地了解该课程的设计思想，提高学习效率， 邱神还将和百度飞浆工程师团队一起做直播，跟大家在线实时交流！（文末报名）

丰富题库实践

深度学习是一门实验性质很强的学科，纯学习理论很难get到不同算法、模型在实际场景中的表现差异和细节影响，边学边练才是这类学科的正确打开方式。这套教程除常规例程外，还配了近百道习题，选择题、实践题层层递进，有序覆盖最核心的知识点。（如第八章“注意力机制”就选了『基于自注意力机制完成LCQMC文本语义匹配任务』作为项目实践，这些强匹配的实践题对大家深入理解理论知识是十分有效的。）

产业真实实践案例

产业逐渐向落地应用递进的同时，工程师们面对的真实场景自然增多，练过且有思路的同学要抢手的多。做过落地case的同学都懂，真实场景VS基于理想化数据的代码实践，那就是猛虎 VS Kitty。所以强烈建议大家用好 这门课配套的真实场景实践赛题和范例。

有心、可靠的助攻天团

百度研发工程师每晚视频答疑 ，报名、有网就能参加。
由5位飞桨开发者技术专家或NLP方向在读博士生等高阶开发者组成的 助教团将在未来两周全天在线答疑护航。
从此再也不怕无名小坑一卡卡一周了~

在线、免费的GPU环境

真『有网就行』、『有手就行』的平台支持，报名就能使用NVIDIA Tesla V100/A100 GPU算力。

邱神直播开课、实时互动、在线问答

7月19日（周二）20:30 ，邱神、百度飞桨团队、机械工业出版社联合直播开讲。

小白、基础不扎实的同学都友好

每章视频课都细分为了数十个小节，非常小白的同学推荐先学前三节，普通同学可以自主学习更深入的小节。并且在 案例与实践部分，每节课会有一半时间会带着大家现场看项目、做实践～一步一步带大家做数据预处理、搭模型、做优化等。

学习旅程的见证：官方结业证书

若能坚持学完课程、完成必修部分的作业实践任务并达到及格，即可获得邱神签名的飞桨官方结业证书，上面有邱神手写鼓励语哦~

重要的事情说三遍

代码开源的！全程免费的！官方出品的！
报名入口在文末！

福利彩蛋

参与课程过程中，为蒲公英案例与实践教程、飞桨框架、AI Studio平台等部分提供有效建议、纠错、代码等贡献；或结业总成绩进入前50名，即可获得 Tesla V100 GPU算力卡、阶梯奖学金、 百度网盘超级会员、度厂周边 等多种学习激励！

传送门

我们会通过Q群（392155840）进行在线答疑助攻、信息同步 （直播开课时间、课程视频及题库地址、闭门答疑会议号、每日学习任务海报、抽奖信息）等，欢迎加入~

扫码立即报名

跟邱神一起强基础！

和飞桨一起练实践！

愿你学有所获，像蒲公英的种子一样在人工智能产业大地上落地生根，与我们一起用知识传递信仰！