我们经常会在后台收到一些比较简要的技术咨询，描述了是什么任务，发现用BERT粗暴精调效果不好之后，问我们有什么办法可以提升。我们：

在面对第一把梭就失败时，我们通常是这么判断的：

1. 如果效果差的很离谱，比如二分类准确率在60%以下，那大概率是模型有问题，开始用小数据集debug

2. 如果有点效果，但一言难尽，那估计是数据有问题，要不然噪声多，要不然是真的难，可以自己看一下训练集，如果人看完后在几秒内都不能给出答案，就别太指望模型可以做好

在第一把效果还行的情况下，推荐尝试以下策略：

1. In-Domain Further Pre-train：利用同领域下的无监督数据继续MLM预训练，这个方法我真的百试不厌，一般用一两百万的数据就能提升1-2个点；

2. Within-Task Further Pre-Training：利用不同领域的同任务数据预先精调，选通用一些的一般也有提升；

3. Multi-Task Fine-Tuning：利用不同任务预先精调；

4. Layer-wise Decreasing Layer Rate：每层学到的知识都是不同的，前面几层会更通用，所以学的时候可以用小一点的学习率，防止灾难性遗忘；

5. Features from Different layers：把不同层的输出集成起来，不过这个方法不一定有提升；

6. 长文本处理：截断或使用层次化编码。

以上这些方法，都出自复旦邱锡鹏老师的《How to fine-tune BERT for text classification?》，该文进行了各种详细的实验，得出了不少有用的结论，推荐大家去学习。即使有的方法在论文数据集中表现一般，在自己的数据上也可以尝试。

估计很多同学都知道邱老师，他的《神经网络与深度学习》（即蒲公英书）在豆瓣评分9.4，是一本十分适合算法同学入门、复习的读物。

但虽然基础有了，真到coding的时候往往还是下不去手，怎么破？

Don't Worry！邱神联合百度飞桨，以蒲公英书为基础，出品了配套产业案例与实践的免费教程！

其中很多知识点，都会配上底层代码，帮大家稳稳拿捏，比如BatchNorm：

同时，为了让大家更好地了解该课程的设计思想，提高学习效率，邱神还将和百度飞浆工程师团队一起做直播，跟大家在线实时交流！（文末报名）

丰富题库实践

深度学习是一门实验性质很强的学科，纯学习理论很难get到不同算法、模型在实际场景中的表现差异和细节影响，边学边练才是这类学科的正确打开方式。这套教程除常规例程外，还配了近百道习题，选择题、实践题层层递进，有序覆盖最核心的知识点。（如第八章“注意力机制”就选了『基于自注意力机制完成LCQMC文本语义匹配任务』作为项目实践，这些强匹配的实践题对大家深入理解理论知识是十分有效的。）

产业真实实践案例

产业逐渐向落地应用递进的同时，工程师们面对的真实场景自然增多，练过且有思路的同学要抢手的多。做过落地case的同学都懂，真实场景VS基于理想化数据的代码实践，那就是猛虎 VS Kitty。所以强烈建议大家用好这门课配套的真实场景实践赛题和范例。

有心、可靠的助攻天团

百度研发工程师每晚视频答疑，报名、有网就能参加。
由5位飞桨开发者技术专家或NLP方向在读博士生等高阶开发者组成的助教团将在未来两周全天在线答疑护航。
从此再也不怕无名小坑一卡卡一周了~

在线、免费的GPU环境

真『有网就行』、『有手就行』的平台支持，报名就能使用NVIDIA Tesla V100/A100 GPU算力。

邱神直播开课、实时互动、在线问答

7月19日（周二）20:30，邱神、百度飞桨团队、机械工业出版社联合直播开讲。

小白、基础不扎实的同学都友好

每章视频课都细分为了数十个小节，非常小白的同学推荐先学前三节，普通同学可以自主学习更深入的小节。并且在案例与实践部分，每节课会有一半时间会带着大家现场看项目、做实践～一步一步带大家做数据预处理、搭模型、做优化等。

学习旅程的见证：官方结业证书

若能坚持学完课程、完成必修部分的作业实践任务并达到及格，即可获得邱神签名的飞桨官方结业证书，上面有邱神手写鼓励语哦~

重要的事情说三遍

代码开源的！全程免费的！官方出品的！
报名入口在文末！

福利彩蛋

参与课程过程中，为蒲公英案例与实践教程、飞桨框架、AI Studio平台等部分提供有效建议、纠错、代码等贡献；或结业总成绩进入前50名，即可获得Tesla V100 GPU算力卡、阶梯奖学金、百度网盘超级会员、度厂周边等多种学习激励！

传送门

我们会通过Q群（392155840）进行在线答疑助攻、信息同步（直播开课时间、课程视频及题库地址、闭门答疑会议号、每日学习任务海报、抽奖信息）等，欢迎加入~

扫码立即报名

跟邱神一起强基础！

和飞桨一起练实践！

愿你学有所获，像蒲公英的种子一样在人工智能产业大地上落地生根，与我们一起用知识传递信仰！