我们经常会在后台收到一些比较简要的技术咨询,描述了是什么任务,发现用BERT粗暴精调效果不好之后,问我们有什么办法可以提升。我们:

在面对第一把梭就失败时,我们通常是这么判断的:

1. 如果效果差的很离谱,比如二分类准确率在60%以下,那大概率是模型有问题,开始用小数据集debug

2. 如果有点效果,但一言难尽,那估计是数据有问题,要不然噪声多,要不然是真的难,可以自己看一下训练集,如果人看完后在几秒内都不能给出答案,就别太指望模型可以做好

在第一把效果还行的情况下,推荐尝试以下策略:

1. In-Domain Further Pre-train:利用同领域下的无监督数据继续MLM预训练,这个方法我真的百试不厌,一般用一两百万的数据就能提升1-2个点;

2. Within-Task Further Pre-Training:利用不同领域的同任务数据预先精调,选通用一些的一般也有提升;

3. Multi-Task Fine-Tuning:利用不同任务预先精调;

4. Layer-wise Decreasing Layer Rate:每层学到的知识都是不同的,前面几层会更通用,所以学的时候可以用小一点的学习率,防止灾难性遗忘;

5. Features from Different layers:把不同层的输出集成起来,不过这个方法不一定有提升;

6. 长文本处理:截断或使用层次化编码。

以上这些方法,都出自复旦邱锡鹏老师的《How to fine-tune BERT for text classification?》,该文进行了各种详细的实验,得出了不少有用的结论,推荐大家去学习。即使有的方法在论文数据集中表现一般,在自己的数据上也可以尝试。

估计很多同学都知道邱老师,他的《神经网络与深度学习》(即蒲公英书)在豆瓣评分9.4,是一本十分适合算法同学入门、复习的读物。

但虽然基础有了,真到coding的时候往往还是下不去手,怎么破?

Don't Worry!邱神联合百度飞桨,以蒲公英书为基础,出品了配套产业案例与实践的免费教程!

其中很多知识点,都会配上底层代码,帮大家稳稳拿捏,比如BatchNorm:

同时,为了让大家更好地了解该课程的设计思想,提高学习效率,邱神还将和百度飞浆工程师团队一起做直播,跟大家在线实时交流!(文末报名)

丰富题库实践

深度学习是一门实验性质很强的学科,纯学习理论很难get到不同算法、模型在实际场景中的表现差异和细节影响,边学边练才是这类学科的正确打开方式。这套教程除常规例程外,还配了近百道习题,选择题、实践题层层递进,有序覆盖最核心的知识点。(如第八章“注意力机制”就选了『基于自注意力机制完成LCQMC文本语义匹配任务』作为项目实践,这些强匹配的实践题对大家深入理解理论知识是十分有效的。)

产业真实实践案例

产业逐渐向落地应用递进的同时,工程师们面对的真实场景自然增多,练过且有思路的同学要抢手的多。做过落地case的同学都懂,真实场景VS基于理想化数据的代码实践,那就是猛虎 VS Kitty。所以强烈建议大家用好这门课配套的真实场景实践赛题和范例。

有心、可靠的助攻天团

百度研发工程师每晚视频答疑,报名、有网就能参加。
由5位飞桨开发者技术专家或NLP方向在读博士生等高阶开发者组成的助教团将在未来两周全天在线答疑护航。
从此再也不怕无名小坑一卡卡一周了~

在线、免费的GPU环境

真『有网就行』、『有手就行』的平台支持,报名就能使用NVIDIA Tesla V100/A100 GPU算力。

邱神直播开课、实时互动、在线问答

7月19日(周二)20:30,邱神、百度飞桨团队、机械工业出版社联合直播开讲。

小白、基础不扎实的同学都友好

每章视频课都细分为了数十个小节,非常小白的同学推荐先学前三节,普通同学可以自主学习更深入的小节。并且在案例与实践部分,每节课会有一半时间会带着大家现场看项目、做实践~一步一步带大家做数据预处理、搭模型、做优化等。

学习旅程的见证:官方结业证书

若能坚持学完课程、完成必修部分的作业实践任务并达到及格,即可获得邱神签名的飞桨官方结业证书,上面有邱神手写鼓励语哦~

重要的事情说三遍

代码开源的!全程免费的!官方出品的!
报名入口在文末!

福利彩蛋

参与课程过程中,为蒲公英案例与实践教程、飞桨框架、AI Studio平台等部分提供有效建议、纠错、代码等贡献;或结业总成绩进入前50名,即可获得Tesla V100 GPU算力卡、阶梯奖学金、百度网盘超级会员、度厂周边等多种学习激励!

传送门

我们会通过Q群(392155840)进行在线答疑助攻、信息同步(直播开课时间、课程视频及题库地址、闭门答疑会议号、每日学习任务海报、抽奖信息)等,欢迎加入~

扫码立即报名

跟邱神一起强基础!

和飞桨一起练实践!

愿你学有所获,像蒲公英的种子一样在人工智能产业大地上落地生根,与我们一起用知识传递信仰!

豆瓣评分9.4!跟邱锡鹏教授一起学「神经网络与深度学习」,7月19日开课相关推荐

  1. 开放下载!复旦大学邱锡鹏教授发布教科书《神经网络与深度学习》

    点击"小詹学Python","星标"或"置顶" 关键时刻,第一时间送达 本文转载自"机器之心" 从2016到2019,根 ...

  2. 豆瓣评分9.7,Github 9.9K Star的中文版《神经网络与深度学习》分享(附PDFPPT下载)...

    点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送 书籍名称:神经网络与深度学习 作者:邱锡鹏老师 院校:复旦大学 类别:深度学习 编辑:机 ...

  3. 复旦大学邱锡鹏教授发布《神经网络与深度学习》教材,配备代码和章节练习...

    雷锋网(公众号:雷锋网) AI 科技评论按,近日,复旦大学计算机科学学院副教授邱锡鹏发布了一本<神经网络与深度学习>教材,这份学习资源一经发布就广受好评.目前,该资源在 github 上已 ...

  4. 复旦大学邱锡鹏教授:一张图带你梳理深度学习知识脉络

    Datawhale 作者:邱锡鹏,复旦大学教授 寄语:本文梳理了深度学习知识体系,分为机器学习.神经网络和概率图模型,同时对机器学习算法类型.深度学习原理框架等进行了梳理,帮助大家更好地学习和入手深度 ...

  5. Transformer模型有多少种变体?复旦邱锡鹏教授团队做了全面综述

    视学算法报道 转载自:机器之心 编辑:Liyuan.杜伟 自提出至今,Transformer 模型已经在自然语言处理.计算机视觉以及其他更多领域「大展拳脚」,学界也提出了各种各样基于原始模型的变体.但 ...

  6. AI:2020年6月21日北京智源大会演讲分享之20:00-21:00邱锡鹏教授《如何学习深度学习》

    AI:2020年6月21日北京智源大会演讲分享之20:00-21:00邱锡鹏教授<如何学习深度学习> 导读:首先感谢北京智源大会进行主题演讲的各领域顶级教授,博主受益匪浅,此文章为博主在聆 ...

  7. 推荐:复旦邱锡鹏教授开源发布的《神经网络与深度学习》

    本文作者:Datawhale 4月7日下午,邱锡鹏教授在知乎上达文称整本书终于写完了,虽然还有很多不足.但先告一段落,不然就得无限期拖延下去.感谢众多热心网友的意见和建议.全书的内容可以从这里(htt ...

  8. 邱锡鹏教授--神经网络和深度学习(一)

    邱锡鹏教授--神经网络和深度学习(一) 机器学习 线性模型 long time no see-今天开始会把之前或平时的学习笔记记录到这里,有误请大家帮我指正一下,开始冲了!对应的资源我会上传到这里,大 ...

  9. 复旦大学邱锡鹏教授:语言模型即服务,走向大模型的未来

    来源:智源社区 作者:智源社区 整理:周致毅 人类一直期待AI能在处理自然语言方面大放异彩,语言大模型在近些年已逐渐成为NLP领域的标配.随着模型的扩张,当前大模型的调用已变成上游厂商开放API供下游 ...

最新文章

  1. 如何减少WIN7响应时间
  2. VMware静态地址上网
  3. Ubuntu下apt-get命令详解
  4. Windows下的Jupyter Notebook 安装与自定义启动(图文详解)
  5. linux中echo的使用方法
  6. phantom.js - HTML To PDF
  7. python turtle库下载_turtle库安装
  8. 中标麒麟操作系统了解的指令
  9. 在html中向下的箭头怎样写,word换行向下的箭头怎么打
  10. 怎样卸载deepin系统_win10系统双系统下卸载deepin的详细技巧
  11. python爬取豆瓣TOP250
  12. JavaScript轻应用网络模块介绍
  13. c# 标准正太分布函数_Excel里面标准正态分布函数NORMSDIST()在C#里的算法以及科学计数法转换为正常数值...
  14. causalml安装记录
  15. 更改MyEclipse/Eclipse的工作空间名字(workspace)
  16. Apple 等六大生态系统的崛起
  17. coap python_Python coap
  18. 激光雷达与相机融合(五)-------ros实时版点云投影到图像平面
  19. 《本质思考 · 从底层思维构建解决问题的支点》读书笔记分享
  20. 《象与骑象人》读后感_20170717

热门文章

  1. 火狐 浏览器 历史版本下载地址
  2. ml-agents_使用ML-Agents的自玩功能来训练智能对手
  3. ROC 曲线/准确率、覆盖率(召回)、命中率、Specificity(负例的覆盖率)
  4. 解决删除Volume报错的问题(二)
  5. latex 分布符号_LaTeX最全的数学符号大全(更新中…… )
  6. 阿里云对象存储OSS图片上传并回显
  7. 【每日新闻】高盛与苹果合作推出AppleCard
  8. 我失业了,公司与我解除劳动合同关系
  9. 【毕业设计】基于Arduino的智能灌溉系统 - 嵌入式 单片机 物联网
  10. 线性代数——线性组合、线性空间、基底