ALBERT、XLNet,NLP技术发展太快,如何才能跟得上节奏?
谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD 2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜!ALBERT是一种轻量版本的BERT,利用更好的参数来训练模型,但是效果却反而得到了很大提升!ALBERT的核心思想是采用了两种减少模型参数的方法,比BERT占用的内存空间小很多,同时极大提升了训练速度,更重要的是效果上也有很大的提升!
▲BERT 和 ALBERT 两者的参数量比较。
这次发布的模型由Google Lab的 Lan Zhenzhong博士来主导完成,而且Lan Zhenzhong博士正好也是贪心学院的顾问以及教研团队的成员。近期我们也会邀请Zhenzhong博士给大家做一次分享。
为了迎接NLP领域的各种变化,贪心学院的《自然语言处理》课程也在不断迭代更新,保证不错过任何2周之内出现的重要技术。自然语言处理无非是目前最大的风口,从Word2Vec、ElMo、GPT、Bert到XLNet, 我们见证了这个领域的高速发展以及未来的前景。互联网中的大量的文本以及IOT时代赋予我们的全新交互带来了这个领域的爆发。
那这样的训练营到底是怎么样的呢? 下面来详细介绍一下《自然语言处理高阶训练营》的内容,也可以添加我们专业的AI职业规划师来咨询,我们的咨询师也是顶级AI公司出来的哦~
01课程大纲
第一阶段 算法与机器学习基础
【核心知识点】
. 时间复杂度,空间复杂度分析
. Master's Theorem,递归复杂度分析
. 动态规划以及Dynamic Time Warpping
. Earth Mover's Distance
. 维特比算法
. LR、决策树、随机森林、XGBoost
. 梯度下降法、随机梯度下降法、牛顿法
. Projected Gradient Descent
. L0, L1, L2, L-Infinity Norm
. Grid Search, Bayesian Optimization
. 凸函数、凸集、Duality、KKT条件
. Linear SVM、Dual of SVM
. Kernel Tick, Mercer's Theorem
. Kernelized Linear Regression、Kernelized KNN
. Linear/Quadratic Programming
. Integer/Semi-definite Programming
. NP-completeness/NP-hard/P/NP
. Constrained Relaxation、Approximate Algorithm
. Convergence Analysis of Iterative Algorithm
【部分案例讲解】
. 基于Sparse Quadratic Programming的股票投资组合优化策略编写
. 基于Earth Mover's Distance的短文本相似度计算
. 基于Projected Gradient Descent和非负矩阵分解的词向量学习
. 基于Linear Programming的机票定价系统
. 基于DTW的文本相似度分析
第二阶段 语言模型与序列标注
【核心知识点】
. 文本预处理技术(tf-idf,Stemming等)
. 文本领域的特征工程
. 倒排表、信息检索技术
. Noisy Channel Model
. N-gram模型,词向量介绍
. 常见的Smoothing Techniques
. Learning to Rank
. Latent Variable Model
. EM算法与Local Optimality
. Convergence of EM
. EM与K-Means, GMM
. Variational Autoencoder与Text Disentangling
.有向图与无向图模型
. Conditional Indepence、D-separation、Markov Blanket
. HMM模型以及参数估计
. Viterbi、Baum Welch
. Log-Linear Model与参数估计
. CRF模型与Linear-CRF
. CRF的Viterbi Decoding与参数估计
【部分案例讲解】
. 基于无监督学习方法的问答系统搭建
. 基于监督学习的Aspect-Based 情感分析系统搭建
. 基于CRF、LSTM-CRF、BERT-CRF 的命名实体识别应用
. 基于语言模型和Noisy Channel Model的拼写纠错
第三阶段 信息抽取、词向量与知识图谱
【核心知识点】
. 命名实体识别技术
. 信息抽取技术
. Snowball, KnowitAll, RunnerText
. Distant Supervision, 无监督学习方法
. 实体统一、实体消歧义、指代消解
. 知识图谱、实体与关系
. 词向量、Skip-Gram、Negative Sampling
. 矩阵分解、CBOW与Glove向量
. Contexualized Embedding与ELMo
. KL Divergence与Gaussian Embedding
. 非欧式空间与Pointcare Embedding
. 黎曼空间中的梯度下降法
. 知识图谱嵌入技术
. TransE, NTN 的详解
. Node2Vec详解
. Adversial Learning与KBGAN
【部分案例讲解】
. 利用非结构化数据和信息抽取技术构建知识图谱
. 任务导向型聊天机器人的搭建
. 包含Intent与Entity Extraction的NLU模块实现
. 基于SkipGram的推荐系统实现(参考Airbnb论文)
第四阶段 深度学习与NLP
【核心知识点】
. Pytorch与Tensorflow详解. 表示学习,分布式表示技术
. 文本领域中的Disentangling
. 深度神经网络与BP算法详解
. RNN与Vanishing/Exploding Gradient
. LSTM与GRU
. Seq2Seq与注意力机制
. Greedy Decoding与Beam Search
. BI-LSTM-CRF模型
. Neural Turing Machine
. Memory Network
. Self Attention,Transformer以及Transformer-XL.
. Bert的详解
. BERT-BiLSTM-CRF
. GPT,MASS, XLNet
. Low-resource learning
. 深度学习的可视化
. Laywer-wise Relevance Propagation
【部分案例讲解】
. 利用纯Python实现BP算法
. 基于Seq2Seq+注意力机制、基于Transformer的机器翻译系统
. 基于Transformer的闲聊型聊天机器人
. 基于BI-LSTM-CRF和BERT-BiLSTM-CRF在命名实体中的比较
. 利用Laywer-wise RP可视化端到端的机器翻译系统
第五阶段 贝叶斯模型与NLP
【核心知识点】
. 概率图模型与条件独立
. Markov Blanket
. Dirichlet分布、Multinomial分布
. Beta分布、Conjugate Prior回顾
. Detail Balance
. 主题模型详解
. MCMC与吉布斯采样
. 主题模型与Collapsed Gibbs Sampling
. Metropolis Hasting, Rejection Sampling
. Langevin Dyamics与SGLD
. 分布式SGLD与主题模型
. Dynamic Topic Model
. Supervised Topic Model
. KL Divergence与ELBO
. Variantional Inference, Stochastic VI
. 主题模型与变分法
. Nonparametric Models
. Dirichlet Process
. Chinese Restarant Process
. Bayesian Deep Neural Network
. VAE与Reparametrization trick
. Bayesian RNN/LSTM
. Bayesian Word2Vec
. MMSB
【部分案例讲解】
. 利用Collapsed Gibbs Sampler和SGLD对主题模型做Inference
. 基于Bayesian-LSTM的命名实体识别
. 利用主题模型做文本分类在
. LDA的基础上修改并搭建无监督情感分析模型
第六阶段 开放式项目 (Optional)
【项目介绍】
开放式项目又称为课程的capstone项目。作为课程中的很重要的一部分,可以选择work on一个具有挑战性的项目。通过此项目,可以深入去理解某一个特定领域,快速成为这个领域内的专家,并且让项目成果成为简历中的一个亮点。
【项目流程】
Step 1: 组队
Step 2:立项以及提交proposal
Step 3: Short Survey Paper
Step 4: 中期项目Review
Step 5: 最终项目PPT以及代码提交
Step 6: 最终presentation
Step 7: Technical Report/博客
【输出结果】
完整PPT、代码和Conference-Style Technical Report 最为项目的最后阶段,我们将组织学员的presentation分享大会。借此我们会邀请一些同行业的专家、从业者、企业招聘方、优质猎头资源等共同参与分享大会。
为AI从业者/研究生/研究员专门定制
全网唯一《NLP自然语言处理高阶训练营》
对课程有意向的同学
添加课程顾问小姐姐微信
报名、课程咨询
????????????
02部分项目作业
课程设计紧密围绕学术界最新进展以及工业界的需求,涵盖了所有核心知识点,并且结合了大量实战项目,培养学员的动手能力,解决问题能力。
问答系统
从零开始搭建一个完整的问答系统。给定一个语料库(问题和答案对),对于用户的输入需要返回最适合的答案。涉及到的模块:
1. 对于用户的输入需要做拼写纠错,这部分会用到语言模型
2. 之后对输入做文本的预处理,过滤等操作。
3. 把文本转换成向量形式,这里需要用到tf-idf, word2vec等相关的技术。
4. 针对于语料库,为了提升效率需要创建倒排表。
5. 基于相似度的计算来获得最优的答案。
情感分析系统
基于给定数据,来搭建一个完整的情感分析系统。项目涉及到的模块:
1. 数据的预处理
2. 特征工程,这部分是本项目的核心。
3. 监督学习模型的选择与调参。调参的过程需要尝试不同的优化策略。
知识图谱系统
利用非结构化数据来搭建知识图谱。项目涉及到的模块:
1. 从非结构化数据中抽取实体,以及词典库的构建
2. 关系的抽取(指定的关系)
3. 实体统一以及实体消歧。
4. 知识图谱的构建以及查询
对话系统中的NLU
基于给定的对话数据来构建NLU识别部分,并结果用于聊天机器人中。 项目涉及到的模块:
1. 文本特征的提取
2. 搭建CRF模型来识别关键词
3. 搭建LSTM-CRF模型来识别关键词。
机器翻译系统
基于给定数据,来搭建一个完整的情感分析系统。项目涉及到的模块:
1. 数据的预处理
2. 特征工程,这部分是本项目的核心。
3. 监督学习模型的选择与调参。调参的过程需要尝试不同的优化策略。
任务导向型聊天机器人
搭建一个完整的聊天机器人,用来服务搜索餐厅。项目涉及到的模块:
1. 文本预处理
2. 意图识别和关键信息抽取
3. 对于每一个意图设计对话管理状态机
4. 设计上下文处理的方法
5. 对话生成模块
6. 处理一些常见的boundary case。
03直播授课,现场推导演示
区别于劣质的PPT讲解,导师全程现场推导,让你在学习中有清晰的思路,深刻的理解算法模型背后推导的每个细节。更重要的是可以清晰地看到各种模型之间的关系!帮助你打通六脉!
▲源自:CRF与Log-Linear模型讲解
▲源自:CRF与Log-Linear模型讲解
▲源自:Convex Optimization 讲解
▲源自:Convergence Analysis 讲解
不管你在学习过程中遇到多少阻碍,你都可以通过以下4种方式解决:
1、直接在线问导师;
2、记录到共享文档中,每日固定时间的直播答疑;
3、学习社群中全职助教,随时提问答疑
4、共同的问题在Review Session里面做讲解
注:每次答疑,班主任都会进行记录,以便学员实时查阅。
04课程适合谁?
对机器学习算法有基础了解,具备编程能力;
对数据结构与算法比较熟悉;
想申请国外名校AI相关专业的硕士/博士;
已从事NLP领域工作,想要升职加薪;
想加入顶级AI公司;
05每周课程安排
采用直播的授课方式,一周4-5次的直播教学, 包括2次的main lectures, 1-2次的discussion session (讲解某一个实战、必备基础、案例或者技术上的延伸), 1次的paper reading session (每周会assign一篇必备论文,并且直播解读)。教学模式上也参考了美国顶级院校的教学体系。以下为其中一周的课程安排,供参考。
每周一次的Review Session, 老师提前一周给出几个备选主题,由学生进行投票选择最心仪的主题,每周三次。
06你的必备挑战
1.编写一些技术类文章
通过在知乎上发表相关技术文章进行自我成果检验,同时也是一种思想碰撞的方式,导师会对发表的每一篇文章写一个详细的评语。万一不小心成为一个大V了呢?虽然写文章的过程万分痛苦,学习群里半夜哀嚎遍野,但看一看抓着头发写出来的文章结果还是非常喜人的!看着自己收获的点赞数,大家都默默地感谢起导师们的无情!
这种满满的成就感,让大家一篇接一篇写了下去!
个个都立刻变身成了知乎大牛~
2.Project项目
除了文章,算法工程师的立命根本--项目代码,导师更是不会放过的。每次在Gitlab上布置的作业,导师们都会带领助教团队会予以详细的批改和反馈。并逼着你不断的优化!
07 训练营导师
看了这么多,是不是非常崇拜设计出如此地狱式学习计划的大牛,那就来正式认识一下这位训练营中人人听了都闻风丧胆,但又让人崇拜+喜爱+欲罢不能的训练营大魔头:
李文哲
NLP、知识图谱领域专家
美国南加州大学博士,曾任凡普金科(爱钱进)首席科学家,美国亚马逊/高盛高级工程师,AI量化投资公司首席科学家兼投资总监。在AAAI, KDD, AISTATS等顶会上发表过15篇以上论文,其中3篇获得Best Paper Award,累计数百次引用。
在被大魔头们折磨了多个日日夜夜后,大家不但没有放弃学习,而且很快乐地学习着。来听听大家的心声吧:
这两天群里更是捷报连连。我们前三期项目的已经有多名学员被一线AI企业录取,还有通过二面、三面等待着offer。相信未来几周我们将会受到更多的好消息!
随便截了几个学员反馈,看看他们有多爱这个机智又严苛的大魔头:
我确定了我们的魔鬼训练营没有误人子弟,我们的课程真的帮助到大家实质的技能提升或帮助大家拿到offer。
这次我们迎来了第六期NLP的招生,千万不要觉得这是一个对标其他线上课程的普通的训练营。由于内容的专业性以及深度,在过去吸引了大量的全球顶级名府的学员,这里不乏来自斯坦福、UCSD、USC、哥大、HKUST、爱丁堡等世界名府的学生;在这里,你不仅可以享受到通往顶尖人才的快乐、也可以结识志同道合的AI从业者以及未来的科学家。
08报名须知
1、本课程为收费教学。
2、本期仅招收50个名额。
3、品质保障!正式开课后7天内,无条件全额退款。
4、学习本课程需要具备一定的AI基础。
●●●
为AI从业者/研究生/研究员专门定制
全网唯一《NLP自然语言处理高阶训练营》
对课程有意向的同学
添加课程顾问小姐姐微信
报名、课程咨询
????????????
ALBERT、XLNet,NLP技术发展太快,如何才能跟得上节奏?相关推荐
- BERT or XLNet,围观NLP巅峰烧钱大战。技术发展太快,如何才能跟得上节奏?
在过去的几个月时间里,Google和Facebook在一场别样的大战上打得火热,自从Google的XLNet横空出世战胜了BERT的记录,Facebook就开始默默憋大招了.上周剧情再次翻转,改进版B ...
- XLNet再次超越BERT,技术发展太快,如何才能跟得上节奏?
在过去的2-3天时间里,Google的XLNet又刷爆了朋友圈.在面对技术的快速迭代更新,我们也在第一时间把XLNet纳入到了训练营体系里,在模型发布的第三天就完成了所有教研的工作.2019年贪心学院 ...
- 《安富莱嵌入式周报》第285期:电子技术更新换代太快,我要躺平,Linux内核6.1已经并入RUST,一夜161个网站密码遭泄,Matlab精选课件,开源电子书
往期周报汇总地址:嵌入式周报 - uCOS & uCGUI & emWin & embOS & TouchGFX & ThreadX - 硬汉嵌入式论坛 - P ...
- (转)当前中国互联网发展太快是否存在泡沫
都说互联网应该有激情,这是前提.但是我觉得互联网一定要理性,一定要能够守得住,一定要能够使自己的心态保持一定的冷静,这是很重要的.一定要做踏踏实实做一件事情.为什么会出现泡沫经济?当然了一定要出现泡沫 ...
- mysql从库追主库日志_Mysql主库跑太快,从库追不上怎么做?
写这篇文章是因为之前有一次删库操作,需要进行批量删除数据,当时没有控制好删除速度,导致产生了主从延迟,出现了一点小事故. 主从常见架构 随着日益增长的访问量,单台数据库的应接能力已经捉襟见肘.因此采用 ...
- BAT解密:互联网技术发展之路(1) - 技术发展的驱动力
BAT解密:互联网技术发展之路(1) - 技术发展的驱动力 互联网行业是一个快速发展.快速变化的行业,新的业务.新的机会层出不穷,新的技术如雨后春笋般冒出,NoSQL.大数据.云.Node.js.Do ...
- 对GCN,Transformer, XLNet, ALBERT, CRF等技术仍然一知半解?再不学习就OUT了!
谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD 2.0.GLUE.RACE等任务上超越了BERT.XLNet.RoBERTa再次刷新了排行榜!ALBERT是 ...
- 证券业如何破局发展,用好NLP技术很关键
在行业同质化背景下,加速金融科技赋能,以此为证券业发展打开新的关口,已成为券商的共识.但如何运营好技术,让技术赋能业务,是行业内共同关心的话题. 在"AI同行 创享未来"--虎博证 ...
- 计算机知识更新迭代太快,技术更新迭代的步伐越走越快 盘点一年IT圈 几多欢喜几多愁...
随着新一轮科技革命和产业变革的到来,这几年,技术更新迭代的步伐越走越快.即将过去的2019年,更有不少承上启下.继往开来的突破点.转折点.闪光点,屡屡为我们制造惊喜或惊讶. 在基础设施方面,5G商用的 ...
最新文章
- 看完这些细分领域别说小程序代理创业没有机会
- Nignx平滑升级(1.8.0-1.8.1)
- 定义交货输出条件类型(Output Types)
- linux C++ 多线程使用pthread_cond 条件变量
- linux终端密码星星,如何获得您的sudo密码在Ubuntu中显示为星号 | MOS86
- curl有时获取不到数据 什么原因导致_缓存击穿导致 golang 组件死锁的问题分享...
- 数学建模(一)层次分析法
- 对修饰器的实验支持功能在将来的版本中可能更改。在 “tsconfig“ 或 “jsconfig“ 中设置 “experimentalDecorators“ 选项以删除此警告。ts(1219)
- (转)【JSON工具】一个JSON格式化查看工具——HIJSON
- React fundamental 和 React Router-郭永峰-专题视频课程
- matlab求导程序,「matlab求导」matlab 求导的一个简单程序 - 金橙教程网
- QT控件 之(TreeView)实现右键菜单栏功能,双击事件能实现区分不同的节点的点击效果
- 电脑笔记本利用谷歌浏览器进行网页截长图滚动截图
- 关于163邮箱,上传附件,本地验证文件大小的问题。
- 【数学建模】2021 年全国大学生数学建模竞赛A题一等奖获奖论文
- 应用排行榜第一名脸萌只是刹那的烟火
- 对npm包精准控制之npm-shrinkwrap.json与package-lock.json
- 服务器显示未知主机如何解决办法,mc服务器时候说我未知主机
- C++中拷贝构造、赋值构造的区别
- 【观察】OceanBase 4.0,单机与分布式的新拐点
热门文章
- jmeter里的连接数_Jmeter之连接问题
- python从小到大的顺序输出_「小白专栏」Python中使用for循环,为什么输出结果不是按顺序?...
- 最优化学习笔记(二)一维搜索
- java8新特性(6)— 日期与时间
- 解决:Xshell如何修改默认的登录用户,自动跳转到密码界面
- 无法打开虚拟机“Ubuntu2” (D:\software\Ubuntu2.vmx): 未找到文件。 是否从库中移除“Ubuntu2”?
- python爬虫绕过验证码_爬虫怎样绕过验证码?
- 64测试cpu稳定性_SuperPI-圆周率计算与CPU性能与稳定性测试
- fpga如何约束走线_FPGA时序约束实战篇之多周期路径约束
- 玩ts要注意什么_番禺三维创意拍摄要注意什么