2021年自然语言处理学习路线!
贪心科技教育
内容路线:自然语言处理
NLP近几年非常火,且发展特别快。像BERT、GPT-3、图神经网络、知识图谱等技术应运而生。我们正处在信息爆炸的时代、面对每天铺天盖地的网络资源和论文、很多时候我们面临的问题并不是缺资源,而是找准资源并高效学习。但很多时候你会发现,花费大量的时间在零零散散的内容上,但最后发现效率极低,浪费了很多宝贵的时间。为了迎合大家学习的需求,我们这次重磅推出了《自然语言处理终身升级版》学习路线和课程。
课程覆盖了从经典的机器学习、文本处理技术、序列模型、深度学习、预训练模型、知识图谱、图神经网络所有必要的技术。
重点:课程会不断更新,比如一篇新的有趣的论文出现在arxiv,我们会在1个月之内提供技术的讲解和实战。我相信这个课程将是你在NLP领域中的终身伴侣。
01 完整路线
第一部分:机器学习基础篇
第一章:自然语言处理概述
自然语言处理的现状与前景
自然语言处理应用
自然语言处理经典任务
第二章:数据结构与算法基础
时间复杂度、空间复杂度
动态规划
贪心算法
各种排序算法
第三章:分类与逻辑回归
逻辑回归
最大似然估计
优化与梯度下降法
随机梯度下降法
第四章:模型泛化与调参
理解过拟合、防止过拟合
L1与L2正则
交叉验证
正则与MAP估计
第二部分:文本处理篇
第五章:文本预处理与表示
各类分词算法
词的标准化
拼写纠错、停用词
独热编码表示
tf-idf与相似度
分布式表示与词向量
词向量可视化与评估
第六章:词向量技术
独热编码的优缺点
分布式表示的优点
静态词向量与动态词向量
SkipGram与CBOW
SkipGram详解
Negative Sampling
第七章:语言模型
语言模型的作用
马尔科夫假设
UniGram, BiGram, NGram模型
语言模型的评估
语言模型的平滑技术
第三部分:序列模型篇
第八章:隐马尔科夫模型
HMM的应用
HMM的Inference
维特比算法
前向、后向算法
HMM的参数估计详解
第九章:线性条件随机场
有向图与无向图
生成模型与判别模型
从HMM与MEMM
MEMM中的标签偏置
Log-Linear模型介绍
从Log-Linear到LinearCRF
LinearCRF的参数估计
第四部分:深度学习与预训练篇
第十章:深度学习基础
理解神经网络
各种常见的激活函数
反向传播算法
浅层模型与深度模型对比
深度学习中的层次表示
深度学习中的过拟合
第十一章:RNN与LSTM
从HMM到RNN模型
RNN中的梯度问题
梯度消失与LSTM
LSTM到GRU
双向LSTM
双向深度LSTM
第十二章:Seq2Seq模型与注意力机制
Seq2Seq模型
Greedy Decoding
Beam Search
长依赖所存在的问题
注意力机制的实现
第十三章:动态词向量与ELMo技术
基于上下文的词向量技术
图像识别中的层次表示
文本领域中的层次表示
ELMo模型
ELMo的预训练与测试
ELMo的优缺点
第十四章:自注意力机制与Transformer
LSTM模型的缺点
Transformer概述
理解自注意力机制
位置信息的编码
理解Encoder和Decoder区别
理解Transformer的训练与预测
Transformer的缺点
第十五章:BERT与ALBERT
自编码介绍
Transformer Encoder
Masked语言模型
BERT模型
BERT的不同训练方式
ALBERT
第十六章:BERT的其他变种
RoBERTa模型
SpanBERT模型
FinBERT模型
引入先验知识
K-BERT
KG-BERT
第十七章:GPT与XLNet
Transformer Encoder回顾
GPT-1, GPT-2, GPT-3
ELMo的缺点
语言模型下同时考虑上下文
Permutation LM
双流自注意力机制
第五部分:信息抽取与知识图谱篇
第十八章:命名识别与实体消歧
信息抽取的应用和关键技术
命名实体识别
NER识别常用技术
实体统一技术
实体消歧技术
指代消解
第十九章:关系抽取
关系抽取的应用
基于规则的方法
基于监督学习的方法
Bootstrap方法
Distant Supervision方法
第二十章:句法分析
句法分析的应用
CFG介绍
从CFG到PCFG
评估语法树
寻找最好的语法树
CKY算法
第二十一章:依存文法分析
从语法分析到依存文法分析
依存文法分析的应用
基于图算法的依存文法分析
基于Transition-based的依存文法分析
依存文法的应用案例
第二十二章:知识图谱
知识图谱的重要性
知识图谱中的实体与关系
非结构化数据与构造知识图谱
知识图谱设计
图算法的应用
第六部分:模型压缩与图神经网络篇
第二十三章:模型的压缩
模型压缩重要性
常见的模型压缩总览
基于矩阵分解的压缩技术
基于蒸馏的压缩技术
基于贝叶斯模型的压缩技术
模型的量化
第二十四章:基于图的学习
图的表示
图与知识图谱
关于图的常见算法
Deepwalk和Node2vec
TransE图嵌入算法
DSNE图嵌入算法
第二十五章:图神经网络
卷积神经网络回顾
在图中设计卷积操作
图中的信息传递
图卷积神经网络
图卷积神经网络的经典应用
第二十六章:GraphSage与GAT
从GCN到GraphSAge
注意力机制回归
GAT模型详解
GAT与GCN比较
对于异构数据的处理
第二十七章:图神经网络的其他应用
Node Classification
Graph Classification
Link Prediction
社区挖掘
推荐系统
图神经网络的未来发展
学习课程可以联系课程顾问获取
添加课程顾问微信
报名、课程咨询
????????????
02 课程中的部分案例
1. 实现一个拼写纠错器 |
2. 从零实现Word2Vec词向量 |
3. 利用SkipGram做推荐 |
4. 从零实现HMM模型 |
5. 基于Linear-CRF的词性分类器实现 |
6. 从零实现深度学习反向传播算法 |
7. 实现AI程序帮助写程序 |
8. 实现AI程序帮助写文章 |
9. 基于Transformer的机器翻译 |
10. 基于KG-BERT的知识图谱学习 |
11. 基于知识图谱的风控系统 |
12. 基于知识图谱的个性化教学 |
13. 利用蒸馏算法压缩Transformer |
14. 利用GCN实现社交推荐 |
15. 基于GAT的虚假新闻检测 |
(剩下20+个案例被折叠,完整请咨询...) |
03 课程中的部分项目作业
1. 豆瓣电影评分预测
涉及到的知识点:
中文分词技术
独热编码、tf-idf
分布式表示与Word2Vec
BERT向量、句子向量
2. 智能客服问答系统
涉及到的知识点:
问答系统搭建流程
文本的向量化表示
FastText
倒排表
问答系统中的召回、排序
3. 基于Linear-CRF的医疗实体识别
涉及到的知识点:
命名实体识别
特征工程
评估标准
过拟合
4. 基于闲聊的对话系统搭建
涉及到的知识点:
常见的对话系统技术
闲聊型对话系统框架
数据的处理技术
BERT的使用
Transformer的使用
5. 搭建基于医疗知识图谱的问答系统
涉及到的知识点:
医疗专业词汇的使用
获取问句的意图
问句的解释、提取关键实体
转化为查询语句
6. 搭建基于医疗知识图谱的问答系统
涉及到的知识点:
文本摘要生成介绍
关键词提取技术
图神经网络的摘要生成
基于生成式的摘要提取技术
文本摘要质量的评估
04 课程中带读的部分论文
主题 |
论文名称 |
机器学习 | XGBoost: A Scalable Tree Boosting System |
机器学习 | Regularization and Variable Selection via the Elastic Net |
词向量 | Evaluation methods for unsupervised word embeddings |
词向量 | Evaluation methods for unsupervised word embeddings |
词向量 | GloVe: Global Vectors for Word Representation |
词向量 | Deep Contexualized Word Representations |
词向量 | Attention is All You Need |
词向量 | BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding |
词向量 | XLNet: Generalized Autoregressive Pretraining for Language Understanding |
词向量 | KG-BERT: BERT for Knowledge Graph Completion |
词向量 | Language Models are Few-shot Learners |
图学习 | Semi-supervised Classification with Graph Convolutional Networks |
图学习 | Graph Attention Networks |
图学习 | GraphSAGE: Inductive Representation Learning on Large Graphs |
图学习 | Node2Vec: Scalable Feature Learning for Networks |
被折叠 |
其他数十篇文章...... |
05 课程适合谁?
大学生
理工科相关专业的本科/硕士/博士生,毕业后想从事NLP工作的人
希望能够深入AI领域,为科研或者出国做准备
希望系统性学习NLP领域的知识
在职人士
目前从事IT相关的工作,今后想做跟NLP相关的项目
目前从事AI相关的工作,希望与时俱进,加深对技术的理解
希望能够及时掌握前沿技术
06 报名须知
1、本课程为收费教学。
2、本期仅招收剩余名额有限。
3、品质保障!正式开课后7天内,无条件全额退款。
4、学习本课程需要具备一定的机器学习基础。
●●●
学习课程可以联系课程顾问获取
添加课程顾问微信
报名、课程咨询
????????????
2021年自然语言处理学习路线!相关推荐
- 机器学习/深度学习/自然语言处理学习路线
原文地址:http://www.cnblogs.com/cyruszhu/p/5496913.html 未经允许,请勿用于商业用途!相关请求,请联系作者:yunruizhu@126.com转载请附上原 ...
- 2021年计算机视觉工程师学习路线
如何才能成为一名专业的计算机视觉工程师呢,尤其是相对于过去,进入机器学习行业的步骤和策略在短时间内发生了巨大的变化. 人工智能以创新的速度前进 你可能不会对ML行业不断变化的本质感到惊讶,因为你很清楚 ...
- 2021软件测试高薪就业学习路线(含视频教程)
一.面向人群: 零基础的小白或者基础薄弱没有系统学习过软件测试的朋友 1.在校学生.应届毕业生 2.跨界转行 3.感兴趣,自学刚入门,想快速找工作的朋友 4.初级测试工程师<=1年经验 文末有对 ...
- 2021最新Android开发者学习路线,已整理成文档
前情 首先介绍一下自己的情况吧,由于当年高中年少轻狂,不努力,差二本线16分.我自己也没有意识到学历的区别,最终听了家里的安排上了一个专科,电气专业. 现在想想都很后悔,当年为什么没有自己的主见,如果 ...
- 真香定律!2021最新Android开发者学习路线,年薪超过80万!
开头 移动应用开发从逐渐开始火爆到如今也有小十年了,大部分的学校还是没有开放专门的课程. 目前市场上的大部分 Android 开发工程师大多数是自学或者是培训出身,用一段时间上手 Android 开发 ...
- 太赞了!2021最新Android开发者学习路线,offer拿到手软
前言 面试:如果不准备充分的面试,完全是浪费时间,更是对自己的不负责. 文末会给大家分享下我整理的Android面试专题及答案其中大部分都是大企业面试常问的面试题,可以对照这查漏补缺,当然了,这里所列 ...
- 经验分享:2021最新Android开发者学习路线,深度解析,值得收藏
前言 前面一篇文章分享了最近整理的大家伙的面试经历总结,有兴趣可以去翻看一下.这位去百度面试的小A同学的面试经历很有趣,因为他拿到了offer但是并没有去,在了解原因后挺认同他的想法的.这种职业价值观 ...
- 2021年R语言学习路线以及资源推荐
R语言学习从入门到熟练掌握资源推荐 最近有些小伙伴在后台问我要一些资源,呃,前段时间一直没看到消息,现在统一整理一下,由于微信不让发这个,我就放在公众号里了,在公众号里回复[R语言学习资源]即可,如果 ...
- 【大道至简】浅谈自然语言处理(NLP)学习路线(二):N-Gram模型,一文带你理解N-Gram语言模型
本文相关文章:浅谈自然语言处理(NLP)学习路线(一)--- 概述_nlp学习路线_尚拙谨言的博客-CSDN博客 大家好,我是尚拙谨言.欢迎来到大道至简专栏之自然语言处理学习路线.在本系列往期文章中, ...
最新文章
- 激光雷达,马斯克看不上,却又无可替代?
- BZOJ 3576 江南乐
- 1.STM32中对LED_GPIO_Config()函数的理解(自定义)之流水灯
- 第三个spring冲刺第5、6、7天(三天汇总)
- day36 python学习gevent io 多路复用 socketserver *****
- mysql 设置 server id_MySQL中如何设置 auto_increment 重新计数 主键id从1开始
- 小米10正式发布:3999元起!
- 关于 bind 你可能需要了解的知识点以及使用场景
- 999. Available Captures for Rook
- 代码覆盖率和功能覆盖率
- 腾讯Bugly的前世今生
- 下厨房(istringstream的使用)----网易2017内推笔试编程题合集
- 绿色版软件 tomcat+eclipse的使用
- 终于找到了T5L串口屏按键值不能上传的原因
- 微软正式面向MSDN/TechNet订阅用户提供Win8下载
- 2019年如何抓住社交电商的风口
- Spring源码编译报错那些事
- 华大单片机DMA学习
- 使用C#调用GMap相关组件的基本步骤
- ijkplayer视频解码播放架构分析