2021年,投身自然语言处理是否明智?
NLP近几年非常火,且发展特别快。像BERT、GPT-3、图神经网络、知识图谱等技术应运而生。
我们正处在信息爆炸的时代、面对每天铺天盖地的网络资源和论文、很多时候我们面临的问题并不是缺资源,而是找准资源并高效学习。但很多时候你会发现,花费大量的时间在零零散散的内容上,但最后发现效率极低,浪费了很多宝贵的时间。为了迎合大家学习的需求,我们这次重磅推出了《自然语言处理终身升级版》。
课程覆盖了从经典的机器学习、文本处理技术、序列模型、深度学习、预训练模型、知识图谱、图神经网络所有必要的技术。
重点:课程会不断更新,比如一篇新的有趣的论文出现在arxiv,我们会在1个月之内提供技术的讲解和实战。我相信这个课程将是你在NLP领域中的终身伴侣。
01 课程大纲
第一部分:机器学习基础篇
第一章:自然语言处理概述
自然语言处理的现状与前景
自然语言处理应用
自然语言处理经典任务
第二章:数据结构与算法基础
时间复杂度、空间复杂度
动态规划
贪心算法
各种排序算法
第三章:分类与逻辑回归
逻辑回归
最大似然估计
优化与梯度下降法
随机梯度下降法
第四章:模型泛化与调参
理解过拟合、防止过拟合
L1与L2正则
交叉验证
正则与MAP估计
第二部分:文本处理篇
第五章:文本预处理与表示
各类分词算法
词的标准化
拼写纠错、停用词
独热编码表示
tf-idf与相似度
分布式表示与词向量
词向量可视化与评估
第六章:词向量技术
独热编码的优缺点
分布式表示的优点
静态词向量与动态词向量
SkipGram与CBOW
SkipGram详解
Negative Sampling
第七章:语言模型
语言模型的作用
马尔科夫假设
UniGram, BiGram, NGram模型
语言模型的评估
语言模型的平滑技术
第三部分:序列模型篇
第八章:隐马尔科夫模型
HMM的应用
HMM的Inference
维特比算法
前向、后向算法
HMM的参数估计详解
第九章:线性条件随机场
有向图与无向图
生成模型与判别模型
从HMM与MEMM
MEMM中的标签偏置
Log-Linear模型介绍
从Log-Linear到LinearCRF
LinearCRF的参数估计
第四部分:深度学习与预训练篇
第十章:深度学习基础
理解神经网络
各种常见的激活函数
反向传播算法
浅层模型与深度模型对比
深度学习中的层次表示
深度学习中的过拟合
第十一章:RNN与LSTM
从HMM到RNN模型
RNN中的梯度问题
梯度消失与LSTM
LSTM到GRU
双向LSTM
双向深度LSTM
第十二章:Seq2Seq模型与注意力机制
Seq2Seq模型
Greedy Decoding
Beam Search
长依赖所存在的问题
注意力机制的实现
第十三章:动态词向量与ELMo技术
基于上下文的词向量技术
图像识别中的层次表示
文本领域中的层次表示
ELMo模型
ELMo的预训练与测试
ELMo的优缺点
第十四章:自注意力机制与Transformer
LSTM模型的缺点
Transformer概述
理解自注意力机制
位置信息的编码
理解Encoder和Decoder区别
理解Transformer的训练与预测
Transformer的缺点
第十五章:BERT与ALBERT
自编码介绍
Transformer Encoder
Masked语言模型
BERT模型
BERT的不同训练方式
ALBERT
第十六章:BERT的其他变种
RoBERTa模型
SpanBERT模型
FinBERT模型
引入先验知识
K-BERT
KG-BERT
第十七章:GPT与XLNet
Transformer Encoder回顾
GPT-1, GPT-2, GPT-3
ELMo的缺点
语言模型下同时考虑上下文
Permutation LM
双流自注意力机制
第五部分:信息抽取与知识图谱篇
第十八章:命名识别与实体消歧
信息抽取的应用和关键技术
命名实体识别
NER识别常用技术
实体统一技术
实体消歧技术
指代消解
第十九章:关系抽取
关系抽取的应用
基于规则的方法
基于监督学习的方法
Bootstrap方法
Distant Supervision方法
第二十章:句法分析
句法分析的应用
CFG介绍
从CFG到PCFG
评估语法树
寻找最好的语法树
CKY算法
第二十一章:依存文法分析
从语法分析到依存文法分析
依存文法分析的应用
基于图算法的依存文法分析
基于Transition-based的依存文法分析
依存文法的应用案例
第二十二章:知识图谱
知识图谱的重要性
知识图谱中的实体与关系
非结构化数据与构造知识图谱
知识图谱设计
图算法的应用
第六部分:模型压缩与图神经网络篇
第二十三章:模型的压缩
模型压缩重要性
常见的模型压缩总览
基于矩阵分解的压缩技术
基于蒸馏的压缩技术
基于贝叶斯模型的压缩技术
模型的量化
第二十四章:基于图的学习
图的表示
图与知识图谱
关于图的常见算法
Deepwalk和Node2vec
TransE图嵌入算法
DSNE图嵌入算法
第二十五章:图神经网络
卷积神经网络回顾
在图中设计卷积操作
图中的信息传递
图卷积神经网络
图卷积神经网络的经典应用
第二十六章:GraphSage与GAT
从GCN到GraphSAge
注意力机制回归
GAT模型详解
GAT与GCN比较
对于异构数据的处理
第二十七章:图神经网络的其他应用
Node Classification
Graph Classification
Link Prediction
社区挖掘
推荐系统
图神经网络的未来发展
课程其他的细节可以联系课程顾问来获取
添加课程顾问微信
报名、课程咨询
????????????
02 课程中的部分案例
1. 实现一个拼写纠错器 |
2. 从零实现Word2Vec词向量 |
3. 利用SkipGram做推荐 |
4. 从零实现HMM模型 |
5. 基于Linear-CRF的词性分类器实现 |
6. 从零实现深度学习反向传播算法 |
7. 实现AI程序帮助写程序 |
8. 实现AI程序帮助写文章 |
9. 基于Transformer的机器翻译 |
10. 基于KG-BERT的知识图谱学习 |
11. 基于知识图谱的风控系统 |
12. 基于知识图谱的个性化教学 |
13. 利用蒸馏算法压缩Transformer |
14. 利用GCN实现社交推荐 |
15. 基于GAT的虚假新闻检测 |
(剩下20+个案例被折叠,完整请咨询...) |
03 课程中的部分项目作业
1. 豆瓣电影评分预测
涉及到的知识点:
中文分词技术
独热编码、tf-idf
分布式表示与Word2Vec
BERT向量、句子向量
2. 智能客服问答系统
涉及到的知识点:
问答系统搭建流程
文本的向量化表示
FastText
倒排表
问答系统中的召回、排序
3. 基于Linear-CRF的医疗实体识别
涉及到的知识点:
命名实体识别
特征工程
评估标准
过拟合
4. 基于闲聊的对话系统搭建
涉及到的知识点:
常见的对话系统技术
闲聊型对话系统框架
数据的处理技术
BERT的使用
Transformer的使用
5. 搭建基于医疗知识图谱的问答系统
涉及到的知识点:
医疗专业词汇的使用
获取问句的意图
问句的解释、提取关键实体
转化为查询语句
6. 搭建基于医疗知识图谱的问答系统
涉及到的知识点:
文本摘要生成介绍
关键词提取技术
图神经网络的摘要生成
基于生成式的摘要提取技术
文本摘要质量的评估
04 课程中带读的部分论文
主题 | 论文名称 |
机器学习 | XGBoost: A Scalable Tree Boosting System |
机器学习 | Regularization and Variable Selection via the Elastic Net |
词向量 | Evaluation methods for unsupervised word embeddings |
词向量 | Evaluation methods for unsupervised word embeddings |
词向量 | GloVe: Global Vectors for Word Representation |
词向量 | Deep Contexualized Word Representations |
词向量 | Attention is All You Need |
词向量 | BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding |
词向量 | XLNet: Generalized Autoregressive Pretraining for Language Understanding |
词向量 | KG-BERT: BERT for Knowledge Graph Completion |
词向量 | Language Models are Few-shot Learners |
图学习 | Semi-supervised Classification with Graph Convolutional Networks |
图学习 | Graph Attention Networks |
图学习 | GraphSAGE: Inductive Representation Learning on Large Graphs |
图学习 | Node2Vec: Scalable Feature Learning for Networks |
被折叠 |
其他数十篇文章...... |
05 课程适合谁?
大学生
理工科相关专业的本科/硕士/博士生,毕业后想从事NLP工作的人
希望能够深入AI领域,为科研或者出国做准备
希望系统性学习NLP领域的知识
在职人士
目前从事IT相关的工作,今后想做跟NLP相关的项目
目前从事AI相关的工作,希望与时俱进,加深对技术的理解
希望能够及时掌握前沿技术
06 报名须知
1、本课程为收费教学。
2、本期仅招收剩余名额有限。
3、品质保障!正式开课后7天内,无条件全额退款。
4、学习本课程需要具备一定的机器学习基础。
●●●
课程其他的细节可以联系课程顾问来获取
添加课程顾问微信
报名、课程咨询
????????????
2021年,投身自然语言处理是否明智?相关推荐
- 2021 年软件开发趋势大预测!
点击上方"逆锋起笔",公众号回复 编程资源 领取大佬们推荐的学习资料 作者| Md Kamaruzzaman 译者| 张健欣 策划| InfoQ 蔡芳芳 对于软件开发行业来说,20 ...
- 2021年软件开发趋势大预测
作者| Md Kamaruzzaman 译者| 张健欣 策划| InfoQ 蔡芳芳 对于软件开发行业来说,2020 年是意义重大的一年,许多领域都取得了重大突破.本文将基于来自认证来源的数据.图表和事 ...
- 2021年ML和NLP学术统计:谷歌断层第一,强化学习大牛Sergey Levine位居榜首
来源:机器之心 这有一份关于 2021 年 ML 和 NLP 出版物的统计数据,并以可视化的方式进行展现,例如最高产的作者.机构.主题等. 2021 年是自然语言处理(NLP)和机器学习(ML)非常高 ...
- 千亿参数大模型时代,QQ浏览器团队十亿级小模型「摩天」登顶CLUE
机器之心专栏 作者:Joshua 今年以来,中文 NLP 圈陆续出现了百亿.千亿甚至万亿参数的预训练语言模型,炼大模型再次延续了「暴力美学」.但 QQ 浏览器搜索团队选择构建十亿级别参数量的「小」模型 ...
- Kingofark的人工智能启示录
K ][ N G of A R K ™'s The Revelation Of AI K ][ N G of A R K ™的人工智能启示录 What's It Mean to Be Human, A ...
- 三维图形几何变换算法实验_基于深度学习的三维重建算法综述
点击上方"计算机视觉life",选择"星标" 快速获得最新干货 00 前言 目前,三维重建技术已在游戏.电影.测绘.定位.导航.自动驾驶.VR/AR.工业制造以 ...
- Smartbi与华为云强强联合,共建云上BI新生态
在深化与华为战略合作的进程中,Smartbi又向前迈了一步! 日前,思迈特软件Smartbi 产品正式入驻华为云云商店联营商品,这也意味着双方的合作已深入到包括产品.解决方案.服务.生态等全方位领域. ...
- 再上华为云严选商城 Smartbi与华为云强强联合,共建云上BI新生态 ... ...
在深化与华为战略合作的进程中,Smartbi又向前迈了一步! 日前,思迈特软件Smartbi Insight产品正式入驻华为云严选商城,这也意味着双方的合作已深入到包括产品.解决方案.服务.生态等全方 ...
- 会议报名丨CSSNLP 2021第二届中国自然语言处理学生研讨会开放注册
注册官网:https://event.baai.ac.cn/activities/196 第二届中国自然语言处理学生研讨会(The China Student Symposium on Natural ...
最新文章
- 三种求全排列方式之比较
- 开发日记-20190903 关键词 C程序gcc编译过程
- 《C与指针》第四章练习
- 为什么百度首页的HTML源代码最后一行要多一行?浪费空间呀!
- oracle-ORA-01555错误
- SAP业务测评之库存预留
- Jerry的ABAP, Java和JavaScript乱炖
- JAVA取随机数,石头剪刀布实例
- 基于GDAL库,读取海洋风场数据(.nc格式)c++版
- 【数据结构与算法】多种语言(VB、C、C#、JavaScript)系列数据结构算法经典案例教程合集目录
- easyUI 运用窗口和form表单制作导出功能
- c语言程序设计华北电力大学,2016年华北电力大学电气与电子工程学院C语言程序设计(同等学力加试)考研复试题库...
- 递归——黑白棋子的移动(洛谷 P1259)
- 【蓝桥杯单片机】实战之基础停表
- 20200213:去除重复字母(leetcode316)
- 注册表修改系统分辨率
- C语言求解根号2的近似值
- 基于多任务深度学习的时空网络流量预测
- 女生学大数据好还是计算机好?都适合女生吗?就业前景好吗?
- 快速搭建centos7虚拟机——使用virtualbox+vagrant
热门文章
- 走进 San CLI(下):实现原理
- tf卡量产工具万能版_新物1TB TF卡正式开卖!容量大得惊人,售价也同样不菲
- WebStorm 提示快捷键
- $.each 用break 好像不太灵啊
- TCP系列42—拥塞控制—5、Linux中的慢启动和拥塞避免(二)
- Hadoop安装过程
- 33个优秀的 jQuery 图片展示插件分享
- 线性表 c++语言代码,线性表C++的两种实现(顺序表示、单链表)
- javascript基础入门_javascript基础入门学习第一篇
- android传输注册数据异常,android数据传值再获取的问题