关于NLP相关技术全部在这里:预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...
NLP近几年非常火,且发展特别快。像BERT、GPT-3、图神经网络、知识图谱等技术应运而生。
我们正处在信息爆炸的时代、面对每天铺天盖地的网络资源和论文、很多时候我们面临的问题并不是缺资源,而是找准资源并高效学习。但很多时候你会发现,花费大量的时间在零零散散的内容上,但最后发现效率极低,浪费了很多宝贵的时间。为了迎合大家学习的需求,我们这次重磅推出了《自然语言处理终身升级版》。
课程覆盖了从经典的机器学习、文本处理技术、序列模型、深度学习、预训练模型、知识图谱、图神经网络所有必要的技术。
重点:课程会不断更新,比如一篇新的有趣的论文出现在arxiv,我们会在1个月之内提供技术的讲解和实战。我相信这个课程将是你在NLP领域中的终身伴侣。
01 课程大纲
第一部分:机器学习基础篇
第一章:自然语言处理概述
自然语言处理的现状与前景
自然语言处理应用
自然语言处理经典任务
第二章:数据结构与算法基础
时间复杂度、空间复杂度
动态规划
贪心算法
各种排序算法
第三章:分类与逻辑回归
逻辑回归
最大似然估计
优化与梯度下降法
随机梯度下降法
第四章:模型泛化与调参
理解过拟合、防止过拟合
L1与L2正则
交叉验证
正则与MAP估计
第二部分:文本处理篇
第五章:文本预处理与表示
各类分词算法
词的标准化
拼写纠错、停用词
独热编码表示
tf-idf与相似度
分布式表示与词向量
词向量可视化与评估
第六章:词向量技术
独热编码的优缺点
分布式表示的优点
静态词向量与动态词向量
SkipGram与CBOW
SkipGram详解
Negative Sampling
第七章:语言模型
语言模型的作用
马尔科夫假设
UniGram, BiGram, NGram模型
语言模型的评估
语言模型的平滑技术
第三部分:序列模型篇
第八章:隐马尔科夫模型
HMM的应用
HMM的Inference
维特比算法
前向、后向算法
HMM的参数估计详解
第九章:线性条件随机场
有向图与无向图
生成模型与判别模型
从HMM与MEMM
MEMM中的标签偏置
Log-Linear模型介绍
从Log-Linear到LinearCRF
LinearCRF的参数估计
第四部分:深度学习与预训练篇
第十章:深度学习基础
理解神经网络
各种常见的激活函数
反向传播算法
浅层模型与深度模型对比
深度学习中的层次表示
深度学习中的过拟合
第十一章:RNN与LSTM
从HMM到RNN模型
RNN中的梯度问题
梯度消失与LSTM
LSTM到GRU
双向LSTM
双向深度LSTM
第十二章:Seq2Seq模型与注意力机制
Seq2Seq模型
Greedy Decoding
Beam Search
长依赖所存在的问题
注意力机制的实现
第十三章:动态词向量与ELMo技术
基于上下文的词向量技术
图像识别中的层次表示
文本领域中的层次表示
ELMo模型
ELMo的预训练与测试
ELMo的优缺点
第十四章:自注意力机制与Transformer
LSTM模型的缺点
Transformer概述
理解自注意力机制
位置信息的编码
理解Encoder和Decoder区别
理解Transformer的训练与预测
Transformer的缺点
第十五章:BERT与ALBERT
自编码介绍
Transformer Encoder
Masked语言模型
BERT模型
BERT的不同训练方式
ALBERT
第十六章:BERT的其他变种
RoBERTa模型
SpanBERT模型
FinBERT模型
引入先验知识
K-BERT
KG-BERT
第十七章:GPT与XLNet
Transformer Encoder回顾
GPT-1, GPT-2, GPT-3
ELMo的缺点
语言模型下同时考虑上下文
Permutation LM
双流自注意力机制
第五部分:信息抽取与知识图谱篇
第十八章:命名识别与实体消歧
信息抽取的应用和关键技术
命名实体识别
NER识别常用技术
实体统一技术
实体消歧技术
指代消解
第十九章:关系抽取
关系抽取的应用
基于规则的方法
基于监督学习的方法
Bootstrap方法
Distant Supervision方法
第二十章:句法分析
句法分析的应用
CFG介绍
从CFG到PCFG
评估语法树
寻找最好的语法树
CKY算法
第二十一章:依存文法分析
从语法分析到依存文法分析
依存文法分析的应用
基于图算法的依存文法分析
基于Transition-based的依存文法分析
依存文法的应用案例
第二十二章:知识图谱
知识图谱的重要性
知识图谱中的实体与关系
非结构化数据与构造知识图谱
知识图谱设计
图算法的应用
第六部分:模型压缩与图神经网络篇
第二十三章:模型的压缩
模型压缩重要性
常见的模型压缩总览
基于矩阵分解的压缩技术
基于蒸馏的压缩技术
基于贝叶斯模型的压缩技术
模型的量化
第二十四章:基于图的学习
图的表示
图与知识图谱
关于图的常见算法
Deepwalk和Node2vec
TransE图嵌入算法
DSNE图嵌入算法
第二十五章:图神经网络
卷积神经网络回顾
在图中设计卷积操作
图中的信息传递
图卷积神经网络
图卷积神经网络的经典应用
第二十六章:GraphSage与GAT
从GCN到GraphSAge
注意力机制回归
GAT模型详解
GAT与GCN比较
对于异构数据的处理
第二十七章:图神经网络的其他应用
Node Classification
Graph Classification
Link Prediction
社区挖掘
推荐系统
图神经网络的未来发展
课程其他的细节可以联系课程顾问来获取
添加课程顾问微信
报名、课程咨询
????????????
02 课程中的部分案例
1. 实现一个拼写纠错器 |
2. 从零实现Word2Vec词向量 |
3. 利用SkipGram做推荐 |
4. 从零实现HMM模型 |
5. 基于Linear-CRF的词性分类器实现 |
6. 从零实现深度学习反向传播算法 |
7. 实现AI程序帮助写程序 |
8. 实现AI程序帮助写文章 |
9. 基于Transformer的机器翻译 |
10. 基于KG-BERT的知识图谱学习 |
11. 基于知识图谱的风控系统 |
12. 基于知识图谱的个性化教学 |
13. 利用蒸馏算法压缩Transformer |
14. 利用GCN实现社交推荐 |
15. 基于GAT的虚假新闻检测 |
(剩下20+个案例被折叠,完整请咨询...) |
03 课程中的部分项目作业
1. 豆瓣电影评分预测
涉及到的知识点:
中文分词技术
独热编码、tf-idf
分布式表示与Word2Vec
BERT向量、句子向量
2. 智能客服问答系统
涉及到的知识点:
问答系统搭建流程
文本的向量化表示
FastText
倒排表
问答系统中的召回、排序
3. 基于Linear-CRF的医疗实体识别
涉及到的知识点:
命名实体识别
特征工程
评估标准
过拟合
4. 基于闲聊的对话系统搭建
涉及到的知识点:
常见的对话系统技术
闲聊型对话系统框架
数据的处理技术
BERT的使用
Transformer的使用
5. 搭建基于医疗知识图谱的问答系统
涉及到的知识点:
医疗专业词汇的使用
获取问句的意图
问句的解释、提取关键实体
转化为查询语句
6. 搭建基于医疗知识图谱的问答系统
涉及到的知识点:
文本摘要生成介绍
关键词提取技术
图神经网络的摘要生成
基于生成式的摘要提取技术
文本摘要质量的评估
04 课程中带读的部分论文
主题 | 论文名称 |
机器学习 | XGBoost: A Scalable Tree Boosting System |
机器学习 | Regularization and Variable Selection via the Elastic Net |
词向量 | Evaluation methods for unsupervised word embeddings |
词向量 | Evaluation methods for unsupervised word embeddings |
词向量 | GloVe: Global Vectors for Word Representation |
词向量 | Deep Contexualized Word Representations |
词向量 | Attention is All You Need |
词向量 | BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding |
词向量 | XLNet: Generalized Autoregressive Pretraining for Language Understanding |
词向量 | KG-BERT: BERT for Knowledge Graph Completion |
词向量 | Language Models are Few-shot Learners |
图学习 | Semi-supervised Classification with Graph Convolutional Networks |
图学习 | Graph Attention Networks |
图学习 | GraphSAGE: Inductive Representation Learning on Large Graphs |
图学习 | Node2Vec: Scalable Feature Learning for Networks |
被折叠 |
其他数十篇文章...... |
05 课程适合谁?
大学生
理工科相关专业的本科/硕士/博士生,毕业后想从事NLP工作的人
希望能够深入AI领域,为科研或者出国做准备
希望系统性学习NLP领域的知识
在职人士
目前从事IT相关的工作,今后想做跟NLP相关的项目
目前从事AI相关的工作,希望与时俱进,加深对技术的理解
希望能够及时掌握前沿技术
06 报名须知
1、本课程为收费教学。
2、本期仅招收剩余名额有限。
3、品质保障!正式开课后7天内,无条件全额退款。
4、学习本课程需要具备一定的机器学习基础。
●●●
课程其他的细节可以联系课程顾问来获取
添加课程顾问微信
报名、课程咨询
????????????
关于NLP相关技术全部在这里:预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...相关推荐
- 《预训练周刊》第15期:Bengio, Lecun, Hinton | 人工智能深度学习、用于图像分类的全局过滤网络...
No.15 智源社区 预训练组 预 训 练 研究 观点 资源 活动 关于周刊 超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第15期&l ...
- 详解NLP技术中的:预训练模型、图神经网络、模型压缩、知识图谱
NLP近几年非常火,且发展特别快.像BERT.GPT-3.图神经网络.知识图谱等技术应运而生. 我们正处在信息爆炸的时代.面对每天铺天盖地的网络资源和论文.很多时候我们面临的问题并不是缺资源,而是找准 ...
- 天池零基础入门NLP竞赛实战:Task4-基于深度学习的文本分类3-基于Bert预训练和微调进行文本分类
Task4-基于深度学习的文本分类3-基于Bert预训练和微调进行文本分类 因为天池这个比赛的数据集是脱敏的,无法利用其它已经预训练好的模型,所以需要针对这个数据集自己从头预训练一个模型. 我们利用H ...
- 深度学习应用篇-自然语言处理[10]:N-Gram、SimCSE介绍,更多技术:数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等
[深度学习入门到进阶]必看系列,含激活函数.优化策略.损失函数.模型调优.归一化算法.卷积模型.序列模型.预训练模型.对抗神经网络等 专栏详细介绍:[深度学习入门到进阶]必看系列,含激活函数.优化策略 ...
- 机器学习技术:使用深度学习处理文本
到目前为止,我们已经探索了机器学习在各种环境中的应用-- 主题建模.聚类.分类.文本摘要,甚至POS标记和NER标记都是使用机器学习进行训练的.本章我们将开始探索一种前沿的机器学习技术:深度学习.深度 ...
- 【视频课】深度掌握模型剪枝+模型量化+知识蒸馏3大核心模型压缩技术理论!...
前言 欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下: 第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用. 第2层 ...
- Datawhale NLP入门:Task5 基于深度学习的文本分类2
Task5 基于深度学习的文本分类2 在上一章节,我们通过FastText快速实现了基于深度学习的文本分类模型,但是这个模型并不是最优的.在本章我们将继续深入. 基于深度学习的文本分类 本章将继续学习 ...
- Datawhale零基础入门NLP day5/Task5基于深度学习的文本分类2
基于深度学习的文本分类 本章将继续学习基于深度学习的文本分类. 学习目标 学习Word2Vec的使用和基础原理 学习使用TextCNN.TextRNN进行文本表示 学习使用HAN网络结构完成文本分类 ...
- Datawhale零基础入门NLP赛事 - Task5 基于深度学习的文本分类2
在上一章节,我们通过FastText快速实现了基于深度学习的文本分类模型,但是这个模型并不是最优的.在本章我们将继续深入. 基于深度学习的文本分类 本章将继续学习基于深度学习的文本分类. 学习目标 学 ...
最新文章
- Linux 内核安全模块学习总结
- 配置ssd为缓存_撕下贴牌的画皮!快速确定SSD性能等级,关键在这3步
- 前端性能优化-减少HTTP请求数
- QUIC/HTTP3 协议简析
- 再搞75块单片机开发板!
- 关于异步IO模型的学习
- 深度技术win11 32位全新专业版系统v2021.07
- 书写「简历」时,需要规避的错误
- oracle中如何取消外键的,ORACLE中添加删除主键、外键
- python中的as是什么意思_python中as用法实例分析
- Linux入门基础命令教程
- git merge冲突解决
- Win10 微软拼音添加小鹤双拼以及其他配置
- 面向对象之抽象类与接口【Java】
- 常用颜色表以及中国传统颜色名录(附宏定义)
- 火狐 dns_如何在Firefox中通过HTTPS启用DNS
- python loc和iloc_DataFrame的iloc与loc的区别是什么?
- 马德里的Uber司机
- Android:规范命名,让合作更加愉快
- 车牌识别之一:车牌定位
热门文章
- vb中5种打开文件夹浏览框的方法总结(转)
- vc++实现无进程无DLL无硬盘文件无启动项的ICMP后门后门程序
- 【青少年编程】【三级】青蛙捕虫
- 刻意练习:Python基础 -- Task08. 异常处理
- 【怎样写代码】工厂三兄弟之工厂方法模式(五):工厂方法模式扩展
- 【Python】Tkinter 体验
- 长相酷似小强的小米「铁蛋」机器狗,售价 9999 元,打滚唱跳会空翻
- 一文读懂:GoogleNet的Inception从v1到v4的演变
- 如何用 Python 将 Excel 表格转成可视化图形?| 原力计划
- 使用大batch优化深度学习:训练BERT仅需76分钟 | ICLR 2020