第1章：自然语言处理概述

什么是自然语言处理及现状和前景

自然语言处理应用

自然语言处理经典任务及技

第2章：数据结构与算法基础

时间复杂度、空间复杂度

斐波那契数列的时间和空间复杂度

动态规划算法

经典的DP问题

第3章：机器学习基础 - 逻辑回归

分类问题以及逻辑回归重要性

逻辑回归的条件概率

最大似然估计

构建逻辑回归的目标函数

优化与梯度下降法

随机梯度下降法

第4章：机器学习基础 - 模型的泛化

理解什么是过拟合

如何防止过拟合现象

L1与L2正则

交叉验证

L1正则与拉普拉斯分布

L2正则与高斯分布

第5章：分词、词的标准化、过滤

文本分析流程

中英文的分词

最大匹配算法

基于语言模型的分词

Stemming和Lemmazation

停用词的使用

拼写纠错问题

编辑距离的实现

暴力搜索法

基于后验概率的纠错

第6章：文本的表示

单词的独热编码表示

句子的独热编码表示

tf-idf表示

句子相似度比较

独热编码下的单词语义相似度

从独热编码到词向量

词向量的可视化、句子向量

第7章：【项目作业】豆瓣电影评分预测

数据描述以及任务

中文分词

独热编码、tf-idf

分布式表示与Word2Vec

BERT向量

句子向量

第8章：词向量技术

独热编码表示的优缺点

独热编码与分布式表示的比较

静态词向量与动态词向量

学习词向量 - 分布式假设

SkipGram与CBOW

SkipGram模型的目标

负采样（Negative Sampling）

基于矩阵分解的词向量学习

基于Glove的词向量学习

在非欧式空间中的词向量学习

第9章：【项目作业】智能客服问答系统

问答系统和应用场景

问答系统搭建流程

文本的向量化表示

FastText

倒排表技术

问答系统中的召回、排序

第10章：语言模型

语言模型的必要性

马尔科夫假设

Unigram语言模型

Bigram、Trigram语言模型

语言模型的评估

语言模型的平滑技术

第11章：深度学习基础

理解神经网络

各类常见的激活函数

理解多层神经网络

反向传播算法

神经网络中的过拟合

浅层模型与深层模型对比

深度学习中的层次表示

第12章：Pytorch的使用

环境安装

Pytorch与Numpy的语法比较

Pytorch中的Autograd用法

Pytorch的Forward函数

第13章：RNN与LSTM

从HMM到RNN模型

RNN中的梯度问题

解决梯度爆炸问题

梯度消失与LSTM

LSTM到GRU

双向LSTM模型

基于LSTM的生成

练习：利用Pytorch实现RNN/LSTM

第14章：Seq2Seq模型与注意力机制

Seq2Seq模型

Greedy Decoding

Beam Search

长依赖所存在的问题

注意力机制

注意力机制的不同实现

第15章：【项目实战】京东智能营销文案生成

构建Seq2Seq模型

Beam Search的改造

模型调优

Length Normalization

Coverage Normalization

评估标准 Rouge

Pointer-Generator Network

PGN与Seq2Seq的融合

第16章：动态词向量与ELMo技术

基于上下文的词向量技术

图像识别中的层次表示

文本领域中的层次表示

深度BI-LSTM

ELMo模型简介及优缺点

ELMo的训练与测试

第17章：自注意力机制与Transformer

基于LSTM模型的缺点

Transformer结构概览

理解自注意力机制

位置信息的编码

理解Encoder与Decoder区别

理解Transformer的训练和预测

Transformer的缺点

第18章：BERT与ALBERT

自编码器介绍

Transformer Encoder

Masked LM

BERT模型及其不同训练方式

ALBERT

第19章：【项目实战】京东智能客服系统项目

对话系统的分类方法

检索方式与生成方式

对话系统架构

意图识别分类器

闲聊引擎的搭建

Transformer与BERT的使用

第20章：GPT与XLNet

Transformer Encoder回顾

GPT-1，GPT-2，GPT-3

ELMo的缺点

语言模型下同时考虑上下文

Permutation LM

双流自注意力机制

Transformer-XL

第21章：命名实体识别与实体消歧

信息抽取的应用和关键技术

命名实体识别

NER识别常用技术

实体消歧技术

实体消歧常用技术

实体统一技术

指代消解

第22章：关系抽取

关系抽取的应用

基于规则的方法

基于监督学习方法

Bootstrap方法

Distant Supervision方法

第23章：依存文法分析

从语法分析到依存文法分析

依存文法分析的应用

使用依存文法分析

基于图算法的依存文法分析

基于Transtion-based的依存文法分析

其他依存文法分析方法论

第24章：知识图谱

知识图谱以及重要性

知识图谱中的实体和关系

利用非结构化数据构造知识图谱

知识图谱的设计

第25章：【项目实战】京东同类商品竞价搜索项目

Entity Linking介绍

Entity Linking技术概览

从商品描述、商品标题中抽取关键实体

搭建商品知识图谱

基于GNN学习商品的词嵌入

商品的ranking以及相似度计算

第26章：模型的压缩

模型压缩的必要性

常见的模型压缩算法总览

基于矩阵分解的压缩技术

从BERT到ALBERT的压缩

基于贝叶斯模型的压缩技术

模型的量化

模型的蒸馏方法

第27章：图神经网络

卷积神经网络的回顾

图神经网络发展历程

图卷积神经网络（GCN）

GAT详解