与nlp相关的模型概览

word2vec
- CBOW
- Skip-Gram
Doc2Vec
RNN、LSTM、GRU
- 循环神经网络RNN
- 长短期记忆神经网络（Long Short Term Memory，LSTM）
- 门控循环单元（Gated Recurrent Unit，GRU）
机器翻译
- Encoder-Decoder
- Attention-based Encoder-Decoder
- - Global Attention
  - Local Attention
  - Self Attention
  - Hierarchical Attention
- Bi-Directional Encode layer
- Residual Encode layer
- 总结
Image Caption
Transformer
Bert(Bidirectional Encoder Representations from Transformers)
分词
- 基于BiLSTM+CRF的分词系统
文本分类
- 简单模型
- LSTM
- 双向RNN+残差网络
- 堆叠循环神经网络
- CNN
- lstm-attention

word2vec

CBOW

Skip-Gram

Doc2Vec

RNN、LSTM、GRU

循环神经网络RNN

长短期记忆神经网络（Long Short Term Memory，LSTM）

计算量大

门控循环单元（Gated Recurrent Unit，GRU）

相比LSTM, 计算量小一些

机器翻译

Encoder-Decoder

Attention-based Encoder-Decoder

Global Attention

encoder的全部信息

Local Attention

encoder的局部信息

Self Attention

传统的attention只有source（encoder）和target（decoder）之间的关联关系，忽略了source和target端分别的关联关系，Self Attention可以捕捉到词与词之间的关系。

Hierarchical Attention

Bi-Directional Encode layer

Residual Encode layer

总结

Image Caption

Transformer

http://nlp.seas.harvard.edu/2018/04/03/attention.html

Bert(Bidirectional Encoder Representations from Transformers)

分词

基于BiLSTM+CRF的分词系统

文本分类

简单模型

LSTM

双向RNN+残差网络

堆叠循环神经网络

堆叠的目的：
底层rnn捕捉的是基本的信息，如：词的含义或者词性
高层rnn捕捉的是更深层次的信息，如：语义

CNN

lstm-attention

与nlp相关的模型概览相关推荐

关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...
NLP近几年非常火,且发展特别快.像BERT.GPT-3.图神经网络.知识图谱等技术应运而生. 我们正处在信息爆炸的时代.面对每天铺天盖地的网络资源和论文.很多时候我们面临的问题并不是缺资源,而是找准 ...
NLP——文本分类模型（HAN）（三）
NLP--文本分类模型(HAN)(三) 1.引入 1. NLP--文本分类模型(一) 2. NLP--文本分类模型(二) 在之前的文章中,我们介绍了基于CNN机制是如何应用于文本分类.近些年来Atte ...
NLP诗词生成模型数据准备及实战
NLP诗词生成模型数据准备及实战目录 NLP诗词生成模型数据准备及实战方案流程示例代码自然语言处理+数据准备 Machine readable vector format 自然语言处理NLP的 ...
NLP文本生成模型数据准备及实战
NLP文本生成模型数据准备及实战自然语言处理+数据准备 Machine readable vector format 自然语言处理NLP的数据预处理有哪些共性,可以参考? 什么样的数据格式是深度学习 ...
NLP语义标注模型数据准备及实战
NLP语义标注模型数据准备及实战目录 NLP语义标注模型数据准备及实战流程示例代码示例
Github：NLP相关代码、书目、论文、博文、算法、项目资源（附链接）
来源:AINLP 本文多资源,建议阅读6分钟. 本文为你推荐Github上一个NLP相关的项目:msgi/nlp-journey. 推荐Github上一个NLP相关的项目: msgi/nlp-jour ...
基于时空相关属性模型的公交到站时间预测算法
基于时空相关属性模型的公交到站时间预测算法人工智能技术与咨询来源:<软件学报> ,作者赖永炫等摘要:公交车辆到站时间的预测是公交调度辅助决策系统的重要依据,可帮助调度员及时发现晚点 ...
自然语言处理(NLP)相关资料汇总
杂谈自然语言处理怎么最快入门? - 刘知远的回答 - 知乎 https://www.zhihu.com/question/19895141/answer/24710071 刘老师主要是从ACL等著名 ...
2022-10-31如何将自己训练的yolo模型转为tensorrt相关的模型（.trt or .engine）
如何将自己训练的yolo模型转为tensorrt相关的模型 [1].pt模型转.wts模型 [2].wts模型转.trt/.engine模型本文主要是以自己训练的yolov3-tiny模型作为例子进 ...

与nlp相关的模型概览

与nlp相关的模型概览

word2vec

CBOW

Skip-Gram

Doc2Vec

RNN、LSTM、GRU

循环神经网络RNN

长短期记忆神经网络（Long Short Term Memory，LSTM）

门控循环单元（Gated Recurrent Unit，GRU）

机器翻译

Encoder-Decoder

Attention-based Encoder-Decoder

Global Attention

Local Attention

Self Attention

Hierarchical Attention

Bi-Directional Encode layer

Residual Encode layer

总结

Image Caption

Transformer

Bert(Bidirectional Encoder Representations from Transformers)

分词

基于BiLSTM+CRF的分词系统

文本分类

简单模型

LSTM

双向RNN+残差网络

堆叠循环神经网络

CNN

lstm-attention

与nlp相关的模型概览相关推荐

最新文章

热门文章