NLP（3）| seq to seq 模型

NLP(1) | 词向量one hot编码词向量编码思想

NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词

什么是Seq2Seq网络？在Seq2Seq模型中采用了这种 Encoder-Decoder架构，其中 Encoder 是一个RNNCell（RNN ，GRU，LSTM 等）结构，四层的LSTM结构使得能够提取足够多的特征，使得decode的模型变好
几种Seq2Seq模式

1.学霸模式

2.普通作弊

3.学弱作弊

普通作弊的基础上，回顾上一刻的答案

4.学渣作弊（attention机制）

上课的时候划重点

应用场景只要是序列到序列都可以用
attention机制是怎么引入的？

第一步

第二步：

第三步：

seqtoseq损失函数

损失函数为交叉熵损失函数，一般情况下，深度学习最后用softmax最为分类器一般都会选择用交叉熵损失函数

参考

https://cloud.tencent.com/developer/article/1163104

NLP（3）| seq to seq 模型相关推荐

seq to seq
NLP(3)--seq to seq 什么是Seq2Seq网络? 在Seq2Seq模型中采用了这种 Encoder-Decoder架构,其中 Encoder 是一个RNNCell(RNN ,GRU,L ...
NLP自然语言常见问题及相关模型训练数据格式示例
NLP自然语言常见问题及相关模型训练数据格式示例目录 NLP自然语言常见问题及相关模型训练数据格式示例 NLP任务集 <
NLP分词数据准备及模型训练实例
NLP分词数据准备及模型训练实例目录 NLP分词数据准备及模型训练实例方案分析及梳理示例代码
NLP词性标注数据准备及模型训练实例
NLP词性标注数据准备及模型训练实例目录 NLP词性标注数据准备及模型训练实例第一套方案: 第二套方案
NLP实践——VQA/Caption生成模型BLIP-2的应用介绍
NLP实践--VQA/Caption生成模型BLIP-2的应用介绍 1. 简介 2. 模型下载 3. 运行环境 4. 模型应用 1. 简介今天介绍一个跨模态模型,也是最近比较火的一个工作,叫做BLI ...
【实践】NLP领域中的ERNIE模型在阅读理解中的应用
使用ERNIE在DuReader_robust上进行阅读理解 1. 实验内容机器阅读理解 (Machine Reading Comprehension) 是指让机器阅读文本,然后回答和阅读内容相关的 ...
NLP自然语言处理系列- week7- 检索模型（精排）（8）
NLP自然语言处理系列- week7- 检索模型(精排)(8) 检索模型(精排)排序模块步骤: 处理数据⼈⼯特征深度匹配排序整合目录数据预处理⼈⼯特征数据预处理微众银行提供了微众银行 ...
性能堪比GPT-3，但参数量仅为0.1%，LMU团队推出NLP最强文本生成模型
2020-09-24 04:21:08 作者 | 贝爽编辑 | 陈彩娴模型越大,性能越佳?不一定. 在NLP领域,谈到超大模型必然想到预训练语言模型GPT-3,自今年3月份对外开放以来,其因超大模 ...
谷歌量子霸权论文；13项NLP任务夺冠的小模型ALBERT
机器之心整理参与:一鸣.杜伟本周重要论文很多,特别是谷歌的研究非常耀眼,有量子霸权论文和参数小 BERT 很多但性能超 XLNe 的模型 ALBERTt.此外还有北大等的论文. 目录: Gate ...

NLP（3）| seq to seq 模型

1.学霸模式

2.普通作弊

3.学弱作弊

4.学渣作弊（attention机制）

seqtoseq损失函数

参考

NLP（3）| seq to seq 模型相关推荐

最新文章

热门文章