1.环境配置

尝试使用

pip install gensim==3.8.3 -i http://pypi.mirror.ustc.edu.cn/simple/

进行处理,结果报错

于是不进行加速，就可以运行

pip install gensim==3.8.3

2.数据转换（将单词转换为向量）

2.1 One hot编码

本质是创建一个足够长的数组使其包含所有单词，且每一个单词都有他自己的位置，当出现这个单词时将这个单词置1，其余置0。
问题： 每个单词之间彼此信息无关，且训练时需要每个都照顾到。

2.2 word embedding

通过判断向量之间的相似度来度量词之间的语意相关性。其基于的分布式假设是出现在上下文下的词意思应该相近。

3.Seq2Seq结构模型（序列到序列模型）

Seq2Seq模型：
输入：一个序列（单词，字母，图片特征）。
模型：  1.Ecoder编码器：处理输入序列中的元素将其转化为一个向量（Context）。2.Context上下文：一个向量或数组，编码矢量是从模型的编码部分产生的最终隐藏状态。该向量旨在封装所有输入元素的信息，以帮助解码器进行准确的预测。3.Decoder解码器：生成输出序列中的元素。
输出：一个序列（要求的序列）。

CS224N 笔记一相关推荐

CS224n笔记13 卷积神经网络
为什么80%的码农都做不了架构师?>>> 本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/nlp/cs224n-convolutional-n ...
【NLP CS224N笔记】Assignment 1 - Exploring Word Vectors
作业来源:https://github.com/xixiaoyao/CS224n-winter-together 1. 写在前面这篇文章是CS224N课程的第一个大作业, 主要是对词向量做了一个探索 ...
【NLP CS224N笔记】Lecture 12 - Information from parts of words Subword Models
本次梳理基于Datawhale 第12期组队学习 -CS224n-预训练模块详细课程内容参考(2019)斯坦福CS224n深度学习自然语言处理课程 1. 写在前面自然语言处理( NLP )是信息时 ...
【2019斯坦福CS224N笔记】(5)The probability of a sentence Recurrent Neural Networks and Language Models
这部分内容主要研究语言模型及循环神经网络在语言模型中的应用. 目录 1.语言模型 2.经典n-gram模型 3.Window-based DNN 4.Recurrent Neural Networks ...
cs224n笔记(一) Lecture1: word2vec算法详细解析
本文是对斯坦福CS224N关于word2vec内容的学习笔记目录 1. 背景知识 2. 基本原理 1. CBOW 2. skip-gram 3.维度爆炸的处理 1. negative samplin ...
CS224n笔记二：word2vec
如何表示词语的意思语言学中meaning近似于"指代,代指,符号". 计算机中如何处理词语的意思过去一直采用分类词典,计算语言学中常见的方式时WordNet那样的词库,比如NL ...
CS224N笔记(四) Lecture 7：循环神经网络RNN的进阶——LSTM与GRU
本文将介绍两种比RNN更好地应对梯度消失问题的模型结构--LSTM和GRU,文章以CS224N的课件和材料为基础,重点分析他们的结构特点和梯度计算,在梯度消失的解决策略上进行了深入探究,并进一步分析它 ...
CS224N笔记（1~3）简介+word2vector
CS224N NLP与深度学习的结合简介文章目录 CS224N NLP与深度学习的结合简介简介为什么NLP会这么困难? Deep NLP: What is word2vector? word2v ...
CS224n笔记一：开端
何为自然语言处理自然语言处理的目标是让计算机处理或者"理解"自然语言,以完成有意义的任务,如QA等. 自然语言处理涉及的层次输入有两个来源:语音和文本,所以第一级是语音识别,O ...
CS224n笔记3 高级词向量表示
本文转自:http://www.hankcs.com/nlp/cs224n-advanced-word-vector-representations.html 这节课从传统的基于计数的全局方法出发,过 ...

CS224N 笔记一

1.环境配置

2.数据转换（将单词转换为向量）

2.1 One hot编码

2.2 word embedding

3.Seq2Seq结构模型（序列到序列模型）

CS224N 笔记一相关推荐

最新文章

热门文章