一、情感分析Baseline：

IMDb数据集包含50000条电影评论，每条评论都标记为正面或负面评论

数据集下载：http://ai.stanford.edu/~amaas/data/sentiment/

本次主要学习情感分析简单模型，选择RNN模型做Baseline。

RNN每次的输入为一个单词序列：X={x1,...,xT}X={x1,...,xT}，并为每个输入单词输出一个隐向量：h。

二、对IMDB电影评论进行情感分析

TorchText 的主要概念之一是Field，这些定义了应如何处理数据。我们的数据集为带标签数据集，即数据由评论的原始字符串和情感组成，“pos”表示积极情绪，“neg”表示消极情绪。

数据预处理

import torch
from torchtext.legacy import data
# 设置随机种子数，该数可以保证随机数是可重复的
SEED = 1234
# 设置种子
torch.manual_seed(SEED)
torch.backends.deterministic = True
# 读取数据和标签
TEXT = data.Field(tokenize = 'spacy', tokenizer_language = 'en_core_web_sm')
LABEL = data.LabelField(dtype = torch.float)

from torchtext.legacy import datasets
# 以下代码自动下载IMDb数据集并将其拆分为规范的训练集和测击集，
# 作为torchtext.datasets对象。它使用我们之前定义的Frields处理数据。IMDb数据集包含50000条电影评论，每条评论都标记为正面或负面评论。
train_data, test_data = datasets.IMDB.splits(TEXT, LABEL)
# 查看我们的训练集和测试集大小
print(f'Number of training examples: {len(train_data)}')
print(f'Number of testing examples: {len(test_data)}')
# Number of training examples: 25000
# Number of testing examples: 25000
# 查看一下示例数据
print(vars(train_data.examples[0]))
# {'text': ['elvira', 'mistress', 'of', 'the', 'dark', 'is', 'one', 'of', 'my', 'fav', 'movies', ',', 'it', 'has', 'every', 'thing', 'you', 'would', 'want', 'in', 'a', 'film', ',', 'like', 'great', 'one', 'liners', ',', 'sexy', 'star', 'and', 'a', 'Outrageous', 'story', '!', 'if', 'you', 'have', 'not', 'seen', 'it', ',', 'you', 'are', 'missing', 'out', 'on', 'one', 'of', 'the', 'greatest', 'films', 'made', '.', 'i', 'ca', "n't", 'wait', 'till', 'her', 'new', 'movie', 'comes', 'out', '!'], 'label': 'pos'}

构建模型

import torch.nn as nn

训练模型

SGD随机梯度下降计算

NLP情感分析笔记（一）：Baseline相关推荐

NLP情感分析笔记（四）：卷积情感分析
卷积情感分析 CNN: 能够从局部输入图像块中提取特征,并能将表示模块化,同时可以高效第利用数据可以用于处理时序数据,时间可以被看作一个空间维度,就像二维图像的高度和宽度那么为什么要在文本上使用卷 ...
NLP情感分析笔记（三）：Faster 情感分析
Faster 情感分析一.数据预处理: FastText分类模型: 其他文本分类模型最大的不同之处在于其计算了输入句子的n-gram n-gram: 将文本里面的内容按照字节进行大小为n的滑动窗口操 ...
NLP情感分析笔记（五）：多类型情感分析
在本次学习中,我们将对具有 6 个类的数据集执行分类.请注意,该数据集实际上并不是情感分析数据集,而是问题数据集,任务是对问题所属的类别进行分类.但是,本次学习中涵盖的所有内容都适用于任何包含属于
NLP情感分析笔记（二）：Updated情感分析
本章主要内容如下: 序列填充预训练词嵌入 LSTM 双向 RNN 多层 RNN 正则化优化 1.准备数据首先设置seed,并将其分类训练.测试.验证集. 注意:由于 RNN 只能处理序列中的非 ...
NLP情感分析笔记（六）：Transformer情感分析
Transformer学习: 图解Transformer(完整版)_龙心尘-CSDN博客_transformer NLP实操手册: 基于Transformer的深度学习架构的应用指南(综述)_王博(K ...
python商品评论数据采集与分析可视化系统 Flask框架 requests爬虫 NLP情感分析毕业设计源码
一.项目介绍 python商品评论数据采集与分析可视化系统 Flask框架.MySQL数据库. requests爬虫.可抓取指定商品评论.Echarts可视化.评论多维度分析.NLP情感分析.LDA主 ...
用户评论想表达什么？NLP情感分析技术告诉你答案
情感分析是自然语言处理中常见的场景,比如淘宝商品评价,饿了么外卖评价等,对于指导产品更新迭代具有关键性作用.通过情感分析,可以挖掘产品在各个维度的优劣,从而明确如何改进产品. 比如对外卖评价,可以分析 ...
NLP情感分析——KNN算法
一. 基本概念文本情感分析是对文本中的某段已知文字的两极性进行分类,判断出此文字中表述的观点是积极的.消极的.还是中性的情绪. 目前的研究方法主要有两类:一种是基于情感词典的方法,另一种是基于机器学 ...
NLP情感分析基础知识
1.什么是情感分析? 情感分析,又称意见挖掘,是分析人们对产品.服务.组织.个人.问题.事件.主题等实体的意见.评价.态度和情感及其属性的研究领域. 2.情感分析的级别: 1.文档级(对单一实体的分 ...

NLP情感分析笔记（一）：Baseline