今天想学LSTM的情感分类，结果碰到了一系列问题，耽误了很多时间。特此记录！

一.项目来源

lesson53-情感分类实战
B站视频

二.碰到的问题

1.报错AttributeError: module ‘torchtext.data‘ has no attribute ‘Field‘

解决方法1（在这个方法中没啥用，但是记录一下）

在2021年3月5日TorchText 0.9.0更新，一些API调用也发生变化

之前我们调用Field,TabularDataset,Iterator,BucketIterator是通过torchtext.data

import torch
import torchtext
from torchtext.data import Field,TabularDataset,Iterator,BucketIterator

在torchtext0.9环境下，会报AttributeError: module ‘torchtext.data’ has no attribute ‘Field’

新的API调用代码如下（示例）：

import torch
import torchtext
from torchtext.legacy.data import Field,TabularDataset,Iterator,BucketIterator

解决方法2（有用的）

因为这个项目是2020年，所以我把torchtext的版本往后退了。

先卸载原来的torchtext。

pip uninstall torchtext

下载0.6.0版本的

pip install torchtext==0.6.0

2.Can’t find model ‘en’

需要下载en_core_web_sm-3.0.0.tar.gz
在指定虚拟环境下执行命令：

pip install 存放位置/en_core_web_sm-3.0.0.tar.gz

同时需要下载spacy

pip install spacy==3.0.0

注意：spacy的版本要与en_core_web_sm版本要相同！！！spacy的版本要与en_core_web_sm版本要相同！！！spacy的版本要与en_core_web_sm版本要相同！！！重要的抒情说三遍！！！

3.torchtext 下载 IMDB 数据集时出现错误

import torch
from torch import nn, optim
from torchtext import data, datasetsTEXT = data.Field(tokenize='spacy',tokenizer_language='en_core_web_sm')
LABEL = data.LabelField(dtype=torch.float)
train_data, test_data = datasets.IMDB.splits(TEXT, LABEL)print('Number of training examples:', len(train_data))
print('Number of testing examples:', len(test_data))

虽然没报错了，但是数据集没下载下载，加载数据集为空，如下图：

这里的最后一行代码一般会自动下载imdb数据集，但是常常速度很慢很慢，而且如果没下载完成就退出的话，再运行就不会自动下载了。这里我发现下载的数据集会在project里面的.data\imdb\文件夹下。
解决方法是去
aclImdb_v1.tar.gz下载包，用浏览器下会稍微快点，主要是不会丢失连接。下载完成以后，把压缩包放到.data\imdb\文件夹下并且解压。之后再运行以上代码就不会报错了。

基于PyTorch的LSTM模型的IMBD情感分类遇到的问题相关推荐

基于Keras搭建LSTM网络实现文本情感分类
基于Keras搭建LSTM网络实现文本情感分类一.语料概况 1.1 数据统计 1.1.1 查看样本均衡情况,对label进行统计 1.1.2 计句子长度及长度出现的频数 1.1.3 绘制句子长度累积 ...
基于pytorch的LSTM模型构建
上文我们利用pytorch构建了BP神经网络,LeNet,这次我们利用LSTM网络实现对MNIST数据集的分类,具体的数据获取方法本文不详细介绍,这里只要讲解搭建LSTM网络的方法以及参数设置. 这里 ...
【图像分类】基于PyTorch搭建LSTM实现MNIST手写数字体识别（双向LSTM，附完整代码和数据集）
写在前面: 首先感谢兄弟们的关注和订阅,让我有创作的动力,在创作过程我会尽最大能力,保证作品的质量,如果有问题,可以私信我,让我们携手共进,共创辉煌. 在https://blog.csdn.net/A ...
基于Pytorch的LSTM实战160万条评论情感分类
数据以及代码的github地址说明:训练速度使用cpu会很慢 # 目标:情感分类 # 数据集 Sentiment140, Twitter上的内容包含160万条记录,0 : 负面, 2 : 中 ...
基于神经网络算法LSTM模型对股票指数进行预测
资源下载地址:https://download.csdn.net/download/sheziqiong/86813208 资源下载地址:https://download.csdn.net/downl ...
Pytorch《LSTM模型》
前面的博文我们讲了LSTM的原理与分析,这一篇我们用pytorch类LSTM做测试完整测试代码如下,用于进行MNIST数据集测试,主要学习LSTM类的输入输出维度. 这里定义的LSTM模型是用了三层 ...
基于pytorch使用LSTM进行文本情感分析
前言大家好,我是阿光. 本专栏整理了<PyTorch深度学习项目实战100例>,内包含了各种不同的深度学习项目,包含项目原理以及源码,每一个项目实例都附带有完整的代码+数据集. 正在更新 ...
【图像分类】基于PyTorch搭建LSTM实现MNIST手写数字体识别（单向LSTM，附完整代码和数据集）
写在前面: 首先感谢兄弟们的关注和订阅,让我有创作的动力,在创作过程我会尽最大能力,保证作品的质量,如果有问题,可以私信我,让我们携手共进,共创辉煌. 提起LSTM大家第一反应是在NLP的数据集上比较 ...
使用Google云平台实战基于PyTorch的yolo-v3模型
对于计算机视觉爱好者来说,YOLO (You Only Look Once)是一个非常流行的实时目标检测算法,因为它非常快,同时性能非常好. 在本文中,我将共享一个视频处理的代码,以获取视频中每个对象 ...

基于PyTorch的LSTM模型的IMBD情感分类遇到的问题