解决报错OverflowError: Python int too large to convert to C long.

问题描述

问题代码如下：

 TEXT = torchtext.data.Field(sequential=True)LABEL = torchtext.data.Field(sequential=False, dtype=torch.long, use_vocab=False)#使用TabularDataset方法生成数据集# 读取文件生成数据集fields = [('label', LABEL), ('comment', TEXT)]train, valid, test = TabularDataset.splits(path='/root/For+Detecting+sentiment+polarity/lstm/', format='csv',train='train_data.csv',validation="valid_data.csv",test='test_data.csv',skip_header=True, fields=fields)

运行时出现报错：

OverflowError: Python int too large to convert to C long.

问题分析：

根据提示可知，是发生了溢出错误，即问题数字超过了系统支持的最大数值表示sys.maxsize：

但是更换数据集之后还是一样的报错，所以猜想可能是torchtext版本问题。

解决方法：

搜索了很多解决方法，发现，其实有可能是torchtext的版本问题。
最开始报错时使用的torchtext版本好像是0.4.0，降低版本改成0.2.3就不会报错了。
但是版本为0.2.3时torchtext.data.Field不支持dyte参数。
去官网查了一下pytorch和torchtext的对应版本，我的pytorch是1.9，解释器python3.8，对应的torchtext版本为0.10.0，于是又把torchtext更新为0.10.0，此时不会再报错，但是会发现0.10.0版本的torchtext没有Field，其实是放在了别的package里，把所有的torchtext.data改为torchtext.legacy.data就可以了。代码更新如下：

TEXT = torchtext.legacy.data.Field(sequential=True)LABEL = torchtext.legacy.data.Field(sequential=False, dtype=torch.long, use_vocab=False)#使用TabularDataset方法生成数据集# 读取文件生成数据集fields = [('label', LABEL), ('comment', TEXT)]train, valid, test = TabularDataset.splits(path='/root/For+Detecting+sentiment+polarity/lstm/', format='csv',train='train_data.csv',validation="valid_data.csv",test='test_data.csv',skip_header=True, fields=fields)

问题解决。

【solved】OverflowError: Python int too large to convert to C long.相关推荐

关于“Python int too large to convert to C long”的解决。
这个问题在我使用python计算平方的时候出现,其实问题的症结并不是数据太大(你可以使用print(很大的数的平方)来验证,会发现是可以输出的),而是数据结构的问题.具体是指,直接使用np.array ...
【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中（2）...
[爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...
2190: 【USACO】Farmer John has no Large Brown Cow
2190: [USACO]Farmer John has no Large Brown Cow 时间限制: 1.000 Sec 内存限制: 64 MB 提交: 16 解决: 12 [命题人:][下 ...
【1024】用Python画CSDN的默认头像
[1024]用Python画CSDN的默认头像前言作为程序员,基本上都用过CSDN.CSDN上有海量的技术博客,也有各种各样的分类社区,提供资源下载等,是非常适合程序员学习和交流的好平台. 102 ...
python导出数据找不到csv_【记录】使用Python读取/导出（写入）CSV文件
想要用python处理csv文件. 去查了下,python中本身就自带csv模块. 然后参考在线手册: 去试试. [用python生成csv] 1. 按照手册的例子,试了试:import csv wi ...
pythonarcgis插件_【直播】基于Python开发ArcGIS插件：Python Add-in丨城市数据派
原标题:[直播]基于Python开发ArcGIS插件:Python Add-in丨城市数据派 Add-in是什么? Add-in(加载项)是一种自定义项(例如工具栏上的工具集合),Add-in可以插入 ...
基因表达式编程(GEP)自学第【3】天 Python 实现
基本基因表达式算法 1. 个体种群[★★★] 1.1. 初始种群的产生 2. 适应度函数与选择[★★★★] 2.1. 适应度函数和选择环境 2.2. 选择 3. 有修饰的复制[★★★★★] 3.1. ...
【原创】用 Python 反编译 Python 软件
[原创]用 Python 反编译 Python 软件标题: [原创]用 Python 反编译 Python 软件作者: Ptero 时间: 2010-04-21,16:28:27 链接: ...
Python图像处理【2】探索Python图像处理库
探索Python图像处理库 0. 前言 1. 利用 scikit-image 绘制图像 2. 使用 SciPy 模块裁剪/调整图像大小 3. 使用 OpenCV 绘制轮廓 3.1 轮廓简介 3.2 绘 ...
【2023】某python语言程序设计跟学第四周内容
目录 1.程序的分支结构 1.1.单分支结构 1.2.二分支结构 1.3.多分支结构 1.4.条件判断与组合 1.5.异常处理 2.实例:身体质量指数BMI 3.程序的循环结构 3.1.遍历循环 3. ...

【solved】OverflowError: Python int too large to convert to C long.

解决报错OverflowError: Python int too large to convert to C long.

问题描述

问题分析：

解决方法：

【solved】OverflowError: Python int too large to convert to C long.相关推荐

最新文章

热门文章