python导入处理txt文件-python读取大文件踩过的坑—

在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时，选择了一个有3G多的txt文件，之前在做词向量时用的是word2vec，所以直接导入模型然后indexword即可。

因为这是一个txt大文件，尝试了DataFrame，np.loadtxt等，都没有成功，其中主要遇到的问题是：

如何读取完整的大文件，而不会出现内存不足memery error等问题

将读取出来的文件，保存为npy文件

根据词找到对应的向量

解决办法：

尝试使用的代码：

代码1:

try:

lines=np.loadtxt(filepath)

catch:

感觉这块不会写了咦，，，

print(ValueError)

但这样的话，它就不会继续循环去读上边的txt了呢

代码2：

lines=[]

with open(filepath) as f:

for line in f:

lines.append()

np.save(filepath,lines)

代码3

def readEmbedFile(embedFile):

# embedId = {}

# input = open(embedFile,'r',encoding="utf-8")

# lines = []

# a=0

# for line in input:

# lines.append(line)

# a=a+1

# print(a)

# nwords = len(lines) - 1

# splits = lines[1].strip().split(' ') # 因为第一行是统计信息，所以用第二行

# dim = len(splits) - 1

# embeddings=[]

# # embeddings = [[0 for col in range(dim)] for row in range(nwords)]

# b=0

# for lineId in range(len(lines)):

# b=b+1

# print(b)

# splits = lines[lineId].split(' ')

# if len(splits) > 2:

# # embedId赋值

# embedId[splits[0]] = lineId

# # embeddings赋值

# emb = [float(splits[i]) for i in range(1, 300)]

# embeddings.append(emb)

# return embedId, embeddings

代码4：

def load_txt(filename):

lines=[]

vec_dict={}

with open(filename,r) as f:

for line in f:

list=line.strip()

lines.append(line)

for i, line in emuate(lines):

if i=0:

continue

line=line.split(" ")

wordID=line[0]

wordvec=[float line[i] for i in range(1,300)]

vec_dict[wordId]=np.array(wordvec)

return vec_dict

具体内存不足主要的原因是：

我的虚拟机中确实内存不太够，后来使用实验室32G的主机后，可以得到idvec，而得不到向量的，报的错还是memory error.

另一个原因，是需要把词向量转换为float形式，在python中str 占的内存>float类型，如代码所示：

print("str",sys.getsizeof(""))

print("float",sys.getsizeof(1.1))

print("int",sys.getsizeof(1))

print("list",sys.getsizeof([]))

print("tuple",sys.getsizeof(()))

print("dic",sys.getsizeof([]))

str 49

float 24

int 28

list 64

tuple 48

dic 64

在我的电脑，64位操作系统，64位的python, 所占内存大小排序为：

dic=list>str>tuple>int>float

读取时候可以用np.load().item就可以复原原来的字典，主要参照下述文件：

https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy0bRPfNjeyc9FrxJzwU1-HIm3Pojx-sH_K8z0b4lhih2oEAZ19hjAo8.

然后通过python的字典操作就可以遍历得到每个词的词向量了，dic[vocab]

心得：

距离完全解决项目的问题还有5~6的大关卡,但静下心来，一步步地做总会突破的呀！

原文：https://blog.csdn.net/weixin_38527856/article/details/90704116

python导入处理txt文件-python读取大文件踩过的坑——读取txt文件词向量相关推荐

Windows 10 文件夹越来越大，如何瘦身，删除哪些文件？
Windows 10 文件夹越来越大,如何瘦身,删除哪些文件? 1,清除C盘临时文件同时按住Windows键和R键打开运行框输入"%temp%" 界面: 定位临时文件夹删除所 ...
python读取大文件的坑_python读取大文件踩过的坑——读取txt文件词向量
在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直 ...
python让词向量一直在内存里_python读取大文件踩过的坑——读取txt文件词向量
在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直 ...
python读取大数据量xml_[C#]_[使用微软OpenXmlSDK (OpenXmlReader)读取xlsx表格] 读取大数据量100万条数据Excel文件解决方案...
1.OpenXmlSDK是个很好的类库,可惜只能通过C#调用,C#的童鞋又福气了. 2.服务端程序由于没法安装office,所以这个对asp.net网站来说是最理想的库了.需要.net 4.0版本以上 ...
Python Djang 搭建自动词性标注网站（基于Keras框架和维基百科中文预训练词向量Word2vec模型，分别实现由GRU、LSTM、RNN神经网络组成的词性标注模型）
引言本文基于Keras框架和维基百科中文预训练词向量Word2vec模型,分别实现由GRU.LSTM.RNN神经网络组成的词性标注模型,并且将模型封装,使用python Django web框架搭建 ...
python导入excel表格-通过Python将Excel表格信息导入数据库
前言公司原采用Excel表格方式记录着服务器资产信息,随着业务的增加,相应的硬件资产也增加,同时物理机虚拟化出多台虚拟机,存在表格管理杂乱.变更资产信息不能及时相互同步, 为了紧跟时代的步伐,老大搞 ...
python导入turtle报错,Python turtle
python flask 全局变量需要加锁吗 python flask 全局变量需要加锁吗搜索资料 我来答分享微信扫一扫新浪微博 QQ空间举报浏览35 次本地图片图片链接代码提交 ...
python导入股票_利用Python将股票代码表导入表格
做交易必须做好交易记录,这样方便回顾和总结.对于大部分人来说,Excel是大部分人做电子记录的最佳工具. 这几天在翻看<走进我的交易室>这本书,按照书上参考自己弄了一个表格. 每次输入代码 ...
php explode txt,使用PHP的explode函数踩过的坑
一.概述前段时间,在项目中使用了explode,没想到既然踩坑了,只好记录下这个坑.我们先来看一个例子吧,如下:$str1 = "zhangsan,wangwu,zhaoliu" ...

python导入处理txt文件-python读取大文件踩过的坑——读取txt文件词向量

python导入处理txt文件-python读取大文件踩过的坑——读取txt文件词向量相关推荐

最新文章

热门文章