使用pickle模块打包停用词表,加快处理文本数据的速度

参考博客:https://blog.csdn.net/brucewong0516/article/details/79055480

本地有一个停用词表eng_stop_words.txt文本,现在使用pickle打包:

def savedb(pre_file, filename):with open(pre_file, 'r') as f:content = [line.strip() for line in f.readlines()]pickle.dump(content, open(filename, 'wb'))savedb('eng_stop_words.txt', 'eng_stop_words.pkl')

使用时:

def drop_stopwords(contents, stopwords):contents_clean = []for line in contents:line_clean = []for word in line:if word in stopwords:continueline_clean.append(word)contents_clean.extend(line_clean)return contents_cleanstopwords = pickle.load(open('eng_stop_words.pkl', 'rb')) #读取停用词文件
content_list = drop_stopwords(content, stopwords)

使用pickle模块打包停用词表,加快处理文本数据的速度相关推荐

KBQA_多轮对话——模型源码解析（一）Pickle模块功能详解
KBQA_多轮对话--模型源码解析(一)Pickle模块功能详解 pickle --- Python 对象序列化的基本功能 1.pickle基本概念 2.pickle 与 json 模块的比较 3.p ...
使用pickle模块序列化数据，优化代码
使用pickle模块序列化数据,优化代码 pickle是Python标准库中的一个二进制序列化和反序列化库. 可以以二进制的形式将数据持久化保存到磁盘文件中.可以将数据和代码分离,提高代码可读性和优雅 ...
NLP算法-关键词提取补充知识-停用词表
引入书接上回,我们讲这个关键词提取的时候没有说停用词: 那啥是停用词呢?当一个词语出现频率很高但是这个词并不是你所需要的信息,这个时候就会用到停用词表这个概念什么是停用词表? 停用词是指在信息检索 ...
json/pickle模块(序列化)
什么叫序列化? 序列化是指把内存里的数据类型转变成字符串,以使其能存储到硬盘或通过网络传输到远程,因为硬盘或网络传输时只能接受bytes 为什么要序列化? 你打游戏过程中,打累了,停下来,关掉游戏.想 ...
python-时间模块,random、os、sys、shutil、json和pickle模块
一.time与datetime模块 time模块: 时间戳:表示的是从1970年1月1日00:00:00开始按秒计算的偏移量,返回类型为float类型格式化时间字符串(Format String) ...
Python的pickle模块详解（包括优缺点及和JSON的区别）
文章目录一.pickle是什么? 1.pickle的优缺点 2.pickle和JSON的区别 3.pickle的应用总结二.pickle的用法 1. pickle接口 2. pickle实例结语 ...
序列化模块--json模块--pickle模块-shelve模块
什么叫序列化? 序列化是指把内存里的数据类型转变成字符串,以使其能存储到硬盘或通过网络传播到远程,因为硬盘或网络传输时只能接受bytes 例: 把内存数据转成字符 # data ={# 'roles ...
Python中的pickle模块
链客,专为开发者而生,有问必答! 此文章来自区块链技术社区,未经允许拒绝转载. Pickle模块的作用 Pickle模块用于将python对象序列化为字节流,可存储在文件或数据库中,也可同通过网络进行 ...
Python--数据存储：pickle模块的使用讲解
在机器学习中,我们常常需要把训练好的模型存储起来,这样在进行决策时直接将模型读出,而不需要重新训练模型,这样就大大节约了时间.Python提供的pickle模块就很好地解决了这个问题,它可以序列化对象 ...

使用pickle模块打包停用词表,加快处理文本数据的速度

使用pickle模块打包停用词表,加快处理文本数据的速度相关推荐

最新文章

热门文章