外包 | py2 下的 pickle 转成 py3 下的 pickle

文章目录

外包 | py2 下的 pickle 转成 py3 下的 pickle
相关文件下载
任务需求
解决思路

任务需求

这个老哥不知道哪里搞来的pickle文件, 是在python2.7下保存的, 然后试了一下, 的确在python3.x下打不开, 会报编码错误.

然后到网上查了一些相关资料, 也试了一下网上的方法, 发现在 pickle.load() 这一步的确可以load出来, 比如:

# 在load()里面加加上 encoding='latin1', 或者 encoding='iso-8859-1'
with open('./factor_solve_data.pkl', 'rb') as r:pklData = pickle.load(r, encoding='latin1')
r.close()

这样的话的确可以load出来:

load()出来后可以看到里面是一个大字典, 大字典里面是一个个的 DataFrame, 我尝试一下将其中一个拎出来

结果就是一堆错误, 那应该问题就是 python 2.x 和 python 3.x 的 pickle 和 DataFrame 编码格式不同所导致的.

解决思路

那没办法了, 当时就只能想到一个最简单粗暴的了:

在 python2.x 的环境下:

先用 pickle 将 pkl 文件 load 出来

然后用 pandas 将里面的一个个 DataFrame 转成 excel 表格

然后在python3.x的环境下:

用 pandas 将保存下来的 excel 表格一个个读取成 DataFrame

然后用 pickle dump保存成新的 pkl 文件

import pandas
import pickle
import os# 这里用 python2.x 来操作 ========================
with open('./factor_solve_data.pkl', 'r') as r:pklData = pickle.load(r)
r.close()
for key, value in pklData.items():      # load()出来后是一个个字典, 用for循环将键值对读取出来value.to_excel('./xlsx/%s.xlsx'%key, encoding='utf-8')        # 将值转成excel, 然后以键的名字来进行命名
# 这里用 python2.x 来操作 ========================# 这里用 python3.x 来操作 ========================
# 仿照原来的pkl文件, 将数据存进一个大字典里
pklDict = {}
for file in os.listdir('./xlsx'):# 读取excel表格, 以第一列作为索引df = pandas.read_excel(f'./xlsx/{file}', index_col=0)# 将excel文件名作为字典的键, file[:-5]是只取名字, 不要后面的 `.xlsx` 后缀pklDict[file[:-5]] = df
with open('py3Data.pkl', 'wb') as w:pickle.dump(pklDict, w)
w.close()
# 这里用 python3.x 来操作 ========================

外包 | py2 下的 pickle 转成 py3 下的 pickle相关推荐

关于springmvc下服务器文件打包成zip格式下载功能
关于springmvc下服务器文件打包成zip格式下载功能 2016年09月21日 11:22:14 toxic_guantou 阅读数:5731更多个人分类: 技术点存储版权声明:本文为博主原创 ...
将windows下编辑好的文件(GBK)转换成Linux下的格式(UTF8)
背景:一般我们在windows上编辑好的文件默认编码是GBK,而且换行符是^M,为了将这些文件用在linux上,我们一般会将它们转换成Linux下的文件格式,即去掉^M,且将文件格式转换成UTF8. ...
（总结）Linux下多行合并成一行，中间加分隔符
将某个目录下的文件合并成一行,中间用冒号(:)作为分隔符 1.paste ls lib | sed 's@^@lib/@g' | paste -s -d ":" 2. tr ls ...
Android 将drawable下的图片转换成bitmap、Drawable
将drawable下的图片转换成bitmap 1. Bitmap bitmap = BitmapFactory.decodeResource(getResources(), R.drawable.xx ...
linux下的外接显示器设置成竖屏
linux下的外接显示器设置成竖屏用到的软件系统设置里的Display xrandr 用到的命令 $: xrandr -o left\right 步骤 1.在Display里选择设置的显示器为主显 ...
将windows下文件编码格式转换成UTF-8 文件编码格式
将windows下文件编码格式转换成UTF-8 文件编码格式背景说明: 一个芯片厂商的SDK中的所有文件使用的GB2312的中文编码方式,所以在linux下开发的时候会发现中文的部分都是乱码. 因为 ...
标准分幅下的图幅号转换成经纬度坐标【原理+源代码】
最近要批量的把标准分幅下的图幅号转换成经纬度坐标,所以这两天写了个程序来搞定这件事情. 先举个例子说明一下这个程序的作用. 例如:计算出图幅号I50G021040的经纬度范围,即最大经度.最小经度.最 ...
win10 下的输入法切换成繁体的问题解决方案
win10 下的输入法切换成繁体的问题解决方案这几天一直很头疼,输入法莫名其妙的就切换为繁体了,而且在搜狗输入法的设置里面设置为简体也是不管用,最后终于找到了问题,由于idea的快捷键 Ctrl + ...
EasyUI-DataGrid下数据库数字替换成文本信息显示以及不同状态显示不同颜色
EasyUI-DataGrid下数据库数字替换成文本信息显示在使用easyui作为开发框架的时候,经常遇到一些常见的问题,比如某项数据名,在数据库里存的是0和1等,然后显示在页面上的时候,需要显示成 ...

外包 | py2 下的 pickle 转成 py3 下的 pickle

外包 | py2 下的 pickle 转成 py3 下的 pickle

文章目录

相关文件下载

任务需求

解决思路

外包 | py2 下的 pickle 转成 py3 下的 pickle相关推荐

最新文章

热门文章