Python并行实现XML文件转换为XLSX文件

最近需要读取一堆XML文件的数据，这批XML文件很大，虽说用Excel读取很方便，但是读取速度特别慢，故使用Python结合pandas、xml、multiprocessing包实现了数据的快速读取。

# xml2xlsx
import xml.dom.minidom
import pandas as pd
import os
from multiprocessing import Pool
# Read XML file and convert it to XLSX
# Use multiprocessdef xml2excel(filename):print(filename + '...')save_path = '/home/pc/xadf'xml_report = os.path.join(output_path, filename)outputname = filename.split('.')[0]xls_report = os.path.join(save_path, outputname + '.xlsx')#XML文件读取dom = xml.dom.minidom.parse(xml_report)z_tag = dom.getElementsByTagName('z')N = len(z_tag)z = [z_tag[i].firstChild.data for i in range(N)]surface_name_tag = dom.getElementsByTagName('s')surface_name = [surface_name_tag[0].firstChild.data for i in range(N)]label_tag = dom.getElementsByTagName('l')label = [label_tag[i//(512*128)].firstChild.data for i in range(N)]#XLSX文件写入all_dict = {'surface_name': surface_name, 'label': label, 'z': z}  df = pd.DataFrame(all_dict)  with pd.ExcelWriter(xls_report) as Writer:df.to_excel(Writer, 'Sheet1', index=False, header=False)output_path = '/home/pc/akjhfkd'
filenames = os.listdir(output_path)
#并行处理，但不能设置太大，否则容易卡死
pool = Pool(6)
pool.map(xml2excel, filenames)
pool.close()
pool.join()

Python并行实现XML文件转换为XLSX文件相关推荐

【使用ChatGPT自动化】批量转换.csv文件为.xlsx文件
第1次提问: 我:我想使用Python批量转换.csv文件为.xlsx文件,请你提供代码它:好的,以下是使用Python批量转换.csv文件为.xlsx文件的代码: import os import ...
Python 把csv文件转换为excel文件
背景由于其他部门给的数据是 csv 文件,业务人员一般都是熟悉 excel 文件,为了方便查看数据,因此需要写个程序,把 csv 文件转换为 excel 文件,由于是经常使用,小编的脚本程序,写成了 ...
python批量pdf转word,python批量实现Word文件转换为PDF文件
本文为大家分享了python批量转换Word文件为PDF文件的具体方法,供大家参考,具体内容如下 1.目的通过万能的Python把一个目录下的所有Word文件转换为PDF文件. 2.遍历目录作者总 ...
php 删除xls文件,使用PHPExcel将xls文件转换为xlsx时出错
我正在使用库PHPExcel在PHP中创建一个Web应用程序,一个功能是将xls文件转换为xlsx . 这是功能的代码: set_include_path(get_include_path() . P ...
python npy文件_python实现npy格式文件转换为txt文件操作
如下代码会将npy的格式数据读出,并且输出来到控制台: import numpy as np ##设置全部数据,不输出省略号 import sys np.set_printoptions(thresh ...
python 将excel文件转换为txt文件_python利用pandas将excel文件转换为txt文件的方法
python将数据换为txt的方法有很多,可以用xlrd库实现.本人比较懒,不想按太多用的少的插件,利用已有库pandas将excel文件转换为txt文件. 直接上代码: ''' function:将 ...
python csv文件和xlsx文件混杂时，提取指定列数据并合并
这篇文章是R语言如何合并csv文件(批量读取csv文件)的姊妹篇.提供更为强大的功能. 解决的问题是提取csv文件和xlsx文件混杂时,文件合并问题.具体来说,下面的代码是提取指定列文本,简单清洗后 ...
python如何打开npy文件_python实现npy格式文件转换为txt文件操作
如下代码会将npy的格式数据读出,并且输出来到控制台: import numpy as np ##设置全部数据,不输出省略号 import sys np.set_printoptions(thresh ...
python excel文件转换成字符串_python利用pandas将excel文件转换为txt文件的方法
python将数据换为txt的方法有很多,可以用xlrd库实现.本人比较懒,不想按太多用的少的插件,利用已有库pandas将excel文件转换为txt文件. 直接上代码: ''' function:将 ...
Python将CSV文件转换为Excel文件
不多说,直接贴代码 from pandas.io.excel import ExcelWriter import pandas as pd with ExcelWriter('xxx.xlsx') a ...

Python并行实现XML文件转换为XLSX文件

Python并行实现XML文件转换为XLSX文件相关推荐

最新文章

热门文章