数据处理小工具：Excel 批量数据文件拆分/整合器...

需求分析：

现在有一大堆的Excel数据文件，需要根据每个Excel数据文件里面的Sheet批量将数据文件合并成为一个汇总后的Excel数据文件。或者是将一个汇总后的Excel数据文件按照Sheet拆分成很多个Excel数据文件。根据上面的需求，我们先来进行UI界面的布局设计。

【阅读全文】

完整源代码请滑到文章最后获取，感谢大家的支持！

导入UI界面设计相关的PyQt5模块

from PyQt5.QtWidgets import *from PyQt5.QtCore import *from PyQt5.QtGui import *

应用操作相关的模块

import sysimport os

excel 数据处理模块

import openpyxl as pxlimport pandas as pd

看一下 UI 界面的功能和布局，感觉还可以...

下面是布局相关的代码块实例

    def init_ui(self):self.setWindowTitle('Excel数据汇总/拆分器  公众号：[Python 集中营]')self.setWindowIcon(QIcon('数据.ico'))self.brower = QTextBrowser()self.brower.setReadOnly(True)self.brower.setFont(QFont('宋体', 8))self.brower.setPlaceholderText('批量数据处理进度显示区域...')self.brower.ensureCursorVisible()self.excels = QLineEdit()self.excels.setReadOnly(True)self.excels_btn = QPushButton()self.excels_btn.setText('加载批文件')self.excels_btn.clicked.connect(self.excels_btn_click)self.oprate_type = QLabel()self.oprate_type.setText('操作类型')self.oprate_combox = QComboBox()self.oprate_combox.addItems(['数据合并', '数据拆分'])self.data_type = QLabel()self.data_type.setText('合并/拆分')self.data_combox = QComboBox()self.data_combox.addItems(['按照Sheet拆分'])self.new_file_path = QLineEdit()self.new_file_path.setReadOnly(True)self.new_file_path_btn = QPushButton()self.new_file_path_btn.setText('新文件路径')self.new_file_path_btn.clicked.connect(self.new_file_path_btn_click)self.thread_ = DataThread(self)self.thread_.trigger.connect(self.update_log)self.thread_.finished.connect(self.finished)self.start_btn = QPushButton()self.start_btn.setText('开始数据汇总/拆分')self.start_btn.clicked.connect(self.start_btn_click)form = QFormLayout()form.addRow(self.excels, self.excels_btn)form.addRow(self.oprate_type, self.oprate_combox)form.addRow(self.data_type, self.data_combox)form.addRow(self.new_file_path, self.new_file_path_btn)vbox = QVBoxLayout()vbox.addLayout(form)vbox.addWidget(self.start_btn)hbox = QHBoxLayout()hbox.addWidget(self.brower)hbox.addLayout(vbox)self.setLayout(hbox)

槽函数 update_log，将运行过程通过文本浏览器的方式实时展示，方便查看程序的运行。

  def update_log(self, text):cursor = self.brower.textCursor()cursor.movePosition(QTextCursor.End)self.brower.append(text)self.brower.setTextCursor(cursor)self.brower.ensureCursorVisible()

槽函数 excels_btn_click，绑定到文件加载按钮，处理源文件的加载过程。

 def excels_btn_click(self):paths = QFileDialog.getOpenFileNames(self, '选择文件', os.getcwd(), 'Excel File(*.xlsx)')files = paths[0]path_strs = ''for file in files:path_strs = path_strs + file + ';'self.excels.setText(path_strs)self.update_log('已经完成批文件路径加载！')

槽函数 new_file_path_btn_click，选择新文件要保存的路径。

 def new_file_path_btn_click(self):directory = QFileDialog.getExistingDirectory(self, '选择文件夹', os.getcwd())self.new_file_path.setText(directory)

槽函数 start_btn_click，绑定到开始按钮上，使用开始按钮启动子线程工作。

    def start_btn_click(self):self.start_btn.setEnabled(False)self.thread_.start()

函数 finished，这个函数是用来接收子线程传过来的运行完成的信号，通过判断使子线程执行完成时让开始按钮处于可以点击的状态。

 def finished(self, finished):if finished is True:self.start_btn.setEnabled(True)

下面是最重要的逻辑处理部分，将所有的逻辑处理相关的部分全部放到子线程中去执行。

class DataThread(QThread):trigger = pyqtSignal(str)finished = pyqtSignal(bool)def __init__(self, parent=None):super(DataThread, self).__init__(parent)self.parent = parentself.working = Truedef __del__(self):self.working = Falseself.wait()def run(self):self.trigger.emit('启动批量处理子线程...')oprate_type = self.parent.oprate_combox.currentText().strip()data_type = self.parent.data_combox.currentText().strip()files = self.parent.excels.text().strip()new_file_path = self.parent.new_file_path.text()if data_type == '按照Sheet拆分' and oprate_type == '数据合并':self.merge_data(files=files, new_file_path=new_file_path)elif data_type == '按照Sheet拆分' and oprate_type == '数据拆分':self.split_data(files=files, new_file_path=new_file_path)else:passself.trigger.emit('数据处理完成...')self.finished.emit(True)def merge_data(self, files, new_file_path):num = 1new_file = new_file_path + '/数据汇总.xlsx'writer = pd.ExcelWriter(new_file)for file in files.split(';'):if file.strip() != '':web_sheet = pxl.load_workbook(file)sheets = web_sheet.sheetnamesfor sheet in sheets:sheet_name = sheet.title()self.trigger.emit('准备处理工作表名称：' + str(sheet.title()))data_frame = pd.read_excel(file, sheet_name=sheet_name)sheet_name = sheet_name + 'TO数据合并' + str(num)data_frame.to_excel(writer, sheet_name, index=False)num = num + 1else:self.trigger.emit('当前路径为空，继续...')writer.save()writer.close()def split_data(self, files, new_file_path):num = 1for file in files.split(';'):if file.strip() != '':web_sheet = pxl.load_workbook(file)sheets = web_sheet.sheetnamesfor sheet in sheets:sheet_name = sheet.title()self.trigger.emit('准备处理工作表名称：' + str(sheet.title()))data_frame = pd.read_excel(file, sheet_name=sheet_name)writer = pd.ExcelWriter(new_file_path + '/数据拆分' + str(num) + '.xlsx')data_frame.to_excel(writer, '数据拆分', index=False)writer.save()writer.close()num = num + 1else:self.trigger.emit('当前路径为空，继续...')

上面就是主要的代码块实现过程，有需要的可以参考一下。欢迎大佬在评论区进行留言。

搞了一个程序运行效果图，看一下执行效果。

公众号内回复 "Excel批量数据文件拆分与合并"，获取完整源代码，直接运行即可。

【往期精选】

办公自动化：PDF文件合并器，将多个PDF文件进行合并...

GUI猜数字游戏，直接开玩...

手把手教你做一个数据图表生成器（附源码）...

动态指针时钟：利用pyqt5制作指针钟表显示实时时间

python 日志中最亮的仔，是喜欢的花里胡哨吖...

数据处理小工具：Excel 批量数据文件拆分/整合器...相关推荐

小工具查看MYSQL数据文件块和类型
通过学习姜大师的INNODB 存储引擎,获得了块的格式的标识位,同时看到书上有他自己写的一个工具能够查看数据块的类型, 那么既然知道了标识位,我使用C语言也写了一个功能类似的小工具,不要在生产环境,可 ...
小工具：批量替换文件夹下所有文件内容中的指定词
问题描述: 数据集中的xml信息所标注的文件后缀写错了,应该为jpg,因此需要将所有xml文件的.png修改为.jpg 解决代码: 函数作用:找出某文件夹下的包含指定关键词文件列表,并将关键字修改为目 ...
怎么用excel批量提取文件夹名？
怎么用excel批量提取文件夹名?前段时间我的一个朋友就遇到了这样一个问题,他由于工作的原因,需要用excel批量提取大量文件夹的名称,不知道如何操作.应该有很多小伙伴和我那么朋友一样遇到过那个问题吧 ...
如何用excel批量新建文件夹并命名？
如何用excel批量新建文件夹并命名?这是什么意思呢,假设你在在excel表格里整理了大量的名称,现在需要通过这些名称一次性新建大量的文件夹并命名,你知道如何处理吗?想要快速的新建好文件夹,就需要掌握 ...
如何用excel批量创建文件夹？
如何用excel批量创建文件夹?前几日公司有个同事问我一个问题,他在一个excel表格中准备了200多个文件夹名称,现在需要通过这个excel批量创建文件夹并进行命名,有什么方法可以一次性实现?应该有 ...
根据excel批量归类文件
根据excel批量归类文件首先说下需求: 在一个文件夹中有四千多个文件,这些文件文件名的前六位数是股票代码需要根据excel表中股票代码和产业的对应关系,将这些文件分别归类到对应的产业文件夹中,e ...
使用xlsx.js完成Excel批量数据导入
使用xlsx.js完成Excel批量数据导入直接上代码需要引入的 xlsx.js 文件地址 https://gitcode.net/mirrors/SheetJS/sheetjs/-/blob/m ...
Excel批量解密文件夹下密码一致的文件
Excel批量解密文件夹下密码一致的文件工具下载地址: //download.csdn.net/download/qq_35866846/11990142 代码如下 Option Explicit ...
视频裁剪小工具（批量）
视频裁剪小工具(批量) 一.代码 import csv import os from moviepy.editor import * import logging# 错误日志 logger = log ...

数据处理小工具：Excel 批量数据文件拆分/整合器...

数据处理小工具：Excel 批量数据文件拆分/整合器...相关推荐

最新文章

热门文章