python对5万多行的excel进行数据统计

编写各种统计类型的函数
1、创建被引用文件：excel_page.py文件，内容如下图，excel表格中要有索引列，自行添加，此处的索引列名称为index

import xlrd
from collections import defaultdict, Counterclass ExcelData:# 指定excel文件位置及索引列的名字def __init__(self, xlsx_path, index_col='index'):workbook = xlrd.open_workbook(xlsx_path)self.worksheet = workbook.sheet_by_index(0)self.nrows = self.worksheet.nrowsself.ncols = self.worksheet.ncolsself.index_col = index_col# 返回对应列的数据为listdef get_col_by_name(self, col_name):try:index = self.worksheet.row_values(0).index(col_name)except BaseException:return None# 返回列list,去除列名return self.worksheet.col_values(index)[1:]# 对指定的列进行数据计数及统计def col_count(self, col_name):col_values = self.get_col_by_name(col_name)if not col_values:r = Noneelse:r = Counter(col_values)dict_r = dict(r)list_r = list(r)return r, sum(dict_r.values()), len(list_r)# 对固定的列的值求和(当数据达到5万多条时，性能有待改进，1万左右的数据还可以接受)def index_col_sum(self, col_name):s = defaultdict(float)for i in range(self.nrows - 1):# 字典求和s[self.get_col_by_name(self.index_col)[i]] += float(self.get_col_by_name(col_name)[i])return s, round(sum(s.values()), 2)

备注：mac版 excel 中存在大量数据时，添加索引列可以通过开始 -> 填充 -> 系列 ->输入起始值和终止值，确定即可

2、创建运行文件：excel.py，并引用刚刚的自定义库

# -*-coding:utf-8 -*-
# @Time :2021/6/21 10:24 AM
# @Author :lixiaoyan
# @File:excel.pyfrom PageObjects.excel_page import *# 打开指定路径中的xls文件，得到book对象
xlsx_file = "/Users/lixiaoyan/Downloads/2020全路网.xlsx"
excel = ExcelData(xlsx_file)# 页面元素： 1、管养单位数     2、路段总数   3、行政区划分数
# col_name: 1、管养单位名称   2、路段代码   3、路段所在行政区域
col_count = excel.col_count('管养单位名称')
print(col_count)

最终输出结果如下：

python对5万多行的excel进行数据统计相关推荐

Python按行打乱Excel表格数据
因做数学建模比赛,需要打乱训练数据,于是用python写了个简单的小程序,作用就是按行打乱Excel表格. 先说一下需要使用的第三方库openpyxl Openpyxl是一个用于读写Excel 201 ...
实战 | 用Python爬取《云南虫谷》3.6万条评论，并做数据统计可视化展示分析，好看！...
最近鬼吹灯系列网剧<云南虫谷>上线,作为鬼吹灯系列作品,承接上部<龙岭迷窟>内容,且还是铁三角原班人马主演,网友直呼非常好看! 今天,我们就用Python爬取目前全部剧集的评论 ...
python表格多列合并_python 合并excel表格数据-如何用python从excel中同时提取两个列的数据，并生成dict（用xlrd）...
用Python导出工程文件两个子页里的数据成为两个excel表格,但我想把它合并成个一个excel表格的两个sheet 可以采用一些操作Excel块去实现,比如xlrd.xlwt.openpyxl.x ...
实战|用Python爬取《云南虫谷》3.6万条评论，并做数据统计可视化展示分析，好看！
大家好,我是才哥. 最近鬼吹灯系列网剧<云南虫谷>上线,作为鬼吹灯系列作品,承接上部<龙岭迷窟>内容,且还是铁三角原班人马主演,网友直呼非常好看! 今天,我们就用Python爬 ...
python自动化表格截图_python自动化操作——excel刷新数据并截图发送微信
1 importos2 importwin32gui, win32api, win32con, win32com3 from win32com.client importDispatch4 from ...
python读取csv某些行_【Python】Python 读取csv的某行或某列数据
站长用Python写了一个可以提取csv任一列的代码,欢迎使用. Github链接 csv是Comma-Separated Values的缩写,是用文本文件形式储存的表格数据,比如如下的表格: 就可以 ...
Python+pywin32批量读取带密码的Excel文件数据导出为CSV文件
好消息:"Python小屋"编程比赛正式开始推荐图书: <Python程序设计(第3版)>,(ISBN:978-7-302-55083-9),董付国,清华大学出版社, ...
python 笔记将一个log文件转换成excel提取数据保存
a = [x + 2 if x%2==0 else x -5 for x in range(1,50)] print(a)b = [x**2 for x in range(1,50) if x % 2 ...
PYTHON编程导论群【提问与解惑】数据统计
第一周 # 第一周 import matplotlib.pyplot as plt import seaborn as sns plt.rcParams['font.family'] = ['SimH ...
python读取20万数据Excel文件+拆分数据
python读取20万数据Excel文件使用普通的pandas读取Excel,再结合xlrd读取,可能会读取的Excel数据会不全,最多只能读取到65535+行的数,如果读取超大excel数据时就读 ...

python对5万多行的excel进行数据统计

python对5万多行的excel进行数据统计相关推荐

最新文章

热门文章