python导出百万数据到excel_Python 批量插入100万级数据到Excel文件(简洁版)

引言

python是一门开发语言，可以用来写大型项目，也可以用来写脚本，比如自动化脚本，也可以用来写工具。

背景

我们平时做测试，不一定做自动化测试才用去python，做功能测试，也就是点点点，也可以把它用起来。

比如，我现在页面有一个功能，导入的功能，我想测它最大支持多少数据量导入，或者说多大的文件导入，那么我们得在excel中写入很多条数据(导入模板是xls,xlsx)。

如果是自己手一条一条去弄，显然不现实，数据量不多还好，如果是100万呢，500万呢，1000万呢....

那么，这个时候可以利用python写个脚本，一秒生成百万级+的excel文件。

案例实现

我就将我实际项目遇到的情况拿出来讲。

背景：

1、导入功能；

2、导入模板excel；

3、导入数据格式，两列数据，数据格式不限制。

根据需求，我想测这个导入支持多大的数据量以及达到最大的时候，页面提示什么信息，是报错，还是温馨提示呢？那么就得写这样的一个向excel批量插入数据的脚本：

from xlwt import Workbook

#创建一个工作簿

w = Workbook()

#创建一个工作表

ws = w.add_sheet('1')

# 计数

count = 0

# 行数

link_nums = 5000

for j in range(0,2): #控制列

for i in range(0, link_nums): #控制行

count += 1

if(j == 0): #第一列

ws.write(i, j, i)

if(j == 1):

ws.write(i,j,i)

print("总共生成(单元格): %s数据"%count)

print("总共生成: %s条数据"%link_nums)

w.save('xqtest.xls')

运行结果：

总共生成(单元格): 10000数据

总共生成: 5000条数据

Process finished with exit code 0

打开excel文件查看：

运行时长：

总共生成(单元格): 10000数据

总共生成: 5000条数据

Running time: 7.293443303871468e-07 Seconds

Process finished with exit code 0

拿着生成的excel文件，操作导入，结果报错：

然后测试了这个导入功能，果然是有bug，已经反馈给开发修改了。

总结

方法基本上就是这样，具体根据自己业务需要进行设计。

另外，对测试开发，自动化测试，全栈测试相关技术感兴趣的朋友，可以加入到群里学习和探索交流，进群方式，扫下方二维码。

python导出百万数据到excel_Python 批量插入100万级数据到Excel文件(简洁版)相关推荐

一分钟内向数据库中批量插入100万数据
罗列一下三种插入方式: 1.动态SQL拼接批量插入一万条数据:4.7s @Testpublic void dynamicSql() {List<NotifyRecordEntity> n ...
教你急速快速批量插入1000万条数据到mysql数据库表面试题
急速快速批量插入1000万条数据到mysql数据库表面试题教你急速快速批量插入1000万条数据到mysql数据库表&面试题我用到的数据库为,mysql数据库5.7版本的 1.首先自己准备好 ...
python自动下载邮件附件_Python批量下载电子邮件附件并汇总合并Excel文件
原标题:Python批量下载电子邮件附件并汇总合并Excel文件前几天在公众号搞了一波送书活动,详见福利:免费赠送240本Python教材,该文推送之后,立刻收到了大量的样书申请表,那么接下来的工作 ...
mybatis批量插入10万条数据的优化过程
在使用mybatis插入大量数据的时候,为了提高效率,放弃循环插入,改为批量插入,mapper如下: package com.lcy.service.mapper;import com.lcy.ser ...
向Mysql批量插入50万条数据
>批量插入数据脚本表Sql: CREATE TABLE dept( id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, deptno MEDIUMINT U ...
插入2万调数据耗时_教你如何6秒钟往MySQL插入100万条数据!然后删库跑路！
一.思路往MySQL中插入1000000条数据只花了6秒钟! 关键点: 1.使用PreparedStatement对象 2.rewriteBatchedStatements=true 开启批量插入, ...
ORACLE使用批量插入100万测试数据
CREATE TABLE test_data (ID varchar2(32),NAME1 varchar2(9),NAME2 varchar2(100),NAME3 varchar2(100) ); ...
sql server批量插入数据库的操作100万条数据
1.数据库中首先创建表->连接数据库->通过循环插入数据 2.建立测试表在这里插入代码[c-sharp] view plain copy --Create DataBase creat ...
批量往mysql里面插入1000万条数据_绝对干货，教你4分钟插入1000万条数据到mysql数据库表，快快进来...
我用到的数据库为,mysql数据库5.7版本的 1.首先自己准备好数据库表其实我在插入1000万条数据的时候遇到了一些问题,现在先来解决他们,一开始我插入100万条数据时候报错,控制台的信息如下: ...
4分钟插入1000万条数据到mysql数据库表
准备工作我用到的数据库为,mysql数据库8.0版本的,使用的InnoDB存储引创建测试表 CREATE TABLE `product` (`id` int NOT NULL AUTO_INCRE ...

python导出百万数据到excel_Python 批量插入100万级数据到Excel文件(简洁版)

python导出百万数据到excel_Python 批量插入100万级数据到Excel文件(简洁版)相关推荐

最新文章

热门文章