处理100万条数据 python_使用 Python 处理3万多条数据只要几秒钟
应用场景:工作中经常遇到大量的数据需要整合、去重、按照特定格式导出等情况。如果用 Excel 操作,不仅费时费力,还不准确,有么有更高效的解决方案呢?
本文以17个 txt 文本,3万多条数据为例,使用 Python 连接 MySQL 数据库,实现快速操作。
别人加班干的活,我的 Python 小助手几秒钟就搞定了!
本文主要包括以下三方面内容:
数据写入
数据去重
数据导出
将数据写入 MySQL 数据库
下图所示文件是本文的数据源:
我们的设想是:编写一个小程序,扔在这个文件夹里,双击后就可以自动读取每个 txt 文档中的数据,并写入数据库。
代码如下:
import pymysql
import os
conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8')
cur = conn.cursor()
cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));")
conn.commit()
path = os.getcwd()
files = os.listdir(path)
i = 0
for file in files:
f = open(file,'r',encoding = 'UTF-8')
next(f)
for line in f:
i += 1
#print(line)
sql = "insert into qq(qq) values(%s);"
cur.execute(sql,line)
print("插入第", i, "条数据!")
conn.commit()
f.close()
cur.close()
conn.close()
运行效果:
重点代码解释:
这段代码用到了 pymysql 和 os 两个库。
pymysql:用来操作 MySQL 数据库;
os:用来遍历所在文件夹下的所有文件。
现将主要代码解释如下:
1、遍历任意文件夹下所有文件名称
程序写好后,使用 pyinstaller 打包成 exe 程序,并放在要操作的文件夹下面。
通过 path = os.getcwd() 命令,获取该 exe 文件所在目录。
通过 files = os.listdir(path) 命令,获取 exe 文件所在目录下的所有文件名称,并存入 files 列表中。
这样我们就获得了所有的 txt 文件名称,你可以任意命名你的 txt 文件名,程序都能读出来。
2、将数据写入数据库
(1)连接数据库,并在数据库中创建新表
A. 连接到我的 qq 数据库
conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8')
B. 创建新表 qq
在 qq 数据库中创建新表,表名称为 qq ,包含 2 个字段:id 字段为主键、自动递增;qq 字段为字符型,用于存储数据。
cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id))")
(2)将数据写入数据库
这里使用了两层循环:
for file in files:
f = open(file,'r',encoding = 'UTF-8')
next(f)
for line in f:
i += 1
#print(line)
sql = "insert into qq(qq) values(%s);"
cur.execute(sql,line)
print("插入第", i, "条数据!")
conn.commit()
f.close()
第一层循环是用来依次打开上述 17 个 txt 文件。
第二层循环是依次读取每个 txt 文件的每一行,并将改行数据插入数据库表 qq 的 qq字段。
至此就完成了数据的导入,总共32073条数据。
数据清洗
这里以去除重复值为例,简单介绍一下数据清洗。
1、创建一个新表,用来存储清洗后的数据
可以在 cmd 窗口下登陆 MySQL,打开 qq 数据库,执行下列操作:
CREATE TABLE qq_dist ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));
这样就创建了新表 qq_dist ,用来存储清洗后的数据,便于后期调用。
2、清洗数据
登陆 MySQL 后,执行下列操作:
insert into qq_dis(qq) select distinct qq from qq;
将从 qq 表中查找出的不重复的 qq 字段内容,插入到 qq_dist 表中的 qq 字段。
将数据按照特定格式导出
案例:将清洗后的数据的第101-200行导出到新的 txt 文本中。
代码如下:
import pymysql
conn = pymysql.connect(host='localhost', user='root', password='123456', db='wxid', charset='utf8')
print("写入中,请等待……")
cur = conn.cursor()
sql = "select wxid from wd_dis limit 100,100;"
cur.execute(sql)
conn.commit()
alldata = cur.fetchall()
f = open('data101-200.txt','a')
i = 0
for data in alldata:
i += 1
f.write(data[0])
f.flush()
f.close
cur.close()
conn.close()
print("写入完成,共写入{}条数据!".format(i))
重点代码解释:
1、 limit
MySQL 中 limit m,n 函数的含义是:从第 m+1 行开始读取 n 行。
所以,本案例中读取第101-200行,就是 limit 100,100
2、flush()
flush() 函数一定要加上,它可以将缓冲区的数据写入文件中。否则就会出现生成的 txt 文档为空白的错误。
总结
以上所述是小编给大家介绍的使用 Python 处理3万多条数据只要几秒钟,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对python博客网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
处理100万条数据 python_使用 Python 处理3万多条数据只要几秒钟相关推荐
- python中有这样一条语句_在Python中一行书写两条语句时,语句之间可以使用__________作为分隔符。_学小易找答案...
[填空题]Python表达式4.5/2.4.5//2和4.5%2的值分别为__________________________. [填空题]我国古代文献中所记载的最早的学校类型有两种,分别是 和 . ...
- python读取网络端口数据_在Python中从SNMP端口获取数据
我专门尝试使用PySNMP库从python中的SNMP端口读取数据.我有兴趣仅通过此库获取数据.这是因为我正在从NetSNMP迁移到PySNMP. 这是我为NetSNMP编写的工作代码,它实际上为我提 ...
- python处理行情数据_利用Python脚本来获取期货行情数据
因为自己最近在学习做期货交易,想要下载期货的行情数据来做分析.有一些交易软件是可以导出数据的,但是导出的过程还是需要很多的手工操作,自己在想能不能通过Python程序来实现呢. 新浪期货数据接口介绍 ...
- 利用python爬取58同城简历数据_利用python爬取58同城简历数据-Go语言中文社区
利用python爬取58同城简历数据 最近接到一个工作,需要获取58同城上面的简历信息(http://gz.58.com/qzyewu/).最开始想到是用python里面的scrapy框架制作爬虫.但 ...
- python从文件中读取数据_【Python】从文件中读取数据
从文件中读取数据 1.1 读取整个文件 要读取文件,需要一个包含几行文本的文件(文件PI_DESC.txt与file_reader.py在同一目录下) PI_DESC.txt 3.1415926535 ...
- 用python处理文本数据_用Python读取几十万行文本数据
我在使用python读取几十万行的文件中的数据,并构造字典,列表等数据结构时,再访问字典,列表时,一般都会出现内存不够的问题,然后只能循环读取几百行或者一定数量的行数来循环操作. keyword_li ...
- python从列表随机取出多个数据_【python】从数组随机取数据
在神经网络中,经常会用到批量样本训练.我们需要从数组随机取数据,主要有以下几种方法: 1.np.random.shuffle:将原数组打乱 import numpy as np array = np. ...
- python二进制文件 删除尾部数据_在Python中读取和切片二进制数据文件的最快方法...
我有一个处理脚本,用于提取"uint16"类型的二进制数据文件,并一次以6400块的形式进行各种处理.该代码最初是用Matlab编写的,但由于分析代码是用 Python编写的,我们 ...
- python操作数据库及并封装数据库函数
python操作数据库及并封装数据库函数 目录 python操作数据库及并封装数据库函数 一.前提 1.pyton连接数据库需要先安装pymysql模块: 2.安装完成后导入pymysql模块: 二. ...
最新文章
- jnotify监控linux系统,jnotify linux使用记录
- 《预训练周刊》第12期:无注意力变换器、借蛋白质语言模型论进化速度
- matplotlib 和 pandas 两个包的安装
- Android NDK JNI 简单例子2
- swift自行车品牌介绍_品牌101:简介
- uni-app微信小程序uni.navigateTo跳转无效问题;记录一次uni-app页面跳转无效,来回跳转问题;wx.navigateTo ,跳转超过10次怎么点不动的解决办法。
- js 获取URL参数乱码解决
- Proliant server setup redhat7.1(DL560)
- 解决hibernate只能插入一条数据的问题
- 网站打不开数据库错误等常见问题解决方法
- EasyUI入门—Layout布局
- 如果能重来,我不会选择北漂——初见北京
- 官宣:两校合并,落户省会!
- 因果推理(五):随机试验和可识别
- Lua程序设计 | 模块和包、泛型迭代器和for、元表和元方法
- 野田圣子、希尔顿、松下幸之助,都喝过马桶水吗? .
- 测试术语-bug分类
- 假如我有一台新电脑, 我要做些什么?
- AVOS Cloud Hackathon - SegmentFault
- 几款三维模型OSGb转换3dtile格式的软件
热门文章
- ncurses关于颜色系统:start_color(),has_colors(),init_pair(),color_content(),pait_content()
- Java的native方法返回数组return Array(C语言)
- 信号完整性与电源完整性分析_电源完整性,信号完整性,你说哪个更重要一点?...
- python路径设置方法,R不转义,以及r转义出错SyntaxError
- 京东java开发面经_面经|京东技术中台Java开发面经
- web前端基础(05htmlimg标签和滚动标签)
- 多重背包单调队列优化思路_多重背包问题
- java难度_你们觉得java难吗?
- linux字符模式分辨率grub2,Deepin 15.8系统Grub菜单分辨率低的原因及解决方案
- 在C#中使用JSON