将sqlite查询结果导入到文本文件
2019独角兽企业重金招聘Python工程师标准>>>
下班前接到一个需求,要将sqlite数据库中的某个字段导出保存到一个文本中,数据大概有1000w左右,于是我就写了一个python脚本,来做这个事情。
#!/usr/xxx/bin/pythonimport os,sys
import sqlite3
import loggingsys.path.append('.')
# logger configure
logger = logging.getLogger()
handler = logging.FileHandler('/home/admin/tmp/xxx.txt')
logger.addHandler(handler)
logger.setLevel(logging.NOTSET)sqlfile_path = '/home/admin/tmp/user.sql'def write_to_file(guid):total_count = get_total_count(guid)page_size = 10000offset_num = 0op_num = 0while op_num < total_count:array_list = get_data([guid,page_size,op_num])offset_num = offset_num + 1op_num = offset_num * page_sizefor n in array_list:logger.info(n)def get_total_count(guid):conn = sqlite3.connect(sqlfile_path)cur = conn.cursor()cur.execute('select count(*) from table_name where id = \'' + guid + '\'')try:count = cur.fetchone()[0]except:count = 0cur.close()conn.close()return countdef get_data(item):conn = sqlite3.connect(sqlfile_path)cur = conn.cursor()cur.execute('select name from table_name where id = \'' + item[0] + '\' limit ' + item[1] + ' offset ' + item[2])array_list = []for r in cur.fetchall():array_list.append(r[0])cur.close()conn.close()return array_listif '__maiin__' == __name__:for guid in ['123456789','987654321']:write_to_file(guid)
考虑到数据还是有一点大的,所以就每次查询10000条操作,写完后运行起来,然后我就下班走人了,第二天上班发现这个脚本居然还在跑着,一晚上还没有结束。那叫一个头疼啊。。。 这不是 GC 。
既然这么慢,那我就慢慢等吧,然后开始做其他事情去了,GC来了,兄弟我在测试其他程序的时候,一个不小心,在运行脚本的时候,把python脚本跑出来的文本给删了,连python脚本也一起全删了,当我意识过来的时候,泪流满面啊。。。
就在我沮丧的时候,旁边一同学问了我情况,然后默默的给了我一行代码:
sqlite3 user.sql "select name from table_name where id = '123456789'" >> xxx.txt
之后十分钟,数据全导出来了,效率真TM高。
PS:
python脚本可以用多线程处理,能提高效率,由于时间短,我就没去做,而且兄弟我对pyton也不是很熟悉
希望高人多多指点,有任何可以改进的地方,多多给小弟我指点吧,拍砖的也热烈欢迎。
共同提高,谢谢
转载于:https://my.oschina.net/u/244775/blog/85285
将sqlite查询结果导入到文本文件相关推荐
- android用于查询数据的方法,android: SQLite查询数据
掌握了查询数据的方法之后,你也就将数据库的 CRUD 操 作全部学完了.不过千万不要因此而放松,因为查询数据也是在 CRUD 中最复杂的一种 操作. 我们都知道 SQL 的全称是 Structured ...
- python怎么输出结果_如何在python中打印SQLite查询的结果?
我试图打印这个SQLite查询的结果来检查它是否已经将数据存储在数据库中.目前它只打印None.有没有办法在Microsoft Word或LibreOffice等程序中打开数据库.只是为了看看它是否已 ...
- Android SQLite数据库导出/导入Excel
Android SQLite数据库导出/导入Excel 前言 框架 使用方法 添加依赖 声明权限 导出数据库到Excel 声明实例 配置导出内容 导出监听 导入Excel到数据库 声明实例 导入监听 ...
- sqlite查询数据库去除重复记录
sqlite查询数据库去除重复记录: select *, count(distinct 字段名) from 表明 where 字段名1 = '条件' group by 字段名
- sqlite导出数据 导入 mysql/PbootCMS mysql/mysql 8.0
环境 1.Server version: 8.0.21 MySQL Community Server - GPL 2.PBooyCMS 3 3.sqlite数据转移到mysql 问题描述 由于mysq ...
- sqlite的数据导入 导出
数据导入的来源可以是其他应用程序的输出,也可以是指定的文本文件,这里采用指定的文本文件. 1. 首先,确定导入的数据源,这里是待导入的,按固定格式的文本文件. 2. 然后,依照导入的文件格式,确 ...
- Android SQLite 文件的导入导出
首先,说一下,在导入文件之前需做好的准备工作以避免乱码现象的出现 将test.csv文件以记事本的方式打开,将第一行数据删除,在另存为的下方选择编码方式UTF-8,按照下述步骤即可完成文件的导入问题. ...
- Android SQLIte 介绍 及 导入db文件到app的/data目录时手机需要root
一.关系型数据库SQLIte 每个应用程序都要使用数据,Android应用程序也不例外,Android使用开源的.与操作系统无关的SQL数据库-SQLite.SQLite第一个Alpha版本诞生于20 ...
- Swift 中使用 SQLite——查询数据
本文主要介绍如何查询 SQLite 结果集,以及封装 SQLite 的操作方法. 准备测试代码 /// 从数据库中加载 person 数组 class func persons() -> [Pe ...
最新文章
- 工作经验到底是个什么东东?工作经验从哪里来?
- 斯坦佛编程教程-Unix编程工具(二)
- Python setup.py开发与安装
- Android安全加密:非对称加密
- 怎么样Windows7在配置ASPserverIIS
- VTK:可视化之ProjectSphere
- Java基础总结(一)
- 为什么GEO2R/GEOquery的结果可能是错的?
- Java工作笔记-JPA中Repository新增自定义更新操作
- Qt: 非阻塞时间延迟;
- Tomcat 端口被javaw.exe占用 有效解决方法
- TiDB2.1 报错statement count 5001 exceeds the transaction limitation, autocommit = false
- 如何防止亚马逊账号关联的一些建议值得卖家们收藏?
- 2021上半年,计算机考研大学热搜排名!
- 福建力得温控器_福建力得干变温控器LD-B10-10D、LD-B10-10F、LD-B10-10E系列高精度变压器温度控制器...
- 由圆上三点确定圆心和半径(附PythonMatlab程序)
- javascript可以直接比较时间字符串的大小
- VIP服务器间转送文件,vip服务器
- mac外接显示器 竖屏 黑苹果_Surface Pro6黑苹果外接显示器开启原生HiDPi显示效果...
- 什么是ABCDMIX?