python写xml文件 数据量特别大_python处理xml大文件[xml.sax]
博客已迁移, 新地址
=====================
今天遇到大文件处理,使用dom占用资源太多,改用sax处理
dom和sax区别可以自己google下
需求:读取xml数据文件,文件较大,需要实时处理插入到数据库
使用到的包:xml.sax
xml文件格式:
100000
男
北京,海淀区437
1989
333
242
null
大学
1
2月14日
xml.sax
处理时并不会像dom一样可以以类似节点的维度进行读取
它只有 开始标签 内容 结束标签 之分
处理思想是:通过一个handler,对开始标签,内容,结束标签各有一个处理函数
直接上代码+注解
#person 处理类
from xml.sax import handler,parseString
class PersonHandler(handler.ContentHandler):
def __init__(self, db_ops):
#db op obj
self.db_ops = db_ops
#存储一个person的map
self.person = {}
#当前的tag
self.current_tag = ""
#是否是tag之间的内容 ,目的拿到tag间内容,不受空白的干扰
self.in_quote = 0
#开始,清空map
def startElement(self, name, attr):
#以person,清空map
if name == "person":
self.person = {}
#记录 状态
self.current_tag = name
self.in_quote = 1
#结束,插入数据库
def endElement(self, name):
#以person结尾 代表读取一个person的信息结束
if name == "person":
#do something
in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])
print in_sql % in_fields
db_ops.insert( in_sql%(in_fields))
#处理
self.in_quote = 0
def characters(self, content):
#若是在tag之间的内容,更新到map中
if self.in_quote:
self.person.update({self.current_tag: content})
最后加上插入数据库的部分
#!/usr/bin/python
# -*- coding:utf-8 -*-
#parse_person.py
#version : 0.1
#author : wukunliang@163.com
#desc : parse person.xml and out sql
import sys,os
import MySQLdb
reload(sys)
sys.setdefaultencoding('utf-8')
in_sql = "insert into person(id,sex,address,fansNum,summary,wbNum,gzNum,blog,edu,work,renZh,brithday) values(%s, %s, %s, %s, %s, %s,
%s, %s, %s, %s, %s, %s)"
fields = ("id","sex","address","fansNum","summary","wbNum","gzNum","blog","edu","work","renZh","brithday")
#数据库方法
class Db_Connect:
def __init__(self, db_host, user, pwd, db_name, charset="utf8", use_unicode = True):
print "init begin"
print db_host, user, pwd, db_name, charset , use_unicode
self.conn = MySQLdb.Connection(db_host, user, pwd, db_name, charset=charset , use_unicode=use_unicode)
print "init end"
def insert(self, sql):
try:
n = self.conn.cursor().execute(sql)
return n
except MySQLdb.Warning, e:
print "Error: execute sql '",sql,"' failed"
def close(self):
self.conn.close()
#person 处理类
from xml.sax import handler,parseString
class PersonHandler(handler.ContentHandler):
def __init__(self, db_ops):
#db op obj
self.db_ops = db_ops
#存储一个person的map
self.person = {}
#当前的tag
self.current_tag = ""
#是否是tag之间的内容
self.in_quote = 0
#开始,清空map
def startElement(self, name, attr):
#以person,清空map
if name == "person":
self.person = {}
#记录 状态
self.current_tag = name
self.in_quote = 1
#结束,插入数据库
def endElement(self, name):
#以person结尾 代表读取一个person的信息结束
if name == "person":
#do something
in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])
print in_sql % in_fields
db_ops.insert( in_sql%(in_fields))
#处理
self.in_quote = 0
def characters(self, content):
#若是在tag之间的内容,更新到map中
if self.in_quote:
self.person.update({self.current_tag: content})
if __name__ == "__main__":
f = open("./person.xml")
#如果源文件gbk 转码 若是utf-8,去掉decode.encode
db_ops = Db_Connect("127.0.0.1", "root", "root", "test")
parseString(f.read().decode("gbk").encode("utf-8"), PersonHandler(db_ops))
f.close()
db_ops.close()
平时拿python来分析数据,工具脚本还有hadoop streamming,但是用的面和深度实在欠缺
只能说道行还浅,需要多多实践
The end!
python写xml文件 数据量特别大_python处理xml大文件[xml.sax]相关推荐
- python写xml文件 数据量特别大_python中大型xml文件的并行处理
我有几个正在解析的大型xml文件(提取一些数据子集并写入文件),但是每个文件都有很多文件和大量记录,所以我尝试并行化.在 首先,我有一个生成器从文件中提取记录(这很好):def reader(file ...
- java导出文件大数据量一种处理思路:多文件压缩导出
java导出文件大数据量一种处理思路:多文件压缩导出:1,查询的时候分页查询确定总的文件个数:totalExcel; 总条数:count; 单个excel设定的行数:SINGLE_EXCEL_NUM; ...
- 当txt文件或者sql文件数据量太大,无法打开时,可以通过Emeditor这个编辑器打开
当txt文件或者sql文件数据量太大,无法打开时,可以通过Emeditor这个编辑器打开,进行处理和编辑. Emeditor 这个软件,可以在占用小部分内存的情况下,快速打开,数据量大的txt或者sq ...
- bat脚本中获取上级目录_使用Python写一个可以监控Tomcat 运行的脚本,并且把.py文件转换成.exe文件...
使用Python写一个可以监控Tomcat 运行的脚本,并且把.py文件转换成.exe文件 文章来源与博主本人的CSDN博客,博客地址:https://blog.csdn.net/weixin_435 ...
- 用python写一个变声器,要求导入mp4或者mp3文件,将视频中的声音变成女声
用python写一个变声器,要求导入mp4或者mp3文件,将视频中的声音变成女声 1.安装 pydub 库 2.然后可以使用以下代码导入 mp4 或 mp3 文件并将其变成女声: 1.安装 pydub ...
- 【机器学习算法实践】lightGBM将可解释的机器学习实现工业落地,小数据量机器学习就够了,大数据量还得深度学习。推荐看论文进行理解,boosting方法有残差的感觉了
LightGBM是2017年由微软推出的可扩展机器学习系统,是微软旗下DMKT的一个开源项目,由2014年首届阿里巴巴大数据竞赛获胜者之一柯国霖老师带领开发.它是一款基于GBDT(梯度提升决策树)算法 ...
- Python pandas导excel数据量太大报错问题
开发环境 MySQL 10.1.38-MariaDB-1~bionic Python3.7.8 开发工具 PyCharm2018.1 SmartGit18.1 Navicat15.0.28 问题描述 ...
- python从csv读取数据到网页输入框_python中怎么把csv文件读取的数据显示在网页上...
python的标准库csv库主要是面向本地文件,就是说你的CSV文件得存储在你的电脑上.当进行网络数据采集的时候,很多文件都是在线的.不过有一些办法可以解决这个问题: 1,手动把CSV文件下载到本机, ...
- python 从地址获取数据失败怎么解决_python面试题大全
1. (1)python下多线程的限制以及多进程中传递参数的方式 python多线程有个全局解释器锁(global interpreter lock),这个锁的意思是任一时间只能有一个线程使用解释器, ...
最新文章
- centos下ftp接受/发送文件
- 【风控体系】互联网反欺诈体系漫谈
- 2021算法竞赛入门班第七节课【图论】练习题
- SQLite学习手册(锁和并发控制)
- Java、JS、OC、Flutter的Base64编码和解码
- 小米12能效有望显著提升:骁龙8 Gen1功不可没
- 阶段1 语言基础+高级_1-3-Java语言高级_06-File类与IO流_09 序列化流_1_序列化和反序列化的概述...
- eclipse mysql tomcat,java+eclipse+tomcat+mysql+jdbc
- 【C语言】08-数组
- 应用随机过程——张波
- python bin文件转换成txt文件
- 自己动手打造 mini 型 QQ (二):从局域网到互联网的 miniQQ
- elasticsearch 使用词干提取器处理英语语言
- 给要入门量化分析的人一些建议(转)
- Unity 草的制作
- 做跨境人人都是天秤座,三个月都没能建起一个店铺
- linux 多点触摸屏测试,c – Linux中的多点触控
- IEC60958和IEC61937
- 爬取获取邮箱内容QQ邮箱or163邮箱
- 群发短信平台哪个好?推荐阿里云短信平台
热门文章
- Backend(Server)
- SecureCRT自动打印日志
- “牌面”养成记10:打好牌,从做好这60件事开始[下]
- 2020ICPC南京区域赛 补题 总结
- 2018-07-11CROSS JOIN+INNER JOIN+LEFT JOIN+RIGHT JOIN
- RT-Thread进阶笔记之网络框架
- 丢失修改与数据库的一致性
- 笔记-高通处理器的备份还原QCN的一点个人分享
- 【报告分享】2021上半年热搜榜趋势报告-新浪微博(附下载)
- python通达信股票分价表数据_通达信指标——分价图(主图)