python抓取数据库数据封装成json_用Python将mysql数据导出成json的方法

1、相关说明

此脚本可以将Mysql的数据导出成Json格式，导出的内容可以进行select查询确定。

数据传入参数有：dbConfigName, selectSql, jsonPath, fileName。

依赖的库有：MySQLdb、json，尤其MySQLdb需要事先安装好。

2、Python脚本及测试示例

/Users/nisj/PycharmProjects/BiDataProc/oldPythonBak/mysqlData2json.py

# -*- coding=utf-8 -*-

import MySQLdb

import warnings

import datetime

import sys

import json

reload(sys)

sys.setdefaultencoding('utf8')

warnings.filterwarnings("ignore")

mysqlDb_config = {

'host': 'MysqlHostIp',

'user': 'MysqlUser',

'passwd': 'MysqlPass',

'port': 50512,

'db': 'Tv_event'

}

today = datetime.date.today()

yesterday = today - datetime.timedelta(days=1)

tomorrow = today + datetime.timedelta(days=1)

def getDB(dbConfigName):

dbConfig = eval(dbConfigName)

try:

conn = MySQLdb.connect(host=dbConfig['host'], user=dbConfig['user'], passwd=dbConfig['passwd'],

port=dbConfig['port'])

conn.autocommit(True)

curr = conn.cursor()

curr.execute("SET NAMES utf8");

curr.execute("USE %s" % dbConfig['db']);

return conn, curr

except MySQLdb.Error, e:

print "Mysql Error %d: %s" % (e.args[0], e.args[1])

return None, None

def mysql2json(dbConfigName, selectSql, jsonPath, fileName):

conn, curr = getDB(dbConfigName)

curr.execute(selectSql)

datas = curr.fetchall()

fields = curr.description

column_list = []

for field in fields:

column_list.append(field[0])

with open('{jsonPath}{fileName}.json'.format(jsonPath=jsonPath, fileName=fileName), 'w+') as f:

for row in datas:

result = {}

for fieldIndex in range(0, len(column_list)):

result[column_list[fieldIndex]] = str(row[fieldIndex])

jsondata=json.dumps(result, ensure_ascii=False)

f.write(jsondata + '\n')

f.close()

curr.close()

conn.close()

# Batch Test

dbConfigName = 'mysqlDb_config'

selectSql = "SELECT uid,name,phone_num,qq,area,created_time FROM match_apply where match_id = 83 order by created_time desc;"

jsonPath = '/Users/nisj/Desktop/'

fileName = 'mysql2json'

mysql2json(dbConfigName, selectSql, jsonPath, fileName)

以上这篇用Python将mysql数据导出成json的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

python抓取数据库数据封装成json_用Python将mysql数据导出成json的方法相关推荐

python抓取网站乱码_如何使用Python抓取网站
python抓取网站乱码 by Devanshu Jain 由Devanshu Jain It is that time of the year when the air is filled with ...
python 抓取电脑界面_学会了Python，我的人生跟开挂一样
当代职场年轻人的抑郁,有千百种. 一边是加不完的班.完不成的KPI.大把掉落的头发,一边是今年严峻的就业形势,职场人面临的工作压力可想而知. 忙碌的生活不仅磋磨了锐气,也让人觉得,自己仿佛永远没有真正 ...
python爬取pdf教程_#如何利用Python抓取PDF中的某些内容#python爬取pdf教程
如何利用Python抓取PDF中的某些内容学生每天要学习,工作者要工作,家庭主妇每都要务.不论做什么,都有着相应的操作流同样就会有操作技巧.学生运用技巧学习才不会累,学得还会更快更多:工作者掌握技巧 ...
python抓取数据库数据_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储...
Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...
用python抓取淘宝相关产品的价格及销量数据
淘宝反爬策略: 使用selenium的webdriver模块伪装成浏览器,然后再用 ActionChains模块模拟整个滑动滑块解锁的过程,成功登陆淘宝账号,抓取数据并写入excel. from se ...
python抓取数据库_Python-7.爬取大量数据存入数据库
本章包含内容: 前言 mongodb环境配置爬取数据的代码分析一.前言在更新完上一篇python文章时,就一直想爬取一个10万量级的数据.在解了mongodb的基本用法和环境配置后,第一次测试的 ...
使用python抓取落网期刊图片
使用python抓取落网期刊图片虽然使用python开发也将近两年了,但工作中使用python更多处理业务逻辑,数据加工等,难免有些枯燥.乏味.一直听闻python在web数据爬取.数据分析上有无可 ...
python数据分析实例:python抓取课工厂网站数据和分析
在线教育网站学习,是很多人利于闲余时间进行充电的一种选择.本篇文章利用python抓取在线教育网站课工场课程页面的数据,进行简要分析. 通过使用requests库对课工场课程列表页进行抓取. 通过Be ...
python 搜索引擎_利用Python抓取搜索引擎结果
前一段时间一直在研究如何用python抓取搜索引擎结果,在实现的过程中遇到了很多的问题,我把我遇到的问题都记录下来,希望以后遇到同样问题的童鞋不要再走弯路. 1. 搜索引擎的选取选择一个好的搜索引擎 ...

python抓取数据库数据封装成json_用Python将mysql数据导出成json的方法

python抓取数据库数据封装成json_用Python将mysql数据导出成json的方法相关推荐

最新文章

热门文章