Python迁移MySQL数据到MongoDB脚本

　　MongoDB是一个文档数据库，在存储小文件方面存在天然优势。随着业务求的变化，需要将线上MySQL数据库中的行记录，导入到MongoDB中文档记录。

一、场景：线上MySQL数据库某表迁移到MongoDB，字段无变化。

二、Python模块：

使用Python的torndb,pymongo和time模块。

*注释：首先安装setup.py,pip,MySQLdb

执行如下命令即可：

pip install torndb

pip install pymongo

三、脚本内容如下：

[root ~]#cat nmytomongo.py

#!/usr/bin/env python#fielName: mytomongo.py#Author:xkops#coding: utf-8import torndb,pymongo,time# connect to mysql databasemysql = torndb.Connection(host='127.0.0.1', database='database', user='username', password='password')#connect to mongodb and obtain total lines in mysqlmongo = pymongo.MongoClient('mongodb://ip').databasemongo.authenticate('username',password='password')countlines = mysql.query('SELECT max(table_field) FROM table_name')count = countlines[0]['max(table_field)']

#count = 300print count

i = 0 j = 100start_time = time.time()#select from mysql to insert mongodb by 100 lines.for i in range(0,count,100):    #print a,b    #print i    #print 'SELECT * FROM quiz_submission where quiz_submission_id > %d and  quiz_submission_id <= %d' %(i,j)    submission = mysql.query('SELECT * FROM table_name where table_field > %d and  table_field <= %d' %(i,j))    #print submission     if submission:        #collection_name like mysql table_name        mongo.collection_name.insert_many(submission)    else:        i +=100        j +=100        continue    i +=100    j +=100end_time = time.time()deltatime = end_time - start_timetotalhour = int(deltatime / 3600)totalminute = int((deltatime - totalhour * 3600) / 60)totalsecond = int(deltatime - totalhour * 3600 - totalminute * 60)#print migrate data total time consuming.print "Data Migrate Finished,Total Time Consuming: %d Hour %d Minute %d Seconds" %(totalhour,totalminute,totalsecond)

*注释：按照自己的需求更改上述代码中的数据库地址，用户，密码，库名，表名以及字段名等。

四、执行迁移脚本:

[root ~]#python nmytomongo.py &> /tmp/migratelog.txt &

脚本执行完成后查看/tmp/migratelog.txt数据迁移消耗的时间。

转载于:https://www.cnblogs.com/xkops/p/5442117.html

Python迁移MySQL数据到MongoDB脚本相关推荐

python脚本迁移数据库_Python迁移MySQL数据到MongoDB脚本
MongoDB是一个文档数据库,在存储小文件方面存在天然优势.随着业务求的变化,需要将线上MySQL数据库中的行记录,导入到MongoDB中文档记录. 一.场景:线上MySQL数据库某表迁移到Mong ...
python做mysql数据迁移_Python中MySQL数据迁移到MongoDB脚本的方法
MongoDB简介 MongoDB 是一个基于分布式文件存储的数据库.由 C++ 语言编写.旨在为 WEB 应用提供可扩展的高性能数据存储解决方案. MongoDB 是一个介于关系数据库和非关系数据库 ...
mongodb 导出到sqlserver_迁移sqlserver数据到MongoDb的方法
迁移sqlserver数据到MongoDb的方法前言随着数据量的日积月累,数据库总有一天会不堪重负的,除了通过添加索引.分库分表,其实还可以考虑一下换个数据库.我强烈推荐使用MongoDb,我举例 ...
python抓取数据库数据封装成json_用Python将mysql数据导出成json的方法
1.相关说明此脚本可以将Mysql的数据导出成Json格式,导出的内容可以进行select查询确定. 数据传入参数有:dbConfigName, selectSql, jsonPath, fileN ...
关于Ubuntu 16.04系统挂载硬盘以及迁移MYSQL数据存储目录的操作步骤
转载链接 : 关于Ubuntu 16.04系统挂载硬盘以及迁移MYSQL数据存储目录的操作步骤 :https://www.jianshu.com/p/58093888ee25 本文背景: 现有项目系统 ...
python mysql返回,python操作mysql数据-执行语句返回值直接返回字典类型
fetchall()将结果放在二维数组里面,每一行的结果在元组里面 import pymysql def export(table_name): conn =pymysql.connect(host ...
mysql中如何迁移数据文件,迁移mysql数据文件存放位置
迁移mysql数据文件存放位置 (2012-01-11 14:46:30) 标签: mysql db datafile 数据文件 1.备份当前的数据库 2.停止mysql服务 root@box:~/ ...
python之mysql数据备份和恢复
python之mysql数据备份和恢复 1. 数据的备份和恢复 1.1 数据备份 1.2 数据恢复 1. 数据的备份和恢复下面的命令属于mysql特有的,不属于sql句. 1.1 数据备份操作步骤 ...
实践练习四：迁移 MySQL 数据到 OceanBase 集群
练习目的本次练习目的掌握从 MySQL 向 OceanBase 迁移数据的基本方法:mysqldump.datax .canal 等. 练习内容请记录并分享下列内容: (必选)使用 mysqldu ...

Python迁移MySQL数据到MongoDB脚本

Python迁移MySQL数据到MongoDB脚本相关推荐

最新文章

热门文章