couchbase导出mysql

couchbase数据导出

cbexport

https://docs.couchbase.com/server/6.0/tools/cbexport-json.html
速度快，不支持n1ql
n1ql2csv

https://github.com/couchbaselabs/n1ql2csv
导出数据过多不行，因为先通过rest api获取后面转csv处理
n1ql rest api

https://docs.couchbase.com/server/6.0/n1ql/n1ql-rest-api/index.html
支持条件导出，速度快。

实测5分钟导出8G数据。
curl -v http://username:password@{{node}}:8093/query/service -d 'statement=SELECT * FROM `csdn` where _type ="audit" and id <= 1000000' -o 1.json

Python解析json导入mysql

#!/usr/bin/python
# -*- coding: UTF-8 -*-import sys, getopt
import json
# import pymysql
import MySQLdb
reload(sys)
sys.setdefaultencoding('utf-8')
def main(argv):sfile = ''try:opts, args = getopt.getopt(argv,"hs:",["sourcefile="])except getopt.GetoptError:print 'couchbaseToMysql.py -s <sourcefile>'sys.exit(2)for opt, arg in opts:if opt == '-h':print 'couchbaseToMysql.py -s <sourcefile>'sys.exit()elif opt in ("-s", "--sourcefile"):sfile = argprint '源文件为', sfilenum = 0maxNum = 5000'''`id` int(11) NOT NULL AUTO_INCREMENT,`title` varchar(2000) COLLATE utf8mb4_bin DEFAULT NULL,`body` text COLLATE utf8mb4_bin,`author` varchar(128) COLLATE utf8mb4_bin NOT NULL,`status` varchar(45) COLLATE utf8mb4_bin NOT NULL DEFAULT '0',`result` json DEFAULT NULL,……'''sql = "insert into audit(`id`, `title`, `body`, `author`,  `status`, `result`) values "with open(sfile) as file:for line in file:if line.startswith("{\"csdn"):# delete \n line = line[:-1] if line.endswith(","):line = line[:-1]obj = json.loads(line)o = obj['csdn']sql += "(%d, '%s', '%s', '%s', %d, '%s'), " % (o.get('id'), \MySQLdb.escape_string(o.get('title', '')), MySQLdb.escape_string(o.get('body', '')), o.get('author', ''), o.get('status', 0), json.dumps(o.get('result', {})))num += 1if num >= maxNum:exec_sql(sql[:-2])num = 0sql = "insert into audit(`id`, `title`, `body`, `author`,  `status`, `result`) values "if num > 0:exec_sql(sql[:-2])def exec_sql(sql):try:db = MySQLdb.connect("host", "name", "password", "db", charset='utf8')cursor = db.cursor()cursor.execute(sql)db.commit()db.close()except Exception as e:print "========error========"print e# TODO 根据出错oid 判断出错位置 再次执行根据oid过滤掉已执行的数据print sql[:200]sys.exit(3)# db = pymysql.connect('localhost','root','password','db')#创建游标对象# cursor = db.cursor()#sql预处理语句之往表格中插入数据# cursor.execute(sql)#提交到数据库执行，代表一个事务的结束# db.commit()#关闭数据库# db.close()if __name__ == "__main__":main(sys.argv[1:])

文档

couchbase中文教程
couchbase官网

couchbase导出mysql相关推荐

db2 linux 导入数据_「软件资料」-「软件使用」-Linux 导入、导出 MySQL 数据库命令...
一.导出数据库 1.导出完整数据:表结构+数据 Linux 下可以使用 mysqldump 命令来导出数据库,语法格式如下:mysqldump -u用户名 -p 数据库名 > 数据库名.sql ...
PHPExcel使用-使用PHPExcel导出文件-导出MySQL数据
现在数据库里面有一组数据,我们将它按照不同的难度进行分sheet. 首先我们需要写一个mysql的配置文件- db.config.php(utf-8编码) : <?php $dbconfig= ...
MySQL基础day03_数据的导入、导出-MySQL 5.6
MySQL基础day03_数据的导入.导出-MySQL 5.6 注:把数据按照一定格式存放到文件里才能进行数据的导入. 1,数据导入的条件把文件里的内容保存到数据的表里: 把数据按照一定格式存放文件 ...
PHP导出MySQL数据字典
2017年11月9日09:30:29 用 PHP mysqli 写的一个类文件, 用来导出MySQL数据字典导出表信息; 字段信息, 索引信息可以导出浏览器适用的样式, 也可以导出word文档(默 ...
mysqldump导入导出mysql数据库
mysqldump导入导出mysql数据库 mysqldump导入导出mysql数据库 2011-02-21 16:33 数据库的基本导入\导出的命令是 mysqldump 和 source 在li ...
linux下导入、导出mysql数据库命令下载文件到本地
一.下载到本地 yum install lrzsz sz filename 下载 rz filename 上传 linux下导入.导出mysql数据库命令一.导出数据库用mysqldump命令( ...
php mysql生成excel文件,PHP导出MySQL数据到Excel文件简单示例
这篇文章主要为大家详细介绍了PHP导出MySQL数据到Excel文件简单示例,具有一定的参考价值,可以用来参考一下. 对phpPHP导出MySQL数据到Excel文件简单示例感兴趣的小伙伴,下面一起跟 ...
php 如何缓存数据字典,使用PHP脚本如何导出MySQL数据字典
使用PHP脚本如何导出MySQL数据字典发布时间:2020-05-19 16:28:08 来源:PHP中文网阅读:155 作者:三月本文主要给大家介绍使用PHP脚本如何导出MySQL数据字典,文 ...
phpmyadmin 导出mysql_PhpMyAdmin创建/导入/导出MySQL数据库教程[图文]
内容提要 PhpMyAdmin是网站管理员必须懂得使用的程序,很多新手都不会操作,笔者将图文演示使用PhpMyAdmin创建.导入.导出MySQL数据库的全过程. 一.创建MySQL用户及数据库注: ...
数据库工作笔记009---Centos中导出mysql数据库
JAVA技术交流QQ群:170933152 首先linux 下查看mysql相关目录 root@ubuntu14:~# whereis mysql mysql: /usr/bin/mysql---- ...

couchbase导出mysql

couchbase数据导出

Python解析json导入mysql

文档

couchbase导出mysql相关推荐

最新文章

热门文章