greenplum数据导入到mysql,greenplum数据库常用操作
1. 场景描述
greenplum集群部署好后,软件老王在实际使用过程中碰到一些问题,简单记录下,希望能帮到有需要的朋友。
2 .解决方案
2.1 gpcc监控地址
说明:非常重要,greenplum集群监控,可以监控数据库集群使用情况,包括cpu、内存、硬盘,执行情况等。
http://192.168.85.158:28080
gpmon
gpmon
2.2 典型创建表
软件老王说明:
(1)WITH (appendonly=true, compresslevel=5)表明是只在后面新增数据,压缩比是5级(1-10);
(2)DISTRIBUTED BY (laowang),分布键,按照这个字段分布到各个segement服务器;
(3)PARTITION ,按时间分区。
CREATE TABLE "public"."t_ruanjianlaowang" (
"laowang" text,
"timestamp" text,
)
WITH (appendonly=true, compresslevel=5)
DISTRIBUTED BY (laowang)
PARTITION BY RANGE(timestamp)
(
PARTITION t_ruanjianlaowang_20170701 START ('2017-06-01 00:00:00'::timestamp without time zone) END ('2017-07-01 00:00:00'::timestamp without time zone),
PARTITION t_ruanjianlaowang_20170801 START ('2017-07-01 00:00:00'::timestamp without time zone) END ('2017-08-01 00:00:00'::timestamp without time zone)
)
2.3 创建测试表,测试分页数据是否重复
说明:创建测试表,测试分页数据是否重复
--创建测试表
create table test_ischongfu2 as select * from t_ruanjianlawoang limit 1 offset 0;
--插入数据
insert into test_ischongfu2 select * from t_ruanjianlawoang limit 1000 offset 0;
insert into test_ischongfu2 select * from t_ruanjianlawoang limit 1000 offset 1001;
insert into test_ischongfu2 select * from t_ruanjianlawoang limit 1000 offset 2001;
insert into test_ischongfu2 select * from t_ruanjianlawoang limit 1000 offset 3001;
insert into test_ischongfu2 select * from t_ruanjianlawoang limit 1000 offset 4001;
2.4 创建外部表
软件老王说明:
创建外部表,速度超级快,10万数据,几秒就完成了。
CREATE EXTERNAL TABLE t_ex_ruanjianlaowang (
laowang1double precision,
laowang2double precision,
laowang3 varchar(100)
) location ('gpfdist://192.168.85.158:8081/d.csv') format 'csv' (DELIMITER ',');
2.5 删除外部表
说明:spark导入数据后,会生成很多外部表垃圾数据,也可以批量删除下。
drop external table spark_3f59d3ff03a55cd3_3d9d854163f8f07a_driver_73 ;
drop external table spark_3f59d3ff03a55cd3_3d9d854163f8f07a_driver_72 ;
drop external table spark_3f59d3ff03a55cd3_3d9d854163f8f07a_driver_60
2.6 正常建表
说明:
不分区,5级压缩,分布键为laowang1。
CREATE TABLE t_ruanjianlaowang(
laowang1double precision,
laowang2double precision
)
WITH (appendonly=true,orientation=column,compresstype=zlib,COMPRESSLEVEL=5)
distributed by (laowang1);
2.7 greenplum创建资源队列
说明:集群共享的时候,对greenplum集群资源进行分配。
----新增插入role
create role gpinsertrole with login password 'gpinsertrole';
--权限控制感觉有问题,直接在navcat上更改为超级管理员可能会快点
GRANT ALL PRIVILEGES ON DATABASE "db_ruanjianlawoang" TO gpinsertrole;
create resource queue q_pginsert with (ACTIVE_STATEMENTS=10,MEMORY_LIMIT='2000MB',PRIORITY=HIGH,COST_OVERCOMMIT=true,MIN_COST=100,MAX_COST=10000);
alter role gpinsertrole resource queue q_pginsert;
2.8 有关是否走索引
大批量插入数据后,有时候会不走索引,需要操作下。
Greenplum中的vacuum和analyze
vacuum t_ruanjianlaowang;
I’m 「软件老王」,如果觉得还可以的话,关注下呗,后续更新秒知!欢迎讨论区、同名公众号留言交流!
greenplum数据导入到mysql,greenplum数据库常用操作相关推荐
- greenplum数据导入到mysql,将数据从DB2数据库传输到greenplum数据库
1)青梅不是香草型postgres,但类似.它有一些新的语法,但总的来说,是高度一致的.在 2)Greenplum本身提供了一个名为"gpfdist"的东西,它允许您监听指定的端口 ...
- php实现sql server数据导入到mysql数据库_php实现SQL Server数据导入Mysql数据库(示例)...
php将mssql的数据导入到mysql数据库中,代码: 代码示例: //连接SQL server数据库 $conn=mssql_connect("localhost"," ...
- 如何将excel表格内的数据导入至mysql数据库
如何将excel表格内的数据导入至mysql数据库 当前mysql版本:5.5 创建Excel表格输入数据 注:第一行为数据表的列名(要保持一致) 将表格另存为.cvs格式的文件 再用editPlus ...
- mysql 导入dbm文件_DBM数据导入到mysql数据库方法
本文章分享一篇关于DBM数据导入到mysql数据库方法,有需要的同学可以参考一下本实例. 首先说明一下,我以前使用PERL,保存文件 用DBM,有5万多条记录,每条记录有15个字段.现在想用MYSQL ...
- mysql shell可视化_shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中...
shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中 利用shell脚本将文本数据导入到mysql中 需求1:处理文本中的数据,将文本中的数据插入到mys ...
- php实现sql server数据导入到mysql数据库_SQL Server数据库导入MySQL数据库的体验_MySQL...
SQL Server 因工作需要,要将存放在sql server数据库中的数据全部导入到mysql数据库中,在网上搜集相关资料,找到两种方法,现在分别谈谈对他们的看法. 第一种是安装mysql ODB ...
- greenplum数据导入导出
一.数据导入 greenplum数据导入有五种方式: 1. insert:通过sql直接插入数据 2. copy:通过master节点加载,无法实现并行高效数据加载 copy tablename fr ...
- access数据库文件导入mysql数据库文件怎么打开,Access数据库从外部数据导入文本文件和VF数据库-dbf文件怎么打开...
亲爱的小伙伴们,我们又见面了! 上一期我们学习了Access数据库从外部数据导入Excel文件,下图学生成绩表2就是我们新导入的数据: 导入Excel文件 今天我们来学习如何从外部数据导入文本文件和V ...
- 【唠叨两句】如何将一张树型结构的Excel表格中的数据导入到多张数据库表中...
小弟昨天遇到一个相对比较棘手的问题,就像标题说的那样.如何将一张树型结构的Excel表格中的数据导入到多张数据库表中,在现实中实际是七张数据库表,这七张表之间有着有着相对比较复杂的主外键关系,对于我这 ...
最新文章
- python-eggs异常解决方法
- 自己写的一个测试函数执行效率的单元(test on Delphi 7)
- vs2010 调试快捷键
- 如何在CentOS 7上安装Percona XtraDB集群
- 腾讯工程师也曾是个网瘾少年
- 做好前端的话HTML和CSS基础必须夯实!
- cordova插件(github版)
- java多线程写数据到数据库6_java多线程向数据库写入数据
- shell编程实战总结
- java 斗地主出牌算法_Golang算法实战之斗地主一
- 贪心算法之猴子吃香蕉(Monkeys and Bananas)
- UBI文件系统的制作与挂载案例
- Python实现PD文字识别、提取并写入CSV文件脚本分享
- 传奇手游战神引擎多机多区配置方法
- 如何把多张图片合并成一个PDF?
- 制造业增值税从16%下降到13%,我们是否应该降价出售?
- Visual studio 词汇
- python烟花教程_干货教程:Python欠你一场浪漫烟花邂逅
- 如何用 Python 在笔记本上分析 100GB 数据?
- cadworx可以画设备流程图吗,CADWORX中心线法绘制管道