greenplum mysql jdbc_Kylin设置JDBC配置greenplum数据源
Kylin设置JDBC配置greenplum数据源
kylin最开始的时候支持hive和kafka作为数据源,从2.3.0版本之后开始支持JDBC作为第第三种数据源。用户可以自定义的数据库或者数据仓库到自己的kylin集群。比如,mysql,postgresql,greenplum等。
支持原理
需要了解到的是,kylin设置完jdbc作为数据源,是通过sqoop来实现的,他并不是摒弃了底层的hive,而是使用sqoop将你配置的数据源的数据抽取到hive中,kylin通过在hive中生成的表来做cube的预计算。计算完之后,再将导入的临时数据删除。
配置JDBC数据源
首先,在kylin集群安装完之后,自行安装sqoop。注意sqoop的1.0和2.0版本相去甚远,一般在生产环境中不会使用2.0版本,同时需要注意sqoop和hbase的版本兼容问题,一般是sqoop1.x+hbase0.x。
第二步,准备jdbc driver。需要将你要配置的数据库的JDBC Driver配置搭配kylin和sqoop中,路径$KYLIN_HOME/ext和$SQOOP_HOME/lib。注意:mysql的驱动可以不加载,kylin2.3.1已经集成。
第三步,配置kylin.properties文件。
Mysql样例:
################MYSQL
#kylin.source.default=8
#kylin.source.jdbc.connection-url=jdbc:mysql://10.4.6.226:3306/test
#kylin.source.jdbc.driver=com.mysql.jdbc.Driver
#kylin.source.jdbc.dialect=mysql
#kylin.source.jdbc.user=root
#kylin.source.jdbc.pass=326936
#kylin.source.jdbc.sqoop-home=/home/zhouwang/sqoop-1.4.6/bin
#kylin.source.jdbc.filed-delimiter=|
#kylin.source.jdbc.sqoop-mapper-num=4
Greenplum样例:
##############GP
kylin.source.default=8
kylin.source.jdbc.connection-url=jdbc:postgresql://192.168.71.11:5432/testdb
kylin.source.jdbc.driver=org.postgresql.Driver
kylin.source.jdbc.dialect=default
kylin.source.jdbc.user=zhouwang
kylin.source.jdbc.pass=326936
kylin.source.jdbc.sqoop-home=/home/zhouwang/sqoop-1.4.6/bin
kylin.source.jdbc.filed-delimiter=|
kylin.source.jdbc.sqoop-mapper-num=4
注意:kylin.source.jdbc.sqoop-mapper-num这个参数是用来指定sqoop有多少个map数的。kylin.source.default这个参数是用来指定数据源类型的,默认是0,代表的是hive,8代表的是自己配置的数据源,也就是只能有一种数据源,如果想要有多种数据源需要再project的级别配置这些参数(2.4.0之后版本才有此功能)。
加载Greenplum数据
重启 Kylin 让改变生效。您现在可以从 JDBC 数据源加载表。访问 Kylin web 然后导航到数据源面板。点击 Load table 按钮然后输入表名,或点击 “Load Table From Tree” 按钮然后选择要加载的表。不检查 Calculate column cardinality 因为对于 JDBC 数据源这个功能并不支持。点击 “Sync”,Kylin 通过 JDBC 接口加载表定义。当表加载成功后您可以查看表和列,和 Hive 相似。
注意:需要再greenplum的date/master/gpseg-1/pg_hba.conf里面配置你要访问gp的机器的ip授权。
Model和cube的使用
唯一与hive作为数据源不一样的地方就是cube在build的时候,第一步是从greenplum把数据导入到hive,后续的build步骤就与greenplum无关,与之前并无差别。
greenplum mysql jdbc_Kylin设置JDBC配置greenplum数据源相关推荐
- Kylin设置JDBC配置greenplum数据源
Kylin设置JDBC配置greenplum数据源 kylin最开始的时候支持hive和kafka作为数据源,从2.3.0版本之后开始支持JDBC作为第第三种数据源.用户可以自定义的数据库或者数据仓库 ...
- mysql数据库设置字符集配置修改my.ini文件(windows)
每次新创建一个表或者数据库,在插入中文的时候要么报1366错误,要么插入后查询出来中文全部变成了???,修改字符集后,下一次重新打开数据库,就又恢复成修改前的字符集. 解决方法: 找到mysql的安装 ...
- mysql dsn设置_[分享]用数据源(用数据源(ODBC)创建数据库连接DSN设置)创建数据库连接DSN设置...
Asp连接数据库推荐用ACCESS+MSSQL / ASP+ACCESS Conn.open="provider=microsoft.jet.oledb.4.0;data source=&q ...
- mysql初始化设置_mysql 配置 初始化
一.初始化 1.mysql初始化 mysqld --initialize-insecure -- mysql -u root set password =password('123456'); 2.修 ...
- Superset【实践 01】数据可视化图表工具 Superset(Greenplum数据库连接举例+MySQL数据集+图表添加配置+仪表盘添加与设置)一文学会使用Superset
Superset 的使用跟 tableau.ganglia.grafana.永洪.帆软等的可视化图表工具类似,基本步骤都是配置数据源.配置SQL.配置图表参数等.下面针对Greenplum数据库进行一 ...
- jdbc odbc java mysql数据库连接_Java数据库连接之配置ODBC数据源
java使用JDBC-ODBC桥接连接SQLServer数据库需要配置ODBC数据源,配置步骤如下: 1.进入控制面板,找到管理工具 2.看到ODBC数据源,有64位和32位的,如果你的数据库是64位 ...
- mybatis配置mysql数据源_springboot+mybatis+Druid配置多数据源(mysql+postgre)
springboot+mybatis+Druid配置多数据源(mysql+postgre) 引入pom依赖 org.mybatis.spring.boot mybatis-spring-boot-st ...
- mysql 多数据源访问_通过Spring Boot配置动态数据源访问多个数据库的实现代码
之前写过一篇博客<Spring+Mybatis+Mysql搭建分布式数据库访问框架>描述如何通过Spring+Mybatis配置动态数据源访问多个数据库.但是之前的方案有一些限制(原博客中 ...
- 最简单的Greenplum数据库的安装及配置步骤
(一)环境说明 项 版本 包/备注 操作系统 Linux RedHat6.2 64Bit Greenplum greenplum-db-4.3.6.2 greenplum-db-4.3.6.2-bui ...
最新文章
- MyCat-Web安装
- Linux系统下怎样配置多个Tomcat
- 如何使用Kubernetes里的NetworkPolicy
- Spring-jdbc:JdbcTemplate使用简介
- Time stamp.
- PHP中4个包含文件方法的差异
- C++接收字符串数组_电脑编程 你该知道的字符知识 C语言程序设计字符数组全归纳...
- spring-in-action-mvc-jdbc搭建工程
- 辗转相除法应用之倒C语言实现
- java虚拟机进程_Java虚拟机详解(七)------虚拟机监控和分析工具(1)——命令行...
- php搭建后台 xampp_你还在用wordpress?|搭建独一无二个人网络日志发布平台
- Netty 整合 MessagePack 序列化框架 + LengthFieldBasedFrameDecoder 自定义解码器
- Haar特征描述算子与人脸检测
- WPS标题编号级别,根据上一级自动编号
- linux运行mentohust,Linux中用mentohust设置联网环境
- Java中的浮点型数据类型
- 【华为云】磁盘挂载操作
- 加密解密-对称加密与非对称加密
- java 一对多关系修改,java – EclipseLink以一对多关系生成重复条...
- Cross-sell and Up-sell
热门文章
- JavaScript和HTML事件处理程序属性中的this的含义
- CentOS 7下彻底卸载MySQL数据库
- 通过phantomjs 进行页面截图
- Atitit.跨语言异常转换机制 java c# php到js的异常转换
- PHP中获取星期的几种方法
- 【Android笔记】MediaPlayer基本用法
- Mapper XML Files详解
- 案例:演示pageContext对象的使用及源码分析获取属性方法
- curry化 js_前端发动机从 bind 聊到 curry (柯里化)
- IWorkbook 引入_如果引入国内,你会买单吗?日产全新小型SUV亮相|小型suv|日产|轩逸|新车|本田|丰田...