impala 连接mysql_impala系列: 基本命令和jdbc连接
--=======================
使用impala-shell 登录
--=======================
impala-shell --auth_creds_ok_in_clear -l -i ip_address -u user_name
--=======================
JDBC driver
--=======================
Impala 官方jdbc driver有一些bug很致命的bug, 比如Insert 中文字符, 只能将前面一小段插入到数据库中, 应该是没有考虑中文字符长度不同于ascii码, 性能也比Hive Jdbc driver差, 至少, impala 2.5.43.1063版本测试是这样的. 所以, 推荐使用 hive2 jdbc driver去连接impala, 比如使用cdh5.10的 hive-jdbc-1.1.0-cdh5.10.0, 当然 jdbc url 应该还是 impala jdbc url的写法, 使用 需要说明的是, Kettle 的 Output组件使用Hive driver时候, 必须列出目标表全部的字段, 而且字段的顺序必须按照建表语句的顺序, 否则会报错.
impala jdbc url 的写法:
需要密码的jdbc url写法(test为默认数据库)
jdbc:impala://ip_address:21050/test;AuthMech=3;SSL=0
免密码的jdbc url写法(test为默认数据库)
jdbc:impala://ip_address:21050/test;AuthMech=0;SSL=0
在配置过程中碰到了好几个错误, [Simba]ImpalaJDBCDriver Error setting/closing session: {0}. 需要注意的是端口 和 jdbc 参数 AuthMech 和 SSL.
--=======================
impala JDBC 查询GUI工具
--=======================
dbeaver: 可以通过hive/impala driver 连接 impala, 当然推荐 hive driver.
DBVisualizer 9: 暂时还不能使用impala jdbc连接, 但可以通过hive jdbc连接.
Kettle 7.1, 可以通过hive/impala driver 连接 impala, 当然推荐 hive driver. 确保将所有相关的jar 复制到目录 pdi-ce-7.1.0.0-12\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510\lib 中.
也可以这些查询工具或Kettle上为jdbc connectionjdbc设置下面经常使用的参数:
set request_pool=etl; -- 设置使用 etl 资源池
set mem_limit=-1; -- 取消内存限制
set mem_limit=10G; -- 设置工具级别的内存10G(单节点上的内存量)
--=======================
impala 常用命令
--=======================
show databases; --查看所有schema;
show tables; --查看默认schema下的表
show tables in schema_name; --查看指定schema下的表
show tables in schema_name like 'dim'; --在指定schema 下查看dim表;
use schema_name; --进入指定的schema_name
desc table_name; --查看指定表的表字段;
create database some_schema; --创建一个schema
show create table some_schema.some_table; --显示建表语句
SHOW TABLE STATS table_name ; -- 显示一个表的统计信息
COMPUTE STATS table_name; --对表收集统计信息
SHOW PARTITIONS [database_name.]table_name ; -- 显示partition
SHOW RANGE PARTITIONS [database_name.]table_name ; -- 显示range partition
show files in table_name ; -- 显示指定表后台的数据文件
SHOW ROLES ; -- 显示impala中的角色
SHOW CURRENT ROLES ; -- 显示当前用户的角色
impala session 级别设置:
set request_pool=etl; -- 设置使用 etl 资源池
set mem_limit=-1; -- 取消内存限制
set mem_limit=10G; -- 设置内存10G(单节点上的内存量), impala 经常会over estimate SQL语句需要的资源, 所以强烈建议在执行SQL之前, 使用 set mem_limit 限制SQL的内存消耗, 一个查询可以使用的最大内存为MEM_LIMIT * 节点数
--=======================
impala 默认的连接端口:
--=======================
port:21000, for impala-shell and ODBC driver 1.2.
port:21050, for JDBC and for ODBC driver 2.
其他服务端口见 https://www.cloudera.com/documentation/enterprise/5-7-x/topics/impala_ports.html
--=======================
jdbc连接常见错误
--=======================
更多内容参考 jdbc 安装包中的说明文档: Cloudera-JDBC-Driver-for-Impala-Install-Guide.pdf
java 程序的连接字符串示例 jdbc:impala://node1.example.com:21050/default2;AuthMech=3;UID=cloudera;PWD=cloudera
AuthMech 参数
Set the value to one of the following numbers:
0 for No Authentication
1 for Kerberos
2 for User Name
3 for User Name and Password
SSL 参数
0, not connect to SSL-enabled sockets.
1, through an SSL-enabled socket.
impala 连接mysql_impala系列: 基本命令和jdbc连接相关推荐
- mysql和windows连接不上_问题-jdbc连接不上mysql,windows下开启两个mysql服务
1.问题: 前两天安装了个php 环境- wamp,由于我自己电脑上本身带有 mysql的数据库,在安装完后,没有注意到,mysql已经指向了 刚安装好的wamp里的mysql .导致 之前的 mys ...
- java编程连接mysql_Java编程学习之JDBC连接MySQL
JDBC连接MySQL 一.对JDBC连接数据库的步骤 1.加载数据库驱动 //加载驱动 Class.forName(driverClass) ---------------------------- ...
- mysql连接指定时区_MySQL创建JDBC连接时区问题
报错内容: ErrorCode=0 SQLState=01S00 The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or repres ...
- java jdbc 连接mysql数据库,Java 通过JDBC连接Mysql数据库
JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口 ...
- java jdbc连接oracle数据库连接 不抛出异常,JDBC连接Oracle发生异常的原因
当你通过JDBC连接Oracle数据库时发生了异常首先应该确认你的JRE是否配置正确,一般oracle10g,JRE1.4以上应当使用ojdbc14.jar. 其次你要确定你的Java语法是否错误,这 ...
- jdbc连接teradata仓库_teradata的jdbc连接,
teradata的jdbc连接, DB_DRIVER=com.teradata.jdbc.TeraDriver DB_URL=jdbc:teradata://127.0.0.1/CLIENT_CHAR ...
- 连接mysql次数_matlab2020b通过JDBC连接mysql8.0.22
需要下载JDBC驱动mysql-connector-java-8.0.22.jar 官网地址选择合适的版本: Download Connector/Jdev.mysql.com 1.选择与平台无关的 ...
- pom 导入mysql连接,maven项目中的jdbc连接步骤
在maven项目pom.xml中到入驱动包(以下是驱动包代码) mysql mysql-connector-java 8.0.15 导入成功会看到Maven Dependencies下有个mysql- ...
- java连接oracle报错ora-12505,JDBC连接ORACLE中的ORA-12505错误以及相关问题和解决方式...
问题描述:重装系统和oracle 11g,实例名orcl,输入以下代码 import java.sql.*; public class TestJDBC { public static void ma ...
最新文章
- 2018CTDC风暴来袭乌镇 互联网大佬再续前缘
- 来普及一下Redis主从复制以及主从复制原理
- 人工智能算法的可解释性方法研究
- 有关jquery checkbox获取checked的问题
- mysql查询语句 查询方式
- bzoj 4393 Usaco Fruit Feast
- 巧设IP路由 实现不同网段互通
- 最大似然估计与最小二乘
- 英特尔逆天原型机:在 Android 上跑 Debian
- seata分布式事务原理_分布式事务 Seata 及其三种模式详解
- 第五章 事务 视图 索引 备份和恢复
- 新浪xweibo代码架构分析(二次开发)
- 反向代理负载均衡之APACHE
- 漳州计算机报名时间2015年,漳州市2015年国民经济和社会发展统计公报
- 浅谈网游服务器的承载
- 京东AI:戴口罩人脸识别pytorch开源库
- 《电子签名法》:CA名词解释
- Python实用脚本/算法集合, 附源代码下载
- 华虹U盾(红白那种)win7旗舰版64位驱动解决方案
- 留存分析_游戏数据分析