Impala shell命令

转载http://blog.csdn.net/shenfuli/article/details/49075003

本文主要介绍Impala shell命令

1、-h 外能帮助

格式：$ impala-shell -h

2、-r 刷新整个元数据*

（Refresh Impala catalog after connecting，默认为false）

2.1 在hive创建表t1
hive> create table t1(id int ,name string);
OK
Time taken: 0.423 seconds

2.2 通过impala-shell 查看对应的表，发现不存在，原因是需要通过手动涮新hive metadata

show tables;

$ impala-shell -r

执行后，在通过show tables 可以查看到刚才的表

3、-B 去格式化，查询大数据量时可以提高性能*

3.1 在impala shell中初始化数据

insert into table t1(id,name) values(100,'sfl');
insert into table t1(id,name) values(101,'zs');
insert into table t1(id,name) values(102,'ls');

3.2 在impala 查看数据和hive中查看数据

select * from t1;

发现结果完成一致，原因就是impala和hive中存储的数据都存在同一个元数据中

3.3 通过-B 演示

$ impala-shell -B -q 'select * from shenfuli.t1;' -o a.txt

$ more a.txt
102     ls
100     sfl
101     zs

通过-B发现，输出格式通过Hive的输出内容一致，由于-r是对整个元数据库进行刷新，实际生产环境中不建议这么用。

3.4 通过-B --print_header 可以显示列的名称

$ impala-shell -B --print_header -q 'select * from shenfuli.t1;' -o c.txt
$ more c.txt
id      name
100     sfl
102     ls
101     zs

4、 -v 查看对应版本

$ impala-shell -v
Impala Shell v2.2.0-cdh5.4.4 (a13d3c6) built on Mon Jul 6 16:57:34 PDT 2015

$ impala-shell
Starting Impala Shell without Kerberos authentication
Connected to crxy168:21000
Server version: impalad version 2.2.0-cdh5.4.4 RELEASE (build a13d3c6b203e79a284b509df821bffbe229e6dc3)
Welcome to the Impala shell. Press TAB twice to see a list of available commands.

(Shell build version: Impala Shell v2.2.0-cdh5.4.4 (a13d3c6) built on Mon Jul 6 16:57:34 PDT 2015)

注: 一般情况下升级Impala后，需要检查Impala version和Impala shell version，两个版本必须一致，否则可能会出现查询异常的情况。

5、 -f 执行查询文件*

--query_file 指定查询文件

$ cat impala-sql
select * from shenfuli.t1;
$ impala-shell -f impala-sql ;
$ impala-shell -B -f impala-sql -o d.txt;
$ more d.txt
102     ls
100     sfl
101     zs

说明：实际工作中的SQL语句都是通过写到一个文件中，然后通过-f命令调用。

6、 -o 保存执行结果到文件*

--output_file 指定输出文件名

7、 -q 不进入impala-shell执行查询

$ impala-shell -q 'select * from shenfuli.t1' --output_file=b.txt

$ more b.txt
+-----+------+
| id | name |
+-----+------+
| 102 | ls |
| 100 | sfl |
| 101 | zs |
+-----+------+

8、 -p 显示执行计划
--quiet 不显示多余信息

$ impala-shell -q 'select * from shenfuli.t1;' -p >1.txt

说明：文件1.txt 含有详细的执行计划，通过该文件可以分析SQL，优化SQL语句。

9、刷新某个表元数据
refresh <tablename> 属于增量刷新

说明：相比-r，通过refresh 一个表更加使用，并且属于增量刷新。

10、显示一个查询的执行计划及各步骤信息
explain <sql> 可以设置set explain_level，总共分成4个级别，分别0-3。数字越大，输出信息越详细

11、显示查询底层信息（底层执行计划，用于性能优化）
profile 在查询完成之后执行

在集群中运行一段时间发现执行变慢，可以只用profile来检查，步骤：

Impala shell命令相关推荐

impala——shell命令参数
外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数.impala-shell后面执行的时候可以带很多参数.你可以在启动 impala-shell 时设置 ...
Impala Shell常用命令行选项与常用命令
常用命令行选项 -h或–help 显示帮助信息. [root@node2 ~]# impala-shell -h -i或–impalad 连接到指定的impalad节点. [root@node2 ~] ...
impala的shell命令使用
1. 登录本次登录使用的是impala与LDAP集成后的登录 [root@cdh-server1 ~]# impala-shell -i 127.0.0.1:21000 -u admin_lcc - ...
Impala介绍，Impala架构，Impala安装，impala Shell ，分区创建，refresh,load数据，获取数据的元数据
1 Impala Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBASE中的PB级大数据.已有的Hive系统虽然也提供了SQL语义, ...
Apache Kudu 与 Impala Shell 的结合使用文档（创建表、删、改、查）
Kudu与Apache Impala紧密集成,允许您在Impala使用Impala的SQL语法从Kudu去做插入,查询,更新和删除数据,作为使用Kudu API 构建自定义Kudu应用程序的替代方法 ...
impala shell
目录一.impala shell内部命令 1.进入impala交互命令行 2.内部命令(同sql操作类似) 3.退出impala 4.连接到指定的机器impalad上去执行 5.增量刷新 6.全量刷 ...
Python 标准库之 os （获取当前目录、读取/设置环境变量、重命名文件、运行shell命令、创建/删除/查看目录文件、判断目录/文件/存在、获取绝对路径、获取文件名、获取换行符、获取路径分隔符）
1. os与sys模块的官方解释如下: os This module provides a portable way of using operating system dependent funct ...
2021年大数据Kafka（四）：❤️kafka的shell命令使用❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的shell命令使用一.创建topic 二.生产 ...
2021年大数据Hadoop（八）：HDFS的Shell命令行使用
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS的Shell命 ...

Impala shell命令

Impala shell命令相关推荐

最新文章

热门文章