impala-shell外部命令

概念：外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。
常见shell命令

帮助我们查看帮助手册。也可以参考课程附件资料：
impala-shell –h刷新impala元数据：
impala-shell –r执行指定sql语句：
impala-shell –q 'show databases'执行指定的sql查询文件：
impala-shell –f 文件路径连接到指定的机器impalad上去执行：
impala-shell –i hostname设置执行结果到文件当中去：
impala-shell –o filename

impala-shell内部命令

概念：内部命令是指，进入impala-shell命令行之后可以执行的语法
常见命令

连接到指定的机器impalad上去执行：
connect hostname;增量刷新，刷新某一张表的元数据：
refresh dbname.tablename全量刷新，性能消耗较大，主要用于hive当中新建数据库或者数据库表的时候来进行刷新：
invalidate  metadata;从Impala shell中退出：
quit;
或
exit;用于查看sql语句的执行计划：
explain;执行sql语句之后执行，可以
打印出更加详细的执行步骤，主要用于查询结果的查看，集群的调优等:
profile;注：
在hive-shell中插入数据或新建表、库,在impala当中是查询不到的,需要执行invalidate metadata更新impala的元数据。在impala-shell当中插入数据或新建表、库，在impala当中是可以查询到的，不需要同步元数据，其中使用的就是catalog这个服务的功能实现的，catalog是impala1.2版本之后增加的模块功能，主要作用就是同步impala之间的元数据。更新操作通知Catalog，Catalog通过广播的方式通知其它的Impalad进程。默认情况下Catalog是异步加载元数据的，因此查询可能需要等待元数据加载完成之后才能进行（第一次加载）。

impala sql语法
因sql语法通常是通用的,这里不多做介绍！
注：因impala默认使用impala用户执行操作，会报权限不足问题
解决办法：
1.给HDFS指定文件夹授予权限

hadoop fs -chmod -R 777 hdfs://node-1:9000/user/hive

2.haoop 配置文件中hdfs-site.xml 中设置权限为false

注：建议使用第二种方式,方便后续使用impala导入导出数据

Impala的java开发

在实际工作当中，因为impala的查询比较快，所以可能有会使用到impala来做数据库查询的情况，可以通过java代码来进行操作impala的查询。

1.下载impala jdbc依赖
下载路径：
https://pan.baidu.com/s/1Tv-Ayp7xKYJke0DI6v43Fg
密码：7d0i

因为cloudera属于商业公司性质，其提供的jar并不会出现在开源的maven仓库中，如果在企业中需要使用，请添加到企业maven私服。

2.创建java工程

3.java api

import java.sql.*;
public class ConnectionImpala {public static void connectImpala(){Connection con = null;ResultSet rs = null;PreparedStatement ps = null;String JDBC_DRIVER = "com.cloudera.impala.jdbc41.Driver";String CONNECTION_URL = "jdbc:impala://node01:21050";try{Class.forName(JDBC_DRIVER);con = (Connection) DriverManager.getConnection(CONNECTION_URL);ps = con.prepareStatement("select * from myhive.student;");rs = ps.executeQuery();while (rs.next()){System.out.printf("%s%5s%15s%5s\r\n",rs.getString(1),rs.getString(2),rs.getString(3),rs.getString(4));}} catch (Exception e){e.printStackTrace();} finally{try {rs.close();ps.close();con.close();} catch (SQLException e) {e.printStackTrace();}}}public static void main(String[] args) {connectImpala();}
}

Impala-shell命令相关推荐

Impala shell命令
转载http://blog.csdn.net/shenfuli/article/details/49075003 本文主要介绍Impala shell命令 1.-h 外能帮助格式:$ impala- ...
impala——shell命令参数
外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数.impala-shell后面执行的时候可以带很多参数.你可以在启动 impala-shell 时设置 ...
Impala Shell常用命令行选项与常用命令
常用命令行选项 -h或–help 显示帮助信息. [root@node2 ~]# impala-shell -h -i或–impalad 连接到指定的impalad节点. [root@node2 ~] ...
impala的shell命令使用
1. 登录本次登录使用的是impala与LDAP集成后的登录 [root@cdh-server1 ~]# impala-shell -i 127.0.0.1:21000 -u admin_lcc - ...
Impala介绍，Impala架构，Impala安装，impala Shell ，分区创建，refresh,load数据，获取数据的元数据
1 Impala Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBASE中的PB级大数据.已有的Hive系统虽然也提供了SQL语义, ...
Apache Kudu 与 Impala Shell 的结合使用文档（创建表、删、改、查）
Kudu与Apache Impala紧密集成,允许您在Impala使用Impala的SQL语法从Kudu去做插入,查询,更新和删除数据,作为使用Kudu API 构建自定义Kudu应用程序的替代方法 ...
impala shell
目录一.impala shell内部命令 1.进入impala交互命令行 2.内部命令(同sql操作类似) 3.退出impala 4.连接到指定的机器impalad上去执行 5.增量刷新 6.全量刷 ...
Python 标准库之 os （获取当前目录、读取/设置环境变量、重命名文件、运行shell命令、创建/删除/查看目录文件、判断目录/文件/存在、获取绝对路径、获取文件名、获取换行符、获取路径分隔符）
1. os与sys模块的官方解释如下: os This module provides a portable way of using operating system dependent funct ...
2021年大数据Kafka（四）：❤️kafka的shell命令使用❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的shell命令使用一.创建topic 二.生产 ...
2021年大数据Hadoop（八）：HDFS的Shell命令行使用
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS的Shell命 ...

Impala-shell命令

文章目录

impala-shell外部命令

impala-shell内部命令

Impala-shell命令相关推荐

最新文章

热门文章