Apache Drill介绍-SQL语句和系统表查询

Apache Drill 主要用于查询，主要关注select 和建表语句，Drill 支持select 很标准，这次主要介绍create语句，

Drill可使用的SQL语句：

系统设置语句

ALTER SESSION

ALTER SYSTEM

ALTER SYSTEM RESET

ALTER SYSTEM RESET ALL

RESET

查询及建表语句

schema_name;

SELECT

CREATE TABLE (CTAS)

CREATE

TABLE

查询系统信息

SCHEMAS(select * INFORMATION_SCHEMA.`SCHEMATA)

SHOW DATABASES(select * from INFORMATION_SCHEMA.`

TABLES(select * INFORMATION_SCHEMA.`TABLES`)

FILES

DESCRIBE

查询执行计划

EXPLAIN PLAN FOR

EXPLAIN PLAN WITHOUT IMPLEMENTATION FOR

系统表的查询示例

SELECT * from INFORMATION_SCHEMA.`TABLES` ORDER by TABLE_NAME ;

--查字段

SELECT COLUMN_NAME, DATA_TYPE

INFORMATION_SCHEMA.COLUMNS

WHERE TABLE_NAME = 'Orders' TABLE_SCHEMA = 'HiveTest.SalesDB' COLUMN_NAME '%Total';

建表的语句示例：

注意drill的表只能在dfs上创建，一张表就对应一个目录，如dfs.tmp.sengtest01

--普通表( 默认是 Parquet格式 )

CREATE TABLE dfs.tmp.`sengtest01`(,)

SELECT columns[], columns[] hdfs.`/BASEDATA/MASTERDATA/table1.csv` LIMIT ;

TABLE dfs.tmp.`sengtest01`

--分区表

CREATE TABLE dfs.tmp.`sengtest02`(,) PARTITION ()

SELECT columns[], columns[] hdfs.`/BASEDATA/MASTERDATA/table1.csv` LIMIT 10000;

--json格式的表

ALTER SESSION `store.format`='json'

CREATE TABLE dfs.tmp.`sengtest03`(,)

SELECT columns[], columns[] hdfs.`/BASEDATA/MASTERDATA/table1.csv` LIMIT 10000;

--view

CREATE dfs.tmp.`sengtest05`(,)

SELECT columns[], columns[] hdfs.`/BASEDATA/MASTERDATA/table1.csv` LIMIT ;

具体的view就是一个描述，以下是一个示例

[seng@sengtest tmp]$ more sengtest05.view.drill

{

"name" : "sengtest05",

"sql" : "SELECT `columns`[0], `columns`[1]\nFROM `hdfs`.`/BASEDATA/MASTERDATA/table1.csv`\nFETCH NEXT 100 ROWS ONLY",

"fields" : [ {

"name" : ,

"type" : "ANY",

"isNullable" :

}, {

"name" : "name",

"type" : "ANY",

"isNullable" :

} ],

"workspaceSchemaPath" : [ ]

}

中文查询，CONVERT_FROM(字段,’UTF-8')

select * from hive.dw_log.dw_log_user_page_jump where pdate='2017-09-26' and CONVERT_FROM(func, 'UTF8') like _UTF16'%落地页%' limit 10