Hive基本操作,DDL操作(创建表,修改表,显示命令),DML操作(Load Insert Select),Hive Join,Hive Shell参数(内置运算符、内置函数)等
1. Hive基本操作
1.1DDL操作
1.1.1 创建表
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type[COMMENT col_comment], ...)] +
[PARTITIONED BY (col_namedata_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name,...)
[SORTED BY (col_name[ASC|DESC], ...)] INTO num_buckets BUCKETS]
1、CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOTEXISTS 选项来忽略这个异常。
DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMSTERMINATED BY char]
[MAP KEYSTERMINATED BY char] [LINES TERMINATED BY char]
如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED ASSEQUENCEFILE。
(2)使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。
create table student_p(Sno int,Sname string,Sex string,Sage int,Sdept string) partitioned by(part string) row format delimited fields terminated by ','stored as textfile; |
1.1.2 修改表
: PARTITION (partition_col = partition_col_value, partition_col =partiton_col_value, ...)
ALTER TABLE table_name DROP partition_spec, partition_spec,...
alter table student_p add partition(part='a') partition(part='b'); |
ALTER TABLE table_name RENAME TO new_table_name
ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type[COMMENT col_comment], ...)
注:ADD是代表新增一字段,字段位置在所有列后面(partition列前),REPLACE则是表示替换表中所有字段。
1.1.3 显示命令
1.2DML操作
1.2.1 Load
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO
TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
1、 Load操作只是单纯的复制/移动操作,将数据文件移动到 Hive 表对应的位置。
绝对路径,例如:/user/hive/project/data1
hdfs://namenode:9000/user/hive/project/data1
如果指定了 LOCAL,load 命令会去查找本地文件系统中的 filepath。
如果没有指定 LOCAL 关键字,则根据inpath中的uri[M1] 查找文件
如果使用了 OVERWRITE 关键字,则目标表(或者分区)中的内容会被删除,然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。
如果目标表(分区)已经有一个文件,并且文件名和 filepath 中的文件名冲突,那么现有的文件会被新文件所替代。
1.2.2 Insert
INSERT INTO TABLE VALUES(XX,YY,ZZ);
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1,partcol2=val2 ...)] select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION ...]
Dynamic partition inserts动态分区插入:
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 SELECT ... FROM ...
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 select_statement2]...
数据写入到文件系统时进行文本序列化,且每列用^A来区分,\n为换行符。用more命令查看时不容易看出分割符,可以使用: sed-e 's/\x01/|/g' filename[dht2] 来查看。
1.2.3 SELECT
SELECT [ALL | DISTINCT] select_expr, select_expr, ...
[GROUP BY col_list [HAVING condition]]
| [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list]
注:1、order by 会对输入做全局排序,因此只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。
3、distribute by(字段)根据指定的字段将数据分到不同的reducer,且分发算法是hash散列。
4、Cluster by(字段) 除了具有Distributeby的功能外,还会对该字段进行排序。
因此,如果分桶和sort字段是同一个时,此时,cluster by = distribute by + sort by
select a.id,a.name,b.addr from a join b ona.id = b.id;
2.3 Hive Join
table_reference JOINtable_factor [join_condition]
| table_reference{LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition
| table_reference LEFT SEMIJOIN table_reference join_condition
SELECT a.* FROMa JOIN b ON (a.id = b.id)
ON (a.id = b.id AND a.department =b.department)
SELECT a.* FROM a JOIN b ON (a.id>b.id)
SELECT a.val,b.val, c.val FROM a JOIN b
ON (a.key =b.key1) JOIN c ON (c.key = b.key2)
如果join中多个表的join key 是同一个,则 join 会被转化为单个map/reduce 任务,例如:
SELECT a.val,b.val, c.val FROM a JOIN b
被转化为单个 map/reduce 任务,因为 join 中只使用了 b.key1 作为 join key。
SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key =b.key1)
而这一 join 被转化为2 个 map/reduce 任务。因为 b.key1 用于第一次 join 条件,而 b.key2 用于第二次 join。
SELECT a.val, b.val, c.val FROM a
JOIN b ON(a.key = b.key1) JOIN c ON (c.key = b.key1)
SELECT a.val,b.val, c.val FROM a
JOIN b ON(a.key = b.key1) JOIN c ON (c.key = b.key2)
这里用了 2 次map/reduce 任务。第一次缓存 a 表,用 b 表序列化;第二次缓存第一次 map/reduce 任务的结果,然后用 c 表序列化。
4.LEFT,RIGHT 和 FULLOUTER 关键字用于处理 join 中空记录的情况
a LEFT OUTER JOIN b ON (a.key=b.key)
对应所有 a 表中的记录都有一条记录输出。输出的结果应该是 a.val, b.val,当 a.key=b.key 时,而当 b.key 中找不到等值的 a.key 记录时也会输出:
“a RIGHT OUTER JOIN b”会保留所有 b 表的记录。
Join 发生在 WHERE 子句之前。如果你想限制 join 的输出,应该在 WHERE 子句中写过滤条件——或是在join 子句中写。这里面一个容易混淆的问题是表分区的情况:
LEFT OUTER JOINb ON (a.key=b.key)
WHEREa.ds='2009-07-07' AND b.ds='2009-07-07'
SELECT a.val,b.val FROM a LEFT OUTER JOIN b
这一查询的结果是预先在 join 阶段过滤过的,所以不会存在上述问题。这一逻辑也可以应用于 RIGHT 和 FULL 类型的join 中。
Join 是不能交换位置的。无论是 LEFT 还是RIGHT join,都是左连接的。
SELECT a.val1,a.val2, b.val, c.val
LEFT OUTER JOINc ON (a.key = c.key)
3、 LEFT SEMI JOIN是IN/EXISTS的高效实现。
3 Hive Shell参数
3.1 Hive命令行
hive [-hiveconf x=y]* [<-i filename>]* [<-ffilename>|<-e query-string>] [-S]
5、 -p<port> connect to Hive Server on port number
6、 -hiveconfx=y Use this to set hive/hadoop configuration variables.
3.2 Hive参数配置方式
https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
l 用户自定义配置文件:$HIVE_CONF_DIR/hive-site.xml
l 默认配置文件:$HIVE_CONF_DIR/hive-default.xml
另外,Hive也会读入Hadoop的配置,因为Hive是作为Hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。
命令行参数:启动Hive(客户端或Server方式)时,可以在命令行添加-hiveconfparam=value来设定参数,例如:
bin/hive-hiveconf hive.root.logger=INFO,console
这一设定对本次启动的Session(对于Server方式启动,则是所有请求的Sessions)有效。
4. Hive函数
4.1 内置运算符
4.2 内置函数
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
3、select substr('angelababy',2,3) from dual;
4.3 Hive自定义函数和Transform
当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。
4.3.1 自定义函数类别
UDF 作用于单个数据行,产生一个数据行作为输出。(数学函数,字符串函数)
UDAF(用户定义聚集函数):接收多个输入数据行,并产生一个输出数据行。(count,max)
4.3.2 UDF开发实例
1、先开发一个java类,继承UDF,并重载evaluate方法
package cn.itcast.bigdata.udf import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public final class Lower extends UDF{ public Text evaluate(final Text s){ if(s==null){return null;} return new Text(s.toString().toLowerCase()); } } |
hive>add JAR /home/hadoop/udf.jar;
Hive>create temporary function tolowercase as 'cn.itcast.bigdata.udf.ToProvince'; |
5、即可在hql中使用自定义的函数tolowercase ip
Select tolowercase(name),age from t_test;
{"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"} {"movie":"661","rate":"3","timeStamp":"978302109","uid":"1"} {"movie":"914","rate":"3","timeStamp":"978301968","uid":"1"} {"movie":"3408","rate":"4","timeStamp":"978300275","uid":"1"} {"movie":"2355","rate":"5","timeStamp":"978824291","uid":"1"} {"movie":"1197","rate":"3","timeStamp":"978302268","uid":"1"} {"movie":"1287","rate":"5","timeStamp":"978302039","uid":"1"} |
movie |
rate |
timestamp |
uid |
1197 |
3 |
978302268 |
1 |
4.3.3 Transform实现
Hive的 TRANSFORM 关键字提供了在SQL中调用自写脚本的功能
使用示例1:下面这句sql就是借用了weekday_mapper.py对数据进行了处理.
CREATE TABLE u_data_new ( movieid INT, rating INT, weekday INT, userid INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; add FILE weekday_mapper.py; INSERT OVERWRITE TABLE u_data_new SELECT TRANSFORM (movieid , rate, timestring,uid) USING 'python weekday_mapper.py' AS (movieid, rating, weekday,userid) FROM t_rating; |
#!/bin/python import sys import datetime for line in sys.stdin: line = line.strip() movieid, rating, unixtime,userid = line.split('\t') weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday() print '\t'.join([movieid, rating, str(weekday),userid]) |
5. Hive实战
Hive 实战案例1——数据ETL
需求:
ü 对web点击流日志基础数据表进行etl(按照仓库模型设计)
+------------------+------------+----------+--+ | col_name | data_type | comment | +------------------+------------+----------+--+ | valid | string | | | remote_addr | string | | | remote_user | string | | | time_local | string | | | request | string | | | status | string | | | body_bytes_sent | string | | | http_referer | string | | | http_user_agent | string | | +------------------+------------+----------+--+ |
数据示例:
| true|1.162.203.134| - | 18/Sep/2013:13:47:35| /images/my.jpg | 200| 19939 | "http://www.angularjs.cn/A0d9" | "Mozilla/5.0 (Windows | | true|1.202.186.37 | - | 18/Sep/2013:15:39:11| /wp-content/uploads/2013/08/windjs.png| 200| 34613 | "http://cnodejs.org/topic/521a30d4bee8d3cb1272ac0f" | "Mozilla/5.0 (Macintosh;| |
实现步骤:
--将来访url分离出host path query query id
drop table if exists t_etl_referurl; create table t_etl_referurl as SELECT a.*,b.* FROM t_orgin_weblog a LATERAL VIEW parse_url_tuple(regexp_replace(http_referer, "\"", ""), 'HOST', 'PATH','QUERY', 'QUERY:id') b as host, path, query, query_id |
3、从前述步骤进一步分离出日期时间形成ETL明细表“t_etl_detail” day tm
drop table if exists t_etl_detail; create table t_etl_detail as select b.*,substring(time_local,0,11) as daystr, substring(time_local,13) as tmstr, substring(time_local,4,3) as month, substring(time_local,0,2) as day, substring(time_local,13,2) as hour from t_etl_referurl b; |
drop table t_etl_detail_prt; create table t_etl_detail_prt( valid string, remote_addr string, remote_user string, time_local string, request string, status string, body_bytes_sent string, http_referer string, http_user_agent string, host string, path string, query string, query_id string, daystr string, tmstr string, month string, day string, hour string) partitioned by (mm string,dd string); |
insert into table t_etl_detail_prt partition(mm='Sep',dd='18') select * from t_etl_detail where daystr='18/Sep/2013'; insert into table t_etl_detail_prt partition(mm='Sep',dd='19') select * from t_etl_detail where daystr='19/Sep/2013'; |
create table t_refer_host_visit_top_tmp as select referer_host,count(*) as counts,mm,dd,hh from t_display_referer_counts group by hh,dd,mm,referer_host order by hh asc,dd asc,mm asc,counts desc; |
select * from (select referer_host,counts,concat(hh,dd),row_number() over (partition by concat(hh,dd) order by concat(hh,dd) asc) as od from t_refer_host_visit_top_tmp) t where od<=3; |
Hive 实战案例2——访问时长统计
需求:
实现步骤:
1、 由于要从大量请求中分辨出用户的各次访问,逻辑相对复杂,通过hive直接实现有困难,因此编写一个mr程序来求出访客访问信息(详见代码)
[hadoop@hdp-node-01 ~]$ hadoop jar weblog.jar cn.itcast.bigdata.hive.mr.UserStayTime /weblog/input /weblog/stayout |
drop table t_display_access_info_tmp; create table t_display_access_info_tmp(remote_addr string,firt_req_time string,last_req_time string,stay_long bigint) row format delimited fields terminated by '\t'; load data inpath '/weblog/stayout4' into table t_display_access_info_tmp; |
3、得出访客访问信息表 "t_display_access_info"
由于有一些访问记录是单条记录,mr程序处理处的结果给的时长是0,所以考虑给单次请求的停留时间一个默认市场30秒
drop table t_display_access_info; create table t_display_access_info as select remote_addr,firt_req_time,last_req_time, case stay_long when 0 then 30000 else stay_long end as stay_long from t_display_access_info_tmp; |
select avg(stay_long) fromt_display_access_info;
Hive实战案例3——级联求和accumulate
需求:
访客 |
月份 |
访问次数 |
A |
2015-01 |
5 |
A |
2015-01 |
15 |
B |
2015-01 |
5 |
A |
2015-01 |
8 |
B |
2015-01 |
25 |
A |
2015-01 |
5 |
A |
2015-02 |
4 |
A |
2015-02 |
6 |
B |
2015-02 |
10 |
B |
2015-02 |
5 |
…… |
…… |
…… |
需要输出报表:t_access_times_accumulate
访客 |
月份 |
月访问总计 |
累计访问总计 |
A |
2015-01 |
33 |
33 |
A |
2015-02 |
10 |
43 |
……. |
……. |
……. |
……. |
B |
2015-01 |
30 |
30 |
B |
2015-02 |
15 |
45 |
……. |
……. |
……. |
……. |
实现步骤
select A.username,A.month,max(A.salary) as salary,sum(B.salary) as accumulate from (select username,month,sum(salary) as salary from t_access_times group by username,month) A inner join (select username,month,sum(salary) as salary from t_access_times group by username,month) B on A.username=B.username where B.month <= A.month group by A.username,A.month order by A.username,A.month; |
如果指定了 LOCAL,那么:
load 命令会去查找本地文件系统中的 filepath。如果发现是相对路径,则路径会被解释为相对于当前用户的当前路径。
load 命令会将 filepath中的文件复制到目标文件系统中。目标文件系统由表的位置属性决定。被复制的数据文件移动到表的数据对应的位置。
如果没有指定 LOCAL 关键字,如果 filepath 指向的是一个完整的 URI,hive 会直接使用这个 URI。否则:如果没有指定 schema 或者 authority,Hive 会使用在 hadoop 配置文件中定义的 schema 和 authority,fs.default.name指定了 Namenode 的 URI。
如果路径不是绝对的,Hive 相对于/user/进行解释。
Hive 会将 filepath 中指定的文件内容移动到table (或者 partition)所指定的路径中。
Hive基本操作,DDL操作(创建表,修改表,显示命令),DML操作(Load Insert Select),Hive Join,Hive Shell参数(内置运算符、内置函数)等相关推荐
- HBase--JavaAPI的操作,创建表修改表,增删改查数据
DDL: public class HbaseClientDemo {Connection conn = null;@Beforepublic void getConn() throws Except ...
- php创建表并插入数据,php数据库操作-创建库和表以及插入数据
以上我们正确连接到了mysql数据库,本文将进一步创建数据库,表,在表中填充数据. 大家知道连接上数据库才能进行操作,同样的代码搬过来 /* * 数据库操作*(创建数据库,表,插入数据,插入多条数据) ...
- Oracle-1:的列操作(增加列,修改列,删除列),包括操作多列
Oracle的列操作(增加列,修改列,删除列),包括操作多列 增加一列: alter table emp4 add test varchar2(10); 修改一列: alter table emp4 ...
- c# 注册表操作,创建,删除,修改,判断节点是否存在
用.NET下托管语言C#操作注册表,主要内容包括:注册表项的创建,打开与删除.键值的创建(设置值.修改),读取和 删除.判断注册表项是否存在.判断键值是否存在. 准备工作: 1:要操作注册表,我们必 ...
- MySQL表操作-创建表/删除表/修改表
一.创建表 CREATE TABLE 表名( 字段1 类型 [约束], //中括号的意思是可选项 字段2 类型 [约束], ... ..., 字段n 类型 [约束] ); 二.删除表 DROP TAB ...
- Oracle DB 使用DDL语句创建和管理表
• 对主要的数据库对象进行分类 • 查看表结构 • 列举列可以使用的数据类型 • 创建简单的表 • 说明创建表时如何创建约束条件 • 描述方案对象如何工作 • 数据库对象 – 命名规则 • CREAT ...
- SQL 基础之DDL语句创建和管理表(十四)
数据库对象 Object 描述 表 基本的数据存储集合,由行和列组成 View 从一张表或多张表中抽出的 逻辑上相关的数据集合 序列 生成规律的数值 index 索引 提高查询性能 Synonym 别 ...
- 数据库——python操作MySQL、修改表SQL语句、视图、触发器、存储过程、事务、流程控制、常见函数、索引
文章目录 一.python操作MySQL 1.pymysql模块 1.基本使用 2.sql注入问题 3.二次确认 二.修改表SQL语句 1.修改表的名字 rename 2.添加字段 add 3.修改字 ...
- sql基本操作实例(一)创建数据库和表,并填入数据
1.创建数据库 create database pratice 2.创建表 use pratice; create table Student(Sno char(3) not null primary ...
最新文章
- LeetCode Python题解(一)----双指针法
- 个人作业-Alpha项目测试
- Remote Desktop Manager 2019中文版
- PaperSize.RawKind 属性
- 【Ynoi2011】成都七中【树论】【点分树】【离线】【树状数组】
- 1.Hello,Python
- nacos启动_nacos微服务注册中心
- webpack5不要再用url-loader了
- [转载] css border-collapse
- mysql句柄是什么_什么是句柄?为什么会有句柄?HANDLE
- 如何做网络投票的刷票外挂(一)
- selenium IED安装
- 抖音最近很火的游戏直播:挤地铁教程+源码+软件下载
- Google 镜像站IP地址
- 云仓:大数据环境下的库存分布
- android 性格测试 csdn,华为加密状态码查询脚本
- Rockchip | 使用SD卡启动或升级固件到本地存储
- 怎样打开aspx文件
- Android 9.0 在init.rc中启动一个服务
- 易语言mysql防破解_易语言程序真正防止破J的思路以及解决案例
热门文章
- 36篇博文带你学完opencv :python+opencv进阶版学习笔记目录
- opencv学习笔记17:梯度运算之laplacian算子及其应用
- 基于数据处理的CSV格式行列变换及数据清洗
- VTK:阴影灯用法实战
- OpenCASCADE绘制测试线束:拓扑命令之纹理映射到形状
- OpenCASCADE可视化:应用交互服务之交互式上下文
- BOOST使用 proto 转换进行任意类型操作的简单示例
- boost::compose_property_map相关的测试程序
- boost::log::attributes::make_function用法的测试程序
- boost::hana::find用法的测试程序