hive的一些常用命令

表、程序名命名规则：层级+模块+业务+行为+周期；

创建存储格式为ORC格式的表：压缩比1：50
查询性能最快

hive的常用操作命令
查看库 show databases；
使用库（要操作的库） use 库名；
查看库中有那些表 show tables;
查看表结构 desc tdw_credit_bass_m; --- tdw_credit_bass_m 表名
查看表结构 describe extended table_name
查看建表语句 show create table tdw_credit_bass_m ;
查看分区 show partitions tdw_credit_bass_m;
删除分区
alter table tdw_credit_bass_m drop if exists partition(statis_month=201701);
alter table tdw_credit_bass_m drop partition(statis_month=201701);

清空分区：TRUNCATE table proj_mbgprc_dcp_dev.mbg3s_mbg_inventory_cdl PARTITION(report_date= '2019-07-10')

增加分区
alter table tdw_credit_bass_m add if not exists partition(statis_month=201701);
alter table tdw_credit_bass_m add partition(statis_month=201701);
往分区插数据
insert into tdw_credit_bass_m partiton(statis_month=201701) --指定分区插入，必须有201701这个分区
select ...

insert into tdw_credit_bass_m partiton(statis_month) --动态分区，根据statis_month值自动判断分区，如果没有这个分区，会自动创建
select ...

往分区插入数据一般使用
alter table tdw_credit_bass_m drop if exists partition(statis_month=201701);
alter table tdw_credit_bass_m add if not exists partition(statis_month=201701);
insert into tdw_credit_bass_m partiton(statis_month=201701)
...
或
alter table tdw_credit_bass_m drop if exists partition(statis_month=201701);
insert into tdw_credit_bass_m partiton(statis_month)
...

增加列
alter table tdw_credit_bass_m add columns (imei string);
修改列名
alter table tdw_credit_bass_m change imei imei_new string;

// 删除字段(使用新schema替换原有的)
ALTER TABLE test REPLACE COLUMNS(id BIGINT, name STRING);
原有Hive表test_change中有a,b,c,d,e这几个字段
将从test_change中删除“d”列:
ALTER TABLE test_change REPLACE COLUMNS (a int, b int,c string,e string);
将d和e两列一起删除:
ALTER TABLE test_change REPLACE COLUMNS (a int, b int,c string);

获取日期数据第几周：
select weekofyear(to_date(from_unixtime(unix_timestamp(substr(activation_time,1,8),'yyyymmdd'),'yyyy-mm-dd'))) from proj_mbgprc_dcp_dev.mid_mbg_report_so_cdl

查询两张表不同的数据

select count(a.bill_date) from proj_mbgprc_dcp_dev.ludb_time_test11 a left outer join
proj_mbgprc_dcp_dev.ludb_time_test1 b on a.bill_date=b.bill_date and a.bill_date is null

2、替换函数

select cast(substring(regexp_replace('2016-06-05 00:00:00.0', '-', ''),1,8) as int);

结果--》20160605

hive的一些常用命令相关推荐

linux 查看hbase是否启动命令,linux、hdfs、hive、hbase常用命令
linux常用命令 pwd 查看当前工作目录的绝对路径 cat input.txt 查看input.txt文件的内容 ls 显示当前目录下所有的文件及子目录 rm recommender-dm-1.0 ...
Hive Shell 常用命令
Hive 命令行常用命令加载数据 load data local inpath '/home/IVR_CSR_MENU_MAP.txt' into table ivr_csr_menu_map; ...
hive mysql命令,Hive数据库常用命令
收藏一些Hive数据库常用命令,方便平时准备测试数据集. 查看库.创建普通Hive表: show databases; user lch_databases; show tables; create ...
Hive sql 常用命令2
原文地址:https://zhuanlan.zhihu.com/p/132720059 基本概念外部表EXTERNAL:删除表并不会删除数据,但描述表的元数据信息会被删除掉. 分区表:使用分区来水平 ...
hadoop组件---数据仓库(四)---hive常用命令
安装好hive的环境之后我们可以尝试一些常用的命令,常用命令也可以作为平时工作中的速查手册. 进入hive控制台首先需要知道hive的启动目录在哪,可以使用命令 whereis hive 启动hi ...
3.2.3 Sqoop 数据迁移工具, 导入数据import, MySQL到HDFS/Hive, 导出数据export,增量数据导入, Sqoop job,常用命令及参数
目录数据迁移工具 -- Sqoop 第一部分 Sqoop概述第二部分安装配置第三部分应用案例第 1 节导入数据import MySQL 到 HDFS MySQL 到 Hive 第 2 节 ...
HIVE常用命令——使用SHELL命令和HDFS命令
HIVE客户端使用SHELL命令和HDFS命令如果需要使用shell命令,可以通过!+shell命令来实现,注意结尾带上分号; hive (default)> ! ls -l /usr; dr ...
Sqoop（二）常用命令及常数解析
本文转自:https://www.cnblogs.com/yfb918/p/10855154.html 一.常用命令列举二.命令及参数详解 1.数据库连接 2.import 3.export 4.h ...
HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍
3.HDFS的shell(命令行客户端)操作 3.1 HDFS命令行客户端使用 HDFS提供shell命令行客户端,使用方法如下: [toto@hadoop hadoop-2.8.0]$ hdfs d ...

hive的一些常用命令

hive的一些常用命令相关推荐

最新文章

热门文章