hive sql操作

2019独角兽企业重金招聘Python工程师标准>>>

操作hive库时，发现发现它的sql与平时使用的sql有一定区别，做一些操作时，各种尝试，严重影响效率，决定总结，方便查阅。

hive是基于hdfs为文件系统的数据库，mapReduce为运算核心。

创建数据库（文本格式存储）：

CREATE TABLE test( `a` bigint, `b` bigint, `url` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '分隔符'
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '存储路径'

orc统一为：org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

修改存储路径：

alter table 库名.表名 set location '存储路径'

查找表：

show tables like '*name*';

添加字段：

alter table 库名.表名 add columns(字段名字段类型);

修改字段：

alter table 库名.表名 change 旧字段名新字段名类型;

说明：压缩格式存储的表，修改字段类型，原有数据不可使用，慎重。

删除字段：

ALTER TABLE test REPLACE COLUMNS ( `a` bigint, `b` bigint);

即删除原表url字段。

hive删除字段和平时不太一样，不能drop字段，我使用的版本不支持。

修改空值null为默认值0

alter table 库名.表名 set serdeproperties('serialization.null.format' = '0');

修改表名：

alter table 库名.旧表名 to 库名.新表名

删除分区：

alter table 库名.表名 DROP IF EXISTS PARTITION (分区名='值',分区名='值');

添加分区：

alter table 库名.表名 if not exists add partition (分区名='值',分区名=‘值’);

转载于:https://my.oschina.net/wangzonghui/blog/2872806

hive sql操作相关推荐

Hive SQL操作与函数自定义（二）
9 Operators and UDFs 9.1 内置运算符 9.1.1 关系运算符操作符运算对象的类型描述 A <=> B ALL 都是NULL时,返回TRUE,有一为NULL时, ...
Hive是如何让MapReduce实现SQL操作的？
learn from 从0开始学大数据(极客时间) 1. MapReduce 实现 SQL 的原理 SELECT pageid, age, count(1) FROM pv_users GROUP B ...
Spark SQL操作Hive表
Spark SQL支持从Hive存储中读写数据.然而,Hive存在很多的依赖,而这些依赖又不包含在默认的各类Spark发型版本中.如果将Hive的依赖放入classpath中,Spark将自动加载它们 ...
Hive基本SQL操作
Hive基本SQL操作库的创建与删除建库语句删除库修改表的建删改查建表语句的结构表相关的SQL语句建表语句创建普通表创建字段限制的表创建hive表 create like语法创 ...
Hadoop Hive sql 语法详细解释
Hive 是基于Hadoop 构建的一套数据仓库分析系统.它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,能够将结构化的数据文件映射为一张数据库表,并提供完整的SQL查 ...
beeline执行sql语句_由“Beeline连接HiveServer2后如何使用指定的队列（Yarn）运行Hive SQL语句”引发的一系列思考...
背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2,目前的任务使用Hive SQL构建,分为两种类型:手动任务(临时分析需求).调度任务(常规分析需求),两者均通过我们的We ...
Hadoop Hive sql语法详解
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查 ...
python应用中调用spark_在python中使用pyspark读写Hive数据操作
1.读Hive表数据 pyspark读取hive数据非常简单,因为它有专门的接口来读取,完全不需要像hbase那样,需要做很多配置,pyspark提供的操作hive的接口,使得程序可以直接使用SQL语 ...
hive hql文档_30分钟入门 Hive SQL（HQL 入门篇）
Hive SQL 几乎是每一位互联网分析师的必备技能,相信每一位面试过大厂的童鞋都有被面试官问到 Hive 优化问题的经历.所以掌握扎实的 HQL 基础尤为重要,既能帮分析师在日常工作中"如 ...

hive sql操作

hive sql操作相关推荐

最新文章

热门文章