点击上方“风控圈子” 

选择“星标”公众号

每天早上8:30，一起实现自我增值

Hive是基于Hadoop的一个数据仓库工具，使用类SQL的查询语句，即HQL对数据进行查询，其本质是将HQL语句转化为MapReduce任务执行。Hive的数据存储于HDFS兼容的文件系统。为提高文件查询效率，Hive也有分区分桶的操作，本文具体介绍二者的区别与实践代码。

01

hive与关系型数据库的区别

1、Hive数据查询

Hive使用类SQL的查询语句HQL，本质上是将其转化为MapReduce任务运行；

2、数据存储位置

Hive将数据存储在HDFS，而关系型数据库则是将数据存在块设备或者本地文件系统中；

3、数据格式

Hive没有定义专门的数据格式，数据格式由用户指定。为定义数据格式，用户需要指定三个属性：列分隔符(通常为空格，"\t","\x001"),行分隔符("\n")及文件读取方法(Hive中默认有三种文件格式：TextFile、Sequencefile、RCFile)。由于在加载数据的过程中，不需要从用户数据格式到hive定义的数据格式转换，因此，Hive在加载过程中不会对数据本身进行任何修改，而只是数据内容的复制或者移动到相应的HDFS目录中。而在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储，因此数据库加载数据的过程会比较耗时；

4.数据更新

由于Hive是针对数据仓库应用设计的，而数据仓库的仓库是读多写少，因此，Hive中不支持数据的改写和添加，所有数据都是加载的时候确定好的。而数据库中的数据通常要经常进行修改的，因此可以使用insert into 关键字添加数据，使用update …set修改数据，且仅支持覆盖重写整个表；

5．执行延迟

Hive查询数据的时候，需要扫描整个表格，导致延迟高，另外一个原因就是，执行Hive计算的框架是Hadoop，由于MapReduce本身具有较高的延迟，因此有较高的延迟，因此当数据规模较小的时候，不太于适用Hive；02

hive分区操作

hive分区是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。该情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找。

1、创建分区表

hive> create table ptest (userid int) partitioned by (name string) row format delimited fields terminated by '\t';

注意：

①、在创建分区表时，通过关键字 partitioned by (name  string)声明该表是分区表，并且是按照字段name进行分区，name值一致的所有记录存放在一个分区中，分区属性name的类型是string类型。当然，可以依据多个列进行分区，即对某个分区的数据按照某些列继续分区

②、所谓分区，这是将满足某些条件的记录打包，做个记号，在查询时提高效率，相当于按文件夹对文件进行分类，文件夹名可类比分区字段。这个分区字段形式上存在于数据表中，在查询时会显示到客户端上，但并不真正在存储在数据表文件中，是所谓伪列。所以，千万不要以为是对属性表中真正存在的列按照属性值的异同进行分区。比如上面的分区依据的列name并不真正的存在于数据表中，是我们为了方便管理添加的一个伪列，这个列的值也是我们人为规定的，不是从数据表中读取之后根据值的不同将其分区。我们并不能按照某个数据表中真实存在的列，如userid来分区

2、将本地文件中的数据加载到分区表中

hive> load data local inpath '/home/hadoop/dataset/ptest.txt' into table ptest partition(name='Jack');

注意：向分区表导入数据时，通过关键字partition(name="jack")声明数据要导入到表的哪个分区，这里表示要将数据导入到分区为name=jack的分区

3、查看分区数据

hive> select userid from ptest where name="Jack";

分区目的在于提高查询效率，查询分区数据的方式就是指定分区名，此时不再全表扫描，而是直接从指定分区(如name=jack的分区)中查询，从hdfs的角度看就是从相应的文件系统中(如name=jack文件夹下)去查找特定的数据

4、查看分区信息

hive> show partitions ptest;

5、向分区中插入数据

hive> insert overwrite table ptest partition (name="Jack") select name from userinfo;

该操作中，我们就可以验证分区所依据的列其实是一个伪列，如果你要从具有相同结构的分区表中导入数据，会失败。比如两个分区表，都有两个真实的列和一个分区列(伪列)，我们要将一个分区表中的数据导入到另一个分区表，会报错。错误信息显示要导入的表只有两列(伪列不记在内，这说明其实数据表文件中只有两列)，而源表却有三列(将伪列计算在类)。

03

hive分桶操作

分桶是相对分区进行更细粒度的划分。分桶将整个数据内容安装某列属性值的hash值进行区分，如要安装name属性分为3个桶，就是对name属性值的hash值对3取模，按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件

1、创建分桶表

hive> hive.enforce.bucketiong=true;hive> create table btest(id int,name string) clustered by(id) into 3 buckets row format delimited fields terminated by '\t';

注意：

①、分桶之前要执行命令hive.enforce.bucketiong=true;

②、使用关键字clustered by 指定分区依据的列名及桶数

③、与分区不同的是，分区依据的不是真实数据表文件中的列，而是我们指定的伪列，但是分桶是依据数据表中真实的列而不是伪列。所以在指定分区依据的列的时候要指定列的类型，因为在数据表文件中不存在这个列，相当于新建一个列。而分桶依据的是表中已经存在的列，这个列的数据类型显然是已知的，所以不需要指定列的类型

2、向桶中插入数据

hive> insert overwrite table btest select * from userinfo;

3、查看桶信息

hive> dfs -ls /user/hive/warehouse/btest;

4、查看分桶数据

hive> select * from btest tablesample(bucket 1 out of 3 on id);

04

hive分区分桶

hive> create table logs(ts bigint,line string)     > partitioned by(dt string,country string)    > clustered by (ts) sorted by (ts asc) into 4 buckets    > row format delimited fields terminated by '\t';

注意：上述代码实现了对数据表分区后继续分桶的操作。我们在hdfs文件系统上看不出分桶的多个数据表文件，只能看见一个文件，但是能从文件路径上或查询分桶结果时可看出分区的信息。

全文完，感谢您的耐心阅读

请顺手点个“好看”吧~

▼ 往期精彩回顾 ▼