2021-09-02Hive 未被external修饰的是内部表，被external修饰的是外部表

hive 内部表和外部表的区别？
hive 是如何实现分区的？
Hive 有哪些方式保存元数据，各有哪些优缺点？
hive中order by、distribute by、sort by和cluster by的区别和联系
hive 中的压缩格式 RCFile、 TextFile、 SequenceFile 各有什么区别？
hive 如何优化？

2|0hive 内部表和外部表的区别？

未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；
内部表数据由Hive自身管理，外部表数据由HDFS管理；
内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里）；
删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除；
对内部表的修改会将修改直接同步给元数据，而对外部表的表结构和分区进行修改，则需要修复（MSCK REPAIR TABLE table_name;）
修改外部表想要生效，需要先把外部表转内部表，然后修改，再转外部表。

3|0hive 是如何实现分区的？

建表语句：
create table tablename (id) partitioned by (dt string)
增加分区：
alter table tablenname add partition (dt = ‘2016-03-06’)
删除分区：
alter table tablename drop partition (dt = ‘2016-03-06’)

4|0Hive 有哪些方式保存元数据，各有哪些优缺点？

存储于 derby数据库，此方法只能开启一个hive客户端，不推荐使用
存储于mysql数据库中，可以多客户端连接，推荐使用

5|0hive中order by、distribute by、sort by和cluster by的区别和联系

order by
order by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样，它只在一个reduce中进行所以数据量特别大的时候效率非常低。
而且当设置：set hive.mapred.mode=strict的时候不指定limit，执行select会报错，如下：
LIMIT must also be specified。

sort by
sort by 是单独在各自的reduce中进行排序，所以并不能保证全局有序，一般和distribute by 一起执行，而且distribute by 要写在sort by前面。
如果mapred.reduce.tasks=1和order by效果一样，如果大于1会分成几个文件输出每个文件会按照指定的字段排序，而不保证全局有序。
sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响。

distribute by
DISTRIBUTE BY 控制map 中的输出在 reducer 中是如何进行划分的。使用DISTRIBUTE BY 可以保证相同KEY的记录被划分到一个Reduce 中。

cluster by
distribute by 和 sort by 合用就相当于cluster by，但是cluster by 不能指定排序为asc或 desc 的规则，只能是升序排列。

6|0hive 中的压缩格式 RCFile、 TextFile、 SequenceFile 各有什么区别？

TextFile：默认格式，数据不做压缩，磁盘开销大，数据解析开销大

SequenceFile：Hadoop API提供的一种二进制文件支持，使用方便，可分割，可压缩，支持三种压缩，NONE，RECORD，BLOCK。

RCFILE：是一种行列存储相结合的方式。首先，将数据按行分块，保证同一个 record 在同一个块上，避免读一个记录读取多个block。其次，块数据列式存储，有利于数据压缩和快速的列存取。数据加载的时候性能消耗大，但具有较好的压缩比和查询响应。

7|0hive 如何优化？

join 优化，尽量将小表放在 join 的左边，如果一个表很小可以采用 mapjoin。
排序优化，order by 一个 reduce 效率低，distirbute by +sort by 也可以实现全局排序。
使用分区，查询时可减少数据的检索，从而节省时间。