Hive元数据信息获取
- 如何获取Hive库表字段分区信息
1 获取Hive的所有数据库信息
如果注释字段中文乱码,则需要修改字符集(正常情况都需要修改)。
SELECT`NAME` NAME,ANY_VALUE ( `DESC` ) COMMENT,ANY_VALUE ( `DB_LOCATION_URI` ) path
FROM`DBS`
GROUP BY`NAME
2 根据数据库名获取数据表信息
path
字段对应着Hive表在Hdfs的路径,在做数据同步的时候很重要(比如使用dataX
进行数据同步,当然手写JSON也是很累的,但是还好有datax-web开源项目),type
字段可以看出表的储存格式(目前已知Hive可以直接加载Hdfs目录中的text格式
和parquet格式
文件)。
SELECTtb.TBL_NAME NAME,tp.PARAM_VALUE COMMENT,sds.INPUT_FORMAT type,sds.LOCATION path
FROMDBS dbLEFT JOIN TBLS tb ON tb.DB_ID = db.DB_IDLEFT JOIN TABLE_PARAMS tp ON tp.TBL_ID = tb.TBL_ID AND tp.PARAM_KEY = 'comment'LEFT JOIN SDS sds ON sds.SD_ID = tb.SD_ID
WHEREdb.`NAME` = 'test'
ORDER BYtb.TBL_NAME
3 根据数据库名、数据表名获取表字段信息
此处查询结果只会展示表的字段信息(分区字段不会在该查询语句的结果中显示)。
SELECTcol.COLUMN_NAME NAME,col.TYPE_NAME type,col.`COMMENT` COMMENT,col.INTEGER_IDX position
FROMDBS dbLEFT JOIN TBLS tb ON tb.DB_ID = db.DB_IDLEFT JOIN SDS sds ON sds.SD_ID = tb.SD_IDLEFT JOIN COLUMNS_V2 col ON sds.CD_ID = col.CD_ID
WHEREdb.NAME = 'test' AND tb.TBL_NAME = 'person'
ORDER BYcol.INTEGER_IDX
4 根据数据库名、数据表名获取表分区信息
至于分区字段为什么单独拿出来不合到表字段里,是因为每个分区对应着一个Hdfs目录。分区有目录,字段没有啊怎么能放到一起。(在使用datax同步分区数据时会将分区数据同步到分区表指定的分区目录中)。
4.1 查看分区表分区字段信息
创建一个分区表用年、月、日三级目录进行分区:
create table if not exists person_partition(name string comment '姓名',age int comment '年龄'
) comment '测试表'
partitioned by (year string comment '年',month string comment '月',day string comment '日'
)
stored as parquet;
SELECTpk.PKEY_NAME NAME,pk.PKEY_TYPE type,pk.PKEY_COMMENT COMMENT,pk.INTEGER_IDX position
FROMDBS dbLEFT JOIN TBLS tb ON tb.DB_ID = db.DB_IDLEFT JOIN PARTITION_KEYS pk ON pk.TBL_ID = tb.TBL_ID
WHEREdb.`NAME` = 'test' AND tb.TBL_NAME = 'person_partition'
ORDER BYpk.INTEGER_IDX
4.2 查看分区表的分区信息
当前表中还没有分区,先来加几个分区:
- 添加分区【同时会在Hdfs中创建目录】:
alter table [table] add partition(col,..);
- 删除分区【同时会在Hdfs中删除目录】:
alter table [table] drop partition(col,..);
alter table person_partition add if not exists partition(year=2015,month=12,day=26);
alter table person_partition add if not exists partition(year=2016,month=12,day=26);
alter table person_partition add if not exists partition(year=2017,month=12,day=26);
alter table person_partition add if not exists partition(year=2018,month=12,day=26);
alter table person_partition add if not exists partition(year=2019,month=12,day=26);
alter table person_partition add if not exists partition(year=2020,month=12,day=26);
接下来查询下分区表的分区信息,看看每个分区对应的Hdfs路径(使用datax数据同步时将会使用到):
SELECTdb.`NAME` dbName,tb.TBL_NAME tbName,part.PART_NAME partName,sds.LOCATION path
FROM`PARTITIONS` partLEFT JOIN TBLS tb ON tb.TBL_ID = part.TBL_IDLEFT JOIN DBS db ON db.DB_ID = tb.DB_IDLEFT JOIN SDS sds ON sds.SD_ID = part.SD_ID
WHEREdb.`NAME` = 'test' AND tb.TBL_NAME = 'person_partition'
附录
A.1 Hive元数据中文乱码
hive配置表的元数据放到mysql中存储,mysql中默认表被创建的时候用的是默认的字符集(latin1),所以会出现中文乱码。
解决方案:
(1)在Hive元数据存储的Mysql数据库(MetaStore)中,执行以下SQL:
#修改字段注释字符集
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
#修改表注释字符集
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
#修改分区参数,支持分区建用中文表示
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(20000) character set utf8;
#修改索引名注释,支持中文表示
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
#修改视图,支持视图中文
ALTER TABLE TBLS modify COLUMN VIEW_EXPANDED_TEXT mediumtext CHARACTER SET utf8;
ALTER TABLE TBLS modify COLUMN VIEW_ORIGINAL_TEXT mediumtext CHARACTER SET utf8;
(2)修改hive-site.xml中Hive读取元数据的编码(注意原先是否配置过)
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>
</property>
注意的是,之前创建的表的元数据已经损坏了,所以无法恢复中文乱码,只能重新创建表
Hive元数据信息获取相关推荐
- SparkSQL Catalog的作用和访问Hive元数据信息
SparkSQL Catalog的作用: SparkSQL直接访问hive元数据信息,不再需要去mysql里的表里去查找 Spark 2.0中添加了标准的API(称为catalog)来访问Spark ...
- hive 元数据信息表解析
目录 1 概述 2 Hive元数据表结构 1.存储Hive版本的元数据表(VERSION) 2.Hive数据库相关的元数据表(DBS.DATABASE_PARAMS) 3.Hive表和视图相关的元数据 ...
- hive查看数据库里库的信息_Hive学习之路 (三)Hive元数据信息对应MySQL数据库表...
概述 Hive 的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理.上一篇hive的安装也是将元数据信息存放在MySQL数据库中. Hive的元数据信息在MySQL数据中有57 ...
- Hive元数据信息表详解
1.存储Hive版本的元数据表(VERSION) 2.Hive数据库相关的元数据表(DBS.DATABASE_PARAMS) DBS:该表存储Hive中所有数据库的基本信息 字段如下: DATABAS ...
- Spark 学习(十一) spark使用hive的元数据信息
一,简介 二,shell方式配置和使用hive元数据信息 2.1 文件配置 2.2 驱动包加载 2.3 命令行启动 三,IDEA编程方式使用hive元数据信息 3.1 添加依赖 3.2 程序示例 正文 ...
- impala元数据放到mysql_impala系列: 同步Hive元数据和收集统计信息
---==================== -- Impala 获取hive 的 metadata ---==================== Impala 通常和Hive共用同一个metad ...
- jdbc获取mysql第二行表信息_【奇技淫巧】MySQL另类方法获取元数据信息
问:在进行MySQL注入时,我们通常是通过information_schema元数据来获取表名.字段名信息,从而读取相应数据.但是如果waf或其它过滤了information_schema关键字,那么 ...
- 通过系统表获取SQL,Access,Oracle数据库的元数据信息
元数据简介 元数据 (metadata) 最常见的定义为"有关数据的结构数据",或者再简单一点就是"关于数据的信息",日常生活中的图例.图书馆目录卡和名片等都可 ...
- clodera scm 数据库表信息 和 hive元数据整理
一. cloudera 会将页面的数据存储到 SCM 中 其表结构梳理(对应生产BAOFOO_SCM) AUDITS 登录信息.服务,角色重启.配置更改 PROCESSES 进程信息.这里面有很多信息 ...
最新文章
- Android .mk文件语法解析
- 在switch case 语句中能否使用continue 关键字?为什么?
- string 中的offset_Kafka+Spark Streaming管理offset的几种方法
- php-fpm自启动,php-fpm自启脚本
- SQL基础【十七、uuid()、sys_guid()、newid()】
- 【全国动态】服务器列表
- css案例学习之按钮超链接
- statistic在c语言中的作用,模型评价除了C-statistic,还能用什么指标?
- Python基础-range()函数(定义一段整数范围)
- 将 Typora 小工具添加到右键菜单中
- 2021年软考VRRP虚拟路由冗余技术
- Tomcat服务器内存修改
- ADAS视觉方案盘点:摄像头、芯片和算法
- dwm1000 用c语言控制,DWM1000 测距原理简单分析(示例代码)
- 金士顿u盘写保护修复教程
- C语言实现电脑关机程序
- ora-01033 解决方法
- Oracle 后台进程详解
- win11 打开 IE7 兼容模式
- SDN和NFV并没有迅速落地的原因是什么?