hive查看表中列的信息命令_快速了解hive
作者丨HappyMint
文章选摘:大数据与人工智能
这是作者的第7篇文章
本文主要针对从事大数据分析和架构相关工作,需要与hive打交道但目前对hive还没有进行深层次了解的小伙伴,希望本文会让你对hive有一个快速的了解。
内容主要包括什么是hive、为什么要有hive、hive的架构、hive的数据组织以及hive的使用之DDL操作。
1.什么是 hive?
1 是基于 Hadoop 的一个数据仓库工具;
2 可以将结构化的数据映射为一张数据库表;
3 并提供 HQL(Hive SQL)查询功能;
4 底层数据是存储在 HDFS 上;
5 Hive的本质是将 SQL 语句转换为 MapReduce、Tez 或者 spark 等任务执行;
6 适用于离线的批量数据计算。
2. 为什么要有 hive?
如上文第5点已经提到的,hive可以封装MapReduce、Tez、Spark等这些引擎的处理过程,让使用者在不了解这些计算引擎具体执行细节的情况下就可以处理数据,使用者只需要学会如何写sql即可。
hive可很好的解决直接使用 MapReduce、Tez、Spark等时所面临的两个主要问题:
① 直接使用 MapReduce、Tez、Spark学习成本太高,因为需要了解底层具体执行引擎的处理逻辑,而且需要一定的编码基础;而Hive提供直接使用类sql语言即可进行数据查询和处理的平台或接口,只要使用者熟悉sql语言即可;
② MapReduce、Tez、Spark实现复杂查询逻辑开发难度大,因为需要自己写代码实现整个处理逻辑以及完成对数据处理过程的优化,而hive将很多数据统计逻辑封装成了可直接使用的窗口函数,且支持自定义窗口函数来进行扩展,而且hive有逻辑和物理优化器,会对执行逻辑进行自动优化。
3. hive的架构
作为hadoop的一个数据仓库工具,hive的架构设计如下:
可以看出,Hive的内部架构总共分为四大部分:
1 用户接口层(cli、JDBC/ODBC、Web UI)
(1) cli (Command Line Interface),shell终端命令行,通过命令行与hive进行交互;
(2) JDBC/ODBC,是 Hive 的基于 JDBC 操作提供的客户端,用户(开发员,运维人员)通过客户端连接至 Hive server 服务;
(3)Web UI,通过浏览器访问hive。
2 元数据存储系统
(1) 元数据 ,通俗的讲,就是存储在 Hive 中的数据的描述信息;
(2)Hive 中的元数据通常包括:表的名字,表的列和分区及其属性,表的属性(内部表和 外部表),表中数据所在的目录;
(3)Metastore 默认存在自带的 Derby 数据库或者我们自己创建的 MySQL 库中;
(4)Hive 和 MySQL或Derby 之间通过 MetaStore 服务交互。
3 Thrift Server-跨语言服务
Hive集成了Thrift Server,让用户可以使用多种不同语言来操作hive。
4 Driver(Compiler/Optimizer/Executor)
Driver完成HQL查询语句的词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS上,并由MapReduce调用执行。
整个过程的执行步骤如下:
(1) 解释器完成词法、语法和语义的分析以及中间代码生成,最终转换成抽象语法树;
(2) 编译器将语法树编译为逻辑执行计划;
(3) 逻辑层优化器对逻辑执行计划进行优化,由于Hive最终生成的MapReduce任务中,而Map阶段和Reduce阶段均由OperatorTree组成,所以大部分逻辑层优化器通过变换OperatorTree,合并操作符,达到减少MapReduce Job和减少shuffle数据量的目的;
(4) 物理层优化器进行MapReduce任务的变换,生成最终的物理执行计划;
(5) 执行器调用底层的运行框架执行最终的物理执行计划。
4. hive的数据组织
通过上文对hive的内部架构进行的介绍和解析,相信大家对一条查询语句的整个底层执行过程有了一点概念;接下来我们再来了解下hive的另一个重要知识点,即查询语句中用到的库表相关方面的知识——hive的数据组织方式。
hive数据组织:
1 Hive 的存储结构包括 数据库、表、视图、分区和表数据 等。数据库,表,分区等都对应HDFS上的一个目录。表数据对应 HDFS 对应目录下的文件。
2 Hive 中包含以下数据模型:
database :在 HDFS 中表现为${hive.metastore.warehouse.dir}或者指定的目录下的一个文件夹;
table :在 HDFS 中表现为某个 database 目录下一个文件夹;
external table :与 table 类似,在 HDFS 中也表现为某个 database 目录下一个文件夹;
partition :在 HDFS 中表现为 table 目录下的子目录;
bucket :在 HDFS 中表现为同一个表目录或者分区目录下根据某个字段的值进行 hash 散列之后的多个文件;
view :与传统数据库类似,只读,基于基本表创建。
3 Hive 中的表分为内部表、外部表、分区表和 Bucket 表。
内部表和外部表的区别:
1.内部表数据由Hive自身管理,外部表数据由HDFS管理;
2.删除内部表会直接删除元数据(metadata)及存储数据;删除外部表仅仅会删除元数据,HDFS上的文件并不会被删除。
分区表和分桶表的区别:
1.分区表,Hive 数据表可以根据某些字段进行分区操作,细化数据管理,让部分查询更快;
2.分桶表:表和分区也可以进一步被划分为桶,分桶表中的数据是按照某些分桶字段进行 hash 散列形成的多个文件。
5. hive的使用之DDL操作
关于hive的DDL(Data Definition Language)操作,以下分为库和表两方面来归纳:
库
(1) 创建库
(2) 查看库
(3) 删除库
(4) 切换库
表
1 创建表
(1)创建默认的内部表
(2)创建外部表
(3)创建分区表
添加分区
(4)创建分桶表
(5)使用CTAS创建表
从一个查询SQL的结果来创建一个表进行存储;
(6)复制表结构
2 查看表
(1) 查看表列表
(2) 查看表的详细信息
(3) 修改表
(4) 删除表
(5) 清空表
结语:
本文主要整体性的给大家介绍了下什么是hive、使用hive的原因、hive的架构、hive的数据组织以及hive的DDL操作,希望阅读完本文的小伙伴们,对hive有一个快速的了解。
-END-
hive查看表中列的信息命令_快速了解hive相关推荐
- 如何查看表或列的所有外键?
在MySQL中,如何获取指向特定表的所有外键约束的列表? 特定的列? 这与该Oracle问题相同,但适用于MySQL. #1楼 发布旧答案以添加一些有用的信息. 我有一个类似的问题,但我也想看看CON ...
- SQL2K数据库开发十五之表操作查看表中的数据
1.可以使用SELECT语句查询表中的数据.如在查询分析器中执行SELECT * FROM Products语句就可以查询Products表中的数据,如下图: 2.如在企业管理器中查询表中数据,则要展 ...
- oracle如何查看表中索引
user_indexes 系统视图存放是索引的名称以及该索引是否是唯一索引等信息, user_ind_columns 统视图存放的是索引名称,对应的表和列等 1.查看表中有哪些索引 select * ...
- 如何修改mysql表中列的大小?
本文翻译自:How can I modify the size of column in a mysql table? I have created a table and accidentally ...
- MySQL查看表中的约束
在 MySQL 中可以使用 SHOW CREATE TABLE 语句来查看表中的约束. 查看数据表中的约束语法格式如下: SHOW CREATE TABLE <数据表名>; [实例]创建数 ...
- 根据窗口名称查找关键字弹性域用到的表,列等信息
/* 根据窗口名称查找关键字弹性域用到的表,列等信息*/ -- select c.id_flex_name, a.id_flex_structure_name, b.for ...
- jdbc获取数据库元数据,获取数据库列表,获取数据库基本信息,获取指定数据库中的表信息,获取指定表中的字段信息
jdbc获取数据库元数据 package cn.itcast.metadata.test;import org.junit.Before; import org.junit.Test;import j ...
- 查看华三交换机设备信息命令
查看华三交换机设备信息命令 查看设备命令帮助 display device manuinfo命令用来显示设备的电子标签信息<H3C>dis device manuinfoSlot 1 CP ...
- Oracle 查看表中重复的记录,以及去除表中的重复记录
--查看表中重复的记录 select tscw.L_SEC_KEY as L_BOND_KEY ,---债券内码 to_date(twcb.b_info_carrydate,'yyyyMM ...
最新文章
- Python取出列表相应值的位置(表处理)
- matlab-线性代数 非齐次方程组 判断是否有唯一解
- 修改Android设备在Windows设备管理器出现的设备名称
- 时序分析中的关键术语
- c++ set遍历_Python算法学习之图与图的遍历
- Asp.Net CoreDocker部署到树莓派3B中
- phpmailer发送邮件
- 【机器学习】传统目标检测算法之HOG
- mysql 在windows中安装问题
- 9月份计算机应用基础统考,2018年9月计算机应用基础统考题库-网考计算机应用基础真题1...
- Hibernate的发展和特点以及Hibernate的工作原理简介
- c语言学习-从键盘输入10个字符,按照字典顺序将其排序输出(二维字符数组)
- python 驱动级鼠标_罗技各系鼠标测评(2020年12月更新)
- 转 Oracle DBCA高级玩法:从模板选择、脚本调用到多租户
- 关于SWAT模型的一些原理(一)
- c语言编写个人收支管理系统,个人收支管理系统
- python自制一款职位分析器,一键生成岗位分析报告
- 最小二乘法拟合圆心和半径 python实现
- Quick Viewer 快速浏览器
- DFINITY 明星项目盘点,区块链热门赛道一览
热门文章
- MySQL主主双机负载均衡
- Git log、diff、config 进阶
- ArchLinux下LXDE的安装与设置心得
- 父子对等组之间的关系
- VM 7 下ubuntu安装vmtools
- java打印出继承体系的类(包括抽象类)、接口、域字段
- CF643E Bear and Destroying Subtrees
- 在eclipse使用map reduce编写word count程序生成jar包并在虚拟机运行的步骤
- dockercompose up build fail (node no such file or directory packages.json )
- 24.Interpreter-解释器模式