hive 中某个字段等于0_快速了解hive
作者丨HappyMint
文章选摘:大数据与人工智能
这是作者的第7篇文章
本文主要针对从事大数据分析和架构相关工作,需要与hive打交道但目前对hive还没有进行深层次了解的小伙伴,希望本文会让你对hive有一个快速的了解。
内容主要包括什么是hive、为什么要有hive、hive的架构、hive的数据组织以及hive的使用之DDL操作。
1.什么是 hive?
1 是基于 Hadoop 的一个数据仓库工具;
2 可以将结构化的数据映射为一张数据库表;
3 并提供 HQL(Hive SQL)查询功能;
4 底层数据是存储在 HDFS 上;
5 Hive的本质是将 SQL 语句转换为 MapReduce、Tez 或者 spark 等任务执行;
6 适用于离线的批量数据计算。
2. 为什么要有 hive?
如上文第5点已经提到的,hive可以封装MapReduce、Tez、Spark等这些引擎的处理过程,让使用者在不了解这些计算引擎具体执行细节的情况下就可以处理数据,使用者只需要学会如何写sql即可。
hive可很好的解决直接使用 MapReduce、Tez、Spark等时所面临的两个主要问题:
① 直接使用 MapReduce、Tez、Spark学习成本太高,因为需要了解底层具体执行引擎的处理逻辑,而且需要一定的编码基础;而Hive提供直接使用类sql语言即可进行数据查询和处理的平台或接口,只要使用者熟悉sql语言即可;
② MapReduce、Tez、Spark实现复杂查询逻辑开发难度大,因为需要自己写代码实现整个处理逻辑以及完成对数据处理过程的优化,而hive将很多数据统计逻辑封装成了可直接使用的窗口函数,且支持自定义窗口函数来进行扩展,而且hive有逻辑和物理优化器,会对执行逻辑进行自动优化。
3. hive的架构
作为hadoop的一个数据仓库工具,hive的架构设计如下:
可以看出,Hive的内部架构总共分为四大部分:
1 用户接口层(cli、JDBC/ODBC、Web UI)
(1) cli (Command Line Interface),shell终端命令行,通过命令行与hive进行交互;
(2) JDBC/ODBC,是 Hive 的基于 JDBC 操作提供的客户端,用户(开发员,运维人员)通过客户端连接至 Hive server 服务;
(3)Web UI,通过浏览器访问hive。
2 元数据存储系统
(1) 元数据 ,通俗的讲,就是存储在 Hive 中的数据的描述信息;
(2)Hive 中的元数据通常包括:表的名字,表的列和分区及其属性,表的属性(内部表和 外部表),表中数据所在的目录;
(3)Metastore 默认存在自带的 Derby 数据库或者我们自己创建的 MySQL 库中;
(4)Hive 和 MySQL或Derby 之间通过 MetaStore 服务交互。
3 Thrift Server-跨语言服务
Hive集成了Thrift Server,让用户可以使用多种不同语言来操作hive。
4 Driver(Compiler/Optimizer/Executor)
Driver完成HQL查询语句的词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS上,并由MapReduce调用执行。
整个过程的执行步骤如下:
(1) 解释器完成词法、语法和语义的分析以及中间代码生成,最终转换成抽象语法树;
(2) 编译器将语法树编译为逻辑执行计划;
(3) 逻辑层优化器对逻辑执行计划进行优化,由于Hive最终生成的MapReduce任务中,而Map阶段和Reduce阶段均由OperatorTree组成,所以大部分逻辑层优化器通过变换OperatorTree,合并操作符,达到减少MapReduce Job和减少shuffle数据量的目的;
(4) 物理层优化器进行MapReduce任务的变换,生成最终的物理执行计划;
(5) 执行器调用底层的运行框架执行最终的物理执行计划。
4. hive的数据组织
通过上文对hive的内部架构进行的介绍和解析,相信大家对一条查询语句的整个底层执行过程有了一点概念;接下来我们再来了解下hive的另一个重要知识点,即查询语句中用到的库表相关方面的知识——hive的数据组织方式。
hive数据组织:
1 Hive 的存储结构包括 数据库、表、视图、分区和表数据 等。数据库,表,分区等都对应HDFS上的一个目录。表数据对应 HDFS 对应目录下的文件。
2 Hive 中包含以下数据模型:
database :在 HDFS 中表现为${hive.metastore.warehouse.dir}或者指定的目录下的一个文件夹;
table :在 HDFS 中表现为某个 database 目录下一个文件夹;
external table :与 table 类似,在 HDFS 中也表现为某个 database 目录下一个文件夹;
partition :在 HDFS 中表现为 table 目录下的子目录;
bucket :在 HDFS 中表现为同一个表目录或者分区目录下根据某个字段的值进行 hash 散列之后的多个文件;
view :与传统数据库类似,只读,基于基本表创建。
3 Hive 中的表分为内部表、外部表、分区表和 Bucket 表。
内部表和外部表的区别:
1.内部表数据由Hive自身管理,外部表数据由HDFS管理;
2.删除内部表会直接删除元数据(metadata)及存储数据;删除外部表仅仅会删除元数据,HDFS上的文件并不会被删除。
分区表和分桶表的区别:
1.分区表,Hive 数据表可以根据某些字段进行分区操作,细化数据管理,让部分查询更快;
2.分桶表:表和分区也可以进一步被划分为桶,分桶表中的数据是按照某些分桶字段进行 hash 散列形成的多个文件。
5. hive的使用之DDL操作
关于hive的DDL(Data Definition Language)操作,以下分为库和表两方面来归纳:
库
(1) 创建库
(2) 查看库
(3) 删除库
(4) 切换库
表
1 创建表
(1)创建默认的内部表
(2)创建外部表
(3)创建分区表
添加分区
(4)创建分桶表
(5)使用CTAS创建表
从一个查询SQL的结果来创建一个表进行存储;
(6)复制表结构
2 查看表
(1) 查看表列表
(2) 查看表的详细信息
(3) 修改表
(4) 删除表
(5) 清空表
结语:
本文主要整体性的给大家介绍了下什么是hive、使用hive的原因、hive的架构、hive的数据组织以及hive的DDL操作,希望阅读完本文的小伙伴们,对hive有一个快速的了解。
-END-
hive 中某个字段等于0_快速了解hive相关推荐
- hive中导入csv,把csv导入到hive表中步骤
本博文解决的问题: 现在我们有一个CSV格式的一个文件download.csv,里面是我们需要的数据,想把数据装入到数据impala数据库中 1.首先整理文本文件 打开download.csv,选择文 ...
- HIVE中的表以及语法
2019独角兽企业重金招聘Python工程师标准>>> HIVE中的表以及语法 一.HIVE的表 HIVE使用的功能性的表格分为四种:内部表.外部表.分区表.分桶表. 1.内部表.外 ...
- hive一次加载多个文件_0738-6.2.0-如何在Hive中使用多分隔符
文档编写目的 Hive在0.14及以后版本支持字段的多分隔符,参考: https://cwiki.apache.org/confluence/display/Hive/MultiDelimitSer ...
- hive中的一种假NULL现象
使用hive时,我们偶尔会遇到这样的问题,当你将结果输出到屏幕时,查出的数据往往显示为null,但是当你将结果输出到文本时,却显示为空(即未填充),这是为什么呢? 在hive中有一种假NULL,它看起 ...
- hive(四)Hive中的窗口函数
目录 一.后台启动Hive的JDBC连接 1.关闭后台启动的jdbc 2.Hive中的wordcount实例 二.Hive窗口函数 1.with as 用法 2.集合函数 3.行列互换 4.LATER ...
- Day58 Hive中的窗口函数
后台启动Hive的JDBC连接 0表示标准输入,1表示标准输出,2表示标准错误输出,nohup表示挂起,&表示后台启动 nohup hive --service hiveserver2 > ...
- 关于Hive中的存储格式及压缩格式详解
最近面试,遇到了关于Hive的数据存储格式的问题,回答不尽人意,抽时间总结多看看关于Hive存储格式和压缩格式的内容. Hive底层数据是以HDFS文件的形式存储在Hadoop中的,选择一个合适的文件 ...
- 使用shell脚本将mysql数据导入HIve中
使用sqoop将us_order表中的数据导入到hive中,hive的库名为exam_ods,表名叫ods_us_order,根据order_date的日期来实现分区导入数据,形成脚本. 解释 #!/ ...
- UDF函数在Hive中的使用
文章目录 UDF介绍 Hive中的内置函数 开发一个UDF函数 ①创建一个普通的maven工程 ②pom文件中添加hive的依赖 ③开发UDF代码 ④打jar包 ⑤jar包上传服务器 Hive中添加U ...
最新文章
- 在进行正式托管之前,服务器托管用户需要做哪些准备?
- 【CyberSecurityLearning 41】Linux密码破解以及菜单加密
- 基于 abp vNext 和 .NET Core 开发博客项目 - 定时任务最佳实战(一)
- PAT (Advanced Level) 1003 Emergency(最短路+动态规划)
- SPARK STREAMING之1:编程指南(翻译v1.4.1)
- CSS 小结笔记之em
- 两种方式实现登录跳转新窗体
- 关于_beginthreadex、_beginthread和CreateThread
- 图片缩放与目标值的规范
- work summary(1)
- Java实现简单的计算器
- IDEA创建maven聚合项目多模块项目并在Tomcat启动图解详细教程
- Excel制作抽奖小程序
- Python实现十大排序算法
- LM74700-Q1
- Siebel应用数据结构层次
- Excel的VBA使用
- BLE-NRF51822教程2-工程初始化流程
- “早知道这些我的公司就不会死”系列(二):Cohort Analysis
- Unity3D 2D射击小游戏瞄准线的实现