hive基本概念原理与底层架构
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
术语“大数据”是大型数据集,其中包括体积庞大,高速,以及各种由与日俱增的数据的集合。使用传统的数据管理系统,它是难以加工大型数据。因此,Apache软件基金会推出了一款名为Hadoop的解决大数据管理和处理难题的框架。
Hadoop
Hadoop是一个开源框架,在分布式环境中存储和处理大型数据。它包含两个模块,一个是MapReduce,另外一个是Hadoop分布式文件系统(HDFS)。
MapReduce:它是一种并行编程模型在大型集群普通硬件可用于处理大型结构化,半结构化和非结构化数据。
HDFS:Hadoop分布式文件系统是Hadoop的框架的一部分,用于存储和处理数据集。它提供了一个容错文件系统在普通硬件上运行。
Hadoop生态系统包含了用于协助Hadoop的不同的子项目(工具)模块,如Sqoop, Pig 和 Hive。
Sqoop: 它是用来在HDFS和RDBMS之间来回导入和导出数据。
Pig: 它是用于开发MapReduce操作的脚本程序语言的平台。
Hive: 它是用来开发SQL类型脚本用于做MapReduce操作的平台。
注:有多种方法来执行MapReduce作业:
- 传统的方法是使用Java MapReduce程序结构化,半结构化和非结构化数据。
- 针对MapReduce的脚本的方式,使用Pig来处理结构化和半结构化数据。
- Hive查询语言(HiveQL或HQL)采用Hive为MapReduce的处理结构化数据。
Hive是什么?
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。
最初,Hive是由Facebook开发,后来由Apache软件基金会开发,并作为进一步将它作为名义下Apache Hive为一个开源项目。它用在好多不同的公司。例如,亚马逊使用它在 Amazon Elastic MapReduce。
Hive 不是
- 一个关系数据库
- 一个设计用于联机事务处理(OLTP)
- 实时查询和行级更新的语言
Hiver特点
- 它存储架构在一个数据库中并处理数据到HDFS。
- 它是专为OLAP设计。
- 它提供SQL类型语言查询叫HiveQL或HQL。
- 它是熟知,快速,可扩展和可扩展的。
Hive架构
下面的组件图描绘了Hive的结构:
该组件图包含不同的单元。下表描述每个单元:
单元名称 | 操作 |
---|---|
用户接口/界面 | Hive是一个数据仓库基础工具软件,可以创建用户和HDFS之间互动。用户界面,Hive支持是Hive的Web UI,Hive命令行,HiveHD洞察(在Windows服务器)。 |
元存储 | Hive选择各自的数据库服务器,用以储存表,数据库,列模式或元数据表,它们的数据类型和HDFS映射。 |
HiveQL处理引擎 | HiveQL类似于SQL的查询上Metastore模式信息。这是传统的方式进行MapReduce程序的替代品之一。相反,使用Java编写的MapReduce程序,可以编写为MapReduce工作,并处理它的查询。 |
执行引擎 | HiveQL处理引擎和MapReduce的结合部分是由Hive执行引擎。执行引擎处理查询并产生结果和MapReduce的结果一样。它采用MapReduce方法。 |
HDFS 或 HBASE | Hadoop的分布式文件系统或者HBASE数据存储技术是用于将数据存储到文件系统。 |
Hive架构的更一般的架构
该组件图包含不同的单元。下表描述每个单元:
单元名称 | 操作 |
---|---|
用户接口 |
用户接口主要有三个:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive |
metastore | Hive 将元数据存储在数据库中(metastore),目前只支持 mysql、derby。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等 |
Driver | 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划(plan)的生成。生成的查询计划存储在 HDFS 中,并在随后有 MapReduce 调用执行 |
Hive工作原理
下图描述了Hive 和Hadoop之间的工作流程。
下表定义Hive和Hadoop框架的交互方式:
Step No. | 操作 |
---|---|
1 |
Execute Query
Hive接口,如命令行或Web UI发送查询驱动程序(任何数据库驱动程序,如JDBC,ODBC等)来执行。 |
2 |
Get Plan
在驱动程序帮助下查询编译器,分析查询检查语法和查询计划或查询的要求。 |
3 |
Get Metadata
编译器发送元数据请求到Metastore(任何数据库)。 |
4 |
Send Metadata
Metastore发送元数据,以编译器的响应。 |
5 |
Send Plan
编译器检查要求,并重新发送计划给驱动程序。到此为止,查询解析和编译完成。 |
6 |
Execute Plan
驱动程序发送的执行计划到执行引擎。 |
7 |
Execute Job
在内部,执行作业的过程是一个MapReduce工作。执行引擎发送作业给JobTracker,在名称节点并把它分配作业到TaskTracker,这是在数据节点。在这里,查询执行MapReduce工作。 |
7.1 |
Metadata Ops
与此同时,在执行时,执行引擎可以通过Metastore执行元数据操作。 |
8 |
Fetch Result
执行引擎接收来自数据节点的结果。 |
9 |
Send Results
执行引擎发送这些结果值给驱动程序。 |
10 |
Send Results
驱动程序将结果发送给Hive接口。 |
hive基本概念原理与底层架构相关推荐
- Salesforce低代码平台底层架构设计原理一:多租户与元数据驱动的概念
先自我介绍一下哈,本人拥有17年的IT服务经验.从2011年开始从事Salesforce项目咨询与实施工作.最近几年呢,我一直都在研发一些自己的产品,同时也给一些大厂提供一些咨询服务.所以我自认为对S ...
- Hive基础知识及底层架构
文章目录 前言 一.Hive基础知识 (一)Hadoop生态系统中的Hive (二)Hive的特点 二.Hive底层架构 (一)Hive组成模块 (二)Hive执行过程和工作原理 三.参考书籍 前言 ...
- Hive中Join的 MR 底层原理
Hive中的Join可分为Common Join(Reduce阶段完成join)和Map Join(Map阶段完成join) 一. Hive Common Join 如果不指定MapJoin或者不符合 ...
- 面试官:兄弟,说说 Spring Cloud 的底层架构原理吧
❤ Java极客技术,你值得星标的公众号 分布式系统面试系列02-Spring Cloud 的底层架构原理,前面我们讲了 前面我们讲了一个以Spring Cloud 技术栈实现的分布式系统,至少得包含 ...
- 操作系统底层架构与内核设计及实现原理
一.操作系统CPU 1.CPU简介 CPU的全称是CentrolProcessingUnit,它是你的电脑中最硬核的组件,这种说法一点不为过. CPU是能够让你的计算机叫 计算机 的核心组件,但是它却 ...
- 小程序开发:概念、特点、原理及技术架构解析
前言 本文将深入探讨小程序开发的概念.特点.原理和技术架构.通过对小程序的全面解析,帮助大家更好地理解小程序的本质和优势. 文章目录 前言 一.小程序的概念 二.小程序的特点和优势 三.基本原理 四. ...
- Hive 的概念、应用场景、安装部署及使用、数据存储 、table(内部表)和external table(外部表)、partition(分区表)和bucket(分桶表)
目录 1.Hive 的概念 2.Hive 的特点 3.Hive 和 RDBMS(关系型数据库) 的对比 4.Hive 和 HBase 的差别 5.Hive 架构 6.Hive安装与使用方法介绍 7.H ...
- 数据仓库和hive的概念
一.数据仓库概念 1.1 数据仓库的基本概念 数据仓库的英文名称为Data Warehouse,可简写为DW或DWH. 数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decisio ...
- 2021年大数据Hive(一):Hive基本概念
全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 历史文章 前言 Hive基本概念 一.Hive介绍 1.什么是Hive 2.为什么使 ...
最新文章
- java map 队列_Java:queue队列,map集合
- 30-hadoop-hbase-安装squirrel工具
- SaaS业务的价值评估
- poll函数_I/O--多路复用的三种机制Select,Poll和Epoll对比
- 算法学习-莫比乌斯反演
- 如何利用ide进行跟踪调试_使用调试器进行事后跟踪
- c# 命名空间命名规范_C#中的命名空间
- 第二十八期:Notepad++ 新 Logo 出炉,官网全新改版采用自适应设计
- 服务器Context、虚拟主机配置(管理、配置)
- ros自己写避障算法_ROS:激光数据转换超声进行避障
- verilog之按键消抖的理解
- Android 各层中日志打印功能的应用
- 破解路由器密码并限制和***邻居电脑
- GPS NMEA协议,0183 定位数据格式 	双模定位:GNXXX GPS+BD 完整版
- 那些简历造假拿 Offer 的程序员,后来都怎样了?
- 计算机无法装补丁,主编教您win7 sp1补丁安装失败怎么办
- 计算机证书都需要哪些知识,计算机资格证书有哪些计算机专业证书有哪些
- 《秘密》读后感之秘密的揭露和法则
- 5分钟成为车联网专家 | 全球首个C-V2X车联网城市级规模示范应用
- 重阳重游万州文峰塔记
热门文章
- Quartus计算机组成与设计实验原理图整理(十)——二进制补码加法器实验
- 思科AP修改AP位置描述通过WLC命令方式
- 自由幻想java_使用按键精灵脚本实现《自由幻想》游戏内神医验证码自动校验...
- C语言基础|选择结构例题
- python实现Gabor滤波器-skimage(一)
- 坚石诚信ETz201应用于ASP.NET项目中
- 你真的了解Filter过滤器 ?
- Android模仿360动态悬浮窗,像360悬浮窗那样,用WindowManager实现炫酷的悬浮迷你音乐盒(下)...
- Truffle+ganache进行区块链项目开发
- 第八届河南省程序设计大赛 引水工程 Prim算法