关于hive数仓这个概念的一些理解+查看hive底层引擎是否是tez

hive其实本身并不是一个仓库,
而是一个sql翻译工具.
把sql翻译成mapreduce语句,
hadoop集群去hdfs集群上执行这些mapreduce语句

在执行的过程中去yarn申请资源,
为啥要理会这些原理性质的东西呢?
因为写代码的时候虽然可以不care原理,但是yarn如果资源不够,那么hive就会卡死.
hive卡死的原因要么是编码要么就是底层资源不够导致卡死了.

所以,所谓的hive仓库,其实是顶层的一个hive转换工具+底层的HDFS+YARN资源管理器构成的.

这和我们之前的认知有所不同,之前的认知里,mysql中的SQL转化引擎和数据存储db文件都在一台电脑上.
而hive仓库这个概念,其实是单节点的SQL转化引擎+多台电脑构成的集群.
比较如下:

	mysql	hive
SQL转化引擎	布置在单机	布置在单机
底层数据存储文件	存储在单机	分布在集群

下面是查看hive底层计算引擎的命令
0: jdbc:hive2://Desktop:10000> SET hive.execution.engine;
±--------------------------+
| set |
±--------------------------+
| hive.execution.engine=mr |
±--------------------------+

Reference:
[1]Hive - How to know which execution engine I am currently using

关于hive数仓这个概念的一些理解+查看hive底层引擎是否是tez相关推荐

Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
文章目录修改虚拟机IP 复制网卡的配置 Vi编辑器的常用命令实操部分复制网卡的配置 Hadoop集群初体验 20.secondarynameNode如何辅助管理FSImage与Edits文件 ⭐ ...
Hive数仓基本概念介绍
hive 实现wordCount select word, count(*) AS cnt from (select explode(split(sentence,' ')) word from ba ...
Hive 老当益庄 | 深度解读 Flink 1.11：流批一体 Hive 数仓
精选30+云产品,助力企业轻松上云!>>> 首先恭喜 Table/SQL 的 blink planner 成为默认 Planner,撒花.撒花. Flink 1.11 中流计算结合 ...
大数据-案例-离线数仓-在线教育：MySQL(业务数据)-ETL(Sqoop)-＞Hive数仓【ODS层-数据清洗-＞DW层(DWD-统计分析-＞DWS)】-导出(Sqoop)-＞MySQL-＞可视化
一.商业BI系统概述商业智能系统,通常简称为商业智能系统,是商业智能软件的简称,是为提高企业经营绩效而采用的一系列方法.技术和软件的总和.通常被理解为将企业中的现有数据转换为知识并帮助企业做出明智的 ...
Flink SQL 1.11新功能详解：Hive 数仓实时化 Flink SQL + CDC 实践
问题导读 1.Flink 1.11 有哪些新功能? 2.如何使用 flink-cdc-connectors 捕获 MySQL 和 Postgres 的数据变更? 3.怎样利用 Flink SQL 做多 ...
Hive 数仓中常见的日期转换操作
(1)Hive 数仓中一些常用的dt与日期的转换操作下面总结了自己工作中经常用到的一些日期转换,这类日期转换经常用于报表的时间粒度和统计周期的控制中日期变换: (1)dt转日期 to_date(f ...
HIve数仓新零售项目DWD层的构建
HIve数仓新零售项目注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,Python Java Scala SQL 代码,CV NLP 推荐系统 ...
[hive]数仓分层|用户纬度拉链表|维度建模
https://www.modb.pro/404?redirect=%2Fdb%2F241289 一.数仓分层 1.ODS层:原始数据层 ODS(O=original D=data S=store) ...
4——Hive数仓项目完整流程（在线教育）
在线教育(4) 在线教育(四) 在线教育(4) 1. 意向用户主题看板__全量流程 1.1 需求分析 1.2 需求分析总结 ~~1.3 业务数据准备~~(工作环境无) 1.4 建模分析 1.5 建模操 ...

关于hive数仓这个概念的一些理解+查看hive底层引擎是否是tez

关于hive数仓这个概念的一些理解+查看hive底层引擎是否是tez相关推荐

最新文章

热门文章