Hive大数据-Hive的架构---大数据之Hive工作笔记0003

然后我们再来看一下hive的架构

可以看到hive,左边有个元数据存储,就是存了一些元数据,通过这些元数据我们可以,找到具体我们存的实际的数据.

然后右边hive提供了cli命令行的方式操作hive以及jdbc的方式处理数据.

然后通过cli或者jdbc,连接hive以后,然后把写好的sql,经过sql parser解析器,解析sql以后,然后再编译sql,然后再优化sql,然后再去执行

sql,然后这个sql解析器,实际上做的就是把我们写的sql,转换成了mapper 和reducer,然后最终交给

mapreduce去执行,执行以后,把结果放到hdfs中去.

还要注意hive默认把元数据存到derby中去了,这个小数据库,不好用,用它还会有问题,所以后边我们会

配置这个元数据数据库,设置为mysql来用.

可以看到这里当需要jdbc连接hive的时候中间会用到这个hive的驱动.

Hive大数据-Hive的架构---大数据之Hive工作笔记0003相关推荐

Thinking in BigData（八）大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
纯干货:Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解. 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS.MapReduce.Hbase.H ...
数据中心网络架构 — 云数据中心网络 — 大二层网络技术
目录文章目录目录大二层网络诞生的背景数据中心的东西流量成为了主流服务器虚拟化带来的虚拟机迁移问题大二层网络大二层网络的问题大二层网络诞生的背景数据中心的东西流量成为了主流早期数据中 ...
数据中心网络架构 — 传统数据中心网络 — 传统树型三层网络架构
目录文章目录目录数据中心组网架构传统三层网络架构核心层(Core Layer) 汇聚层(Aggregation Layer) 接入层(Access Layer) 三层网络架构的设计原则三层 ...
数据中心网络架构 — 传统数据中心网络 — 胖树型三层网络架构
目录文章目录目录胖树型(Fat-Tree)网络架构 Fat-Tree 是一种无带宽收敛的网络架构 Fat-Tree 的网络拓扑 Fat-Tree 的缺点胖树型(Fat-Tree)网络架构为了 ...
大数据_Flink_数据处理_运行时架构5_slot和任务调度---Flink工作笔记0020
1.并行计算不同的任务,分配到不同的线程上就可以并行计算了 2.然后并行任务,现在我们知道,如果我们设置的并行度是3,那么这里需要的slot就是3个对吧这个跟任务的最大并行度有关 3.然后就是我们写 ...
大数据_Spark_核心模块介绍---Spark工作笔记0003
注意可以看到,spark sql,以及spark streaming,spark mlib,spark graphx 其中这个spark sql,是可以允许写sql来查询数据, spark strea ...
大数据_Flink_流式处理_简介_流数据处理的应用行业---Flink工作笔记0003
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 流处理和批处理想必,就是低延时和吞吐量高,用就用的他这个特点. 如果,数据量特别大,可能一个批处理 ...
大数据之-Nifi-了解Nifi处理器_和Nifi的其他组件---大数据之Nifi工作笔记0003
然后我们来看nifi的处理器,可以看到左上角是用来添加处理器的, 拖过来就能添加拖过来以后,会显示一个弹框,里面会显示各种处理器,有293个..常用的都够了可以在右边搜索以后添加看一下常用的处理 ...
大数据之-入门_大数据特点(4V)---大数据之hadoop工作笔记0003
1PB =1024 T BAT+头条+美团的数据,基本就是EB规模的. 1ZB=1024EB ,海量数据

Hive大数据-Hive的架构---大数据之Hive工作笔记0003

Hive大数据-Hive的架构---大数据之Hive工作笔记0003相关推荐

最新文章

热门文章