Hive 01_初学必知

Hive

Hive的产生：

非java编程者对hdfs的数据做mapreduce操作

Hive : 数据仓库。

Hive：解释器，编译器，优化器等。

Hive 运行时，元数据存储在关系型数据库里面。

Hive架构：

Hive的架构

（1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。

（2）Hive将元数据存储在数据库中，如mysql、derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

（3）解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后有MapReduce调用执行。

（4）Hive的数据存储在HDFS中，大部分的查询、计算由MapReduce完成（包含*的查询，比如select * from tbl不会生成MapRedcue任务）。

Hive的架构

-编译器将一个Hive SQL转换操作符

-操作符是Hive的最小的处理单元

-每个操作符代表HDFS的一个操作或者一道MapReduce作业

Operator

-Operator都是hive定义的一个处理过程

-Operator都定义有:

-protected List <Operator<? extends Serializable >> childOperators;

-protected List <Operator<? extends Serializable >> parentOperators;

-protected boolean done; // 初始化值为false

Hive搭建模式

1.连接到一个In-memory 的数据库Derby，一般用于Unit Test。

2.通过网络连接到一个数据库中，是最经常使用到的模式

3.远程服务器模式

用于非Java客户端访问元数据库，在服务器端启动MetaStoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库

Hive 01_初学必知相关推荐

Hbase 01_初学必知
Hbase -Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩.实时读写的分布式数据库 -利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 ...
css样式加入的法方,初学必知：XHTML网页中加入CSS的五种方_css
在Xhtml网页中如何加入css呢?这篇教程告诉大家引入CSS的几种方式. XHTML文件是通过CSS样式进行显示的控制的,也就是结合XHTML与CSS来表现页面内容.那么到底有哪些方式在XHTML文 ...
Hadoop 02_初学必知
Hadoop简介:http://hadoop.apache.org 分布式存储系统HDFS (Hadoop Distributed File System )POSIX 分布式存储系统提供了高可靠 ...
初学编程者必知的五个网站
初学编程者必知的五个网站发表于9小时前| 7150次阅读| 来源CSDN| 43 条评论| 作者钱曙光程序员编程编程语言计算机职场摘要:学习编程能锻炼你的思维,形成一种思考方式,让你更好地思考一 ...
SQL必知必会（第五版）
SQL必知必会了解SQL 1.数据库数据库就像是一个容器,存放各种表.需要与DBMS区分 1.1表一个结构化的清单,存储各种数据. sql全称是struct query language 结构化 ...
程序员必知8大排序3大查找（三）
前两篇 <程序员必知8大排序3大查找(一)> <程序员必知8大排序3大查找(二)> 三种查找算法:顺序查找,二分法查找(折半查找),分块查找,散列表(以后谈) 一.顺序查找的基 ...
Android 开发者必知的开发资源
英文原文:Bongzimo 翻译: ImportNew-黄小非译文链接:http://www.importnew.com/3988.html Android 开发者必知的开发资源随着Androi ...
Python工程师求职必知的经典面试题
最近几年,学习Python语言的同学越来越多,学成之后大家对于后期的面试都遇到了很多难题,小编这次为大家整理了一份关于Python工程师求职必知的经典面试题!希望能够帮助到正在找Python工作的同学 ...
servlet必知细节（三）-- DefaultServlet
servlet必知细节(三)-- DefaultServlet 缺省servlet:org.apache.catalina.servlets.DefaultServlet,作用是处理其他servlet ...

Hive 01_初学必知

Hive 01_初学必知相关推荐

最新文章

热门文章