Hive入门 ------ Hive是什么，产生背景

2024-04-25 12:01:50

一、hive产生背景

Apache Hive数据仓库软件可以使用SQL方便地阅读、编写和管理分布在分布式存储中的大型数据集。结构可以投射到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。

由Facebook开源，最初用于解决海量结构化的日志数据统计问题

MapReduce编程的不便性
HDFS上的文件缺少Schema（字段名，字段类型等）

二、Hive是什么

构建在Hadoop之上的数据仓库
Hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同）
通常用于进行离线数据处理（采用MapReduce）
底层支持多种不同的执行引擎（Hive on MapReduce、Hive on Tez、Hive on Spark）
支持多种不同的压缩格式、存储格式以及自定义函数（压缩：GZIP、LZO、Snappy、BZIP2.. ；存储：TextFile、SequenceFile、RCFile、ORC、Parquet ； UDF：自定义函数）

到底什么是Hive，我们先看看Hive官网Wiki是如何介绍Hive的(https://cwiki.apache.org/confluence/display/Hive/Home)：

Apache HiveApache Hive™ 数据仓库软件为分布式存储的大数据集上的读、写、管理提供很大方便，同时还可以用SQL语法在大数据集上查询。

1、是一种易于对数据实现提取、转换、加载的工具(ETL)的工具。可以理解为数据清洗分析展现。2、它有一种将大量格式化数据强加上结构的机制。3、它可以分析处理直接存储在hdfs中的数据或者是别的数据存储系统中的数据，如hbase。4、查询的执行经由mapreduce完成。5、hive可以使用存储过程6、通过Apache YARN和Apache Slider实现亚秒级的查询检索。

（Slider简介https://blog.csdn.net/jiewuyou/article/details/42614073）

Hive入门 ------ Hive是什么，产生背景相关推荐

hive入门及dbeaver连接hive
hive入门 hive简介安装使用dbeaver连接自己的hive 学HIVE上官网 hive官网 hive简介 hadoop广义:是大数据生态圈,其中hive是使用SQL完成大数据统计分析的工具 ...
hive hql文档_30分钟入门 Hive SQL（HQL 入门篇）
Hive SQL 几乎是每一位互联网分析师的必备技能,相信每一位面试过大厂的童鞋都有被面试官问到 Hive 优化问题的经历.所以掌握扎实的 HQL 基础尤为重要,既能帮分析师在日常工作中"如 ...
4 weekend110的hive入门
Hive和HBase都很重要,当然啦,各自也有自己的替代品. 在公司里,SQL有局限,大部分时候,不需写mr程序的,用hive这个工具. 公司里的懂java开发员工不一定每个公司都有,但懂SQL开发员 ...
4 weekend110的hive入门
查看企业公认的最新稳定版本: https://archive.apache.org/dist/ Hive和HBase都很重要,当然啦,各自也有自己的替代品. 在公司里,SQL有局限,大部 ...
4.1 数据仓库基础与Apache Hive入门
数据仓库基础与Apache Hive入门一.数据仓库基本概念 1.数据仓库概念 2. 案例:数据仓库为何而来 (1)业务数据的存储问题 (2)分析型决策的制定 3.数据仓库主要特征面向主题性(Su ...
hive插入多条数据sql_30分钟入门 Hive SQL（HQL 入门篇）
Hive SQL 几乎是每一位互联网分析师的必备技能,相信每一位面试过大厂的童鞋都有被面试官问到 Hive 优化问题的经历.所以掌握扎实的 HQL 基础尤为重要,既能帮分析师在日常工作中"如 ...
Apache Hive入门1
Apache Hive入门1 Hive是Hadoop项目中的一个子项目,由FaceBook向Apache基金会贡献,其中TaoBao也是其中一位使用者+贡献者,Hive被视为一个仓库工具,可以将结构 ...
Hive ---- Hive入门
Hive ---- Hive入门 1. 什么是Hive 1. Hive简介 2. Hive本质 2. Hive架构原理 1. 用户接口:Client 2. 元数据:Metastore 3. 驱动器:D ...
Hive总结（六）hive入门经典
转自:http://www.zypx.cn/technology/20100606132430320046.html Hive 是什么在接触一个新的事物首先要回到的问题是:这是什么? 这里引用 Hi ...

最新文章

热门文章