hive和hadoop的浅显理解

hadoop是一个分布式存储系统，他可以将我们的日志、数据等存储到不同的节点上（当数据十分大的时候），有时候一份数据会被存储到不同机器的不同磁盘上面。

那么问题来了：
我们想取出这么一整份数据并做对应计算怎么办呢？
这个时候，mapreduce就应运而生。它是一个依托于hadoop上的计算引擎，主要就是对数据进行合并汇总等操作，本身并不存储数据。
那hive是什么呢？
hive是基于hadoop的一个数据仓库工具。由于mapreduce程序比较复杂，故而hive对他做了一层封装。它可以将我们写的hql翻译成mapreduce去计算数据。说白了，它就是一个搞翻译的。

但是由于mapreduce每次都是对磁盘进行操作，每次中间job操作的输出结果，都是先存到磁盘里面的，这样再去读取中间job的数据再进行操作的时候，速度就很慢。
这个时候 spark计算引擎就可以解决这个问题，spark每次中间job的操作结果，都是存入内存，之后的读取也是直接从内存读出，大大的提高了数据计算的速度，也因为如此 spark的计算成本要比mapreduce贵（一个用内存过渡，一个用磁盘过渡）。当然spark并不止依托于分布式存储系统上面。

mapreduce和spark的共同点之一：他们均不存储数据，只对数据进行操作（计算）
浅显理解，本文完毕。

hive和hadoop的浅显理解相关推荐

hadoop生态圈的理解
hadoop部分:hadoop生态圈的理解(HDFS,MapReduce,HBASE,zookeeper,hive,sqoop,flume,kafka,yarn,spark) 一.简介 ...
Hive和Hadoop及RDBMS关系
Hive 与 Hadoop 的关系 Hive利用HDFS存储数据,利用MapReduce查询分析数据 Hive与传统数据库对比 hive用于海量数据的离线数据分析总结:hive具有sql数据库的外表 ...
MVC简单学习以及浅显理解
以下仅为个人简单浅显理解: MVC来处理Web问题: 路由定位:(如何快速精确地定位请求,分层管理请求?) 此处使用视图Controller的思想来达到分离不同层下的请求,对于同一层下的请求放入一个控 ...
对@RequestMapping的简单理解(浅显理解）
在SSM整合使用中对@RequestMapping的浅显理解 ================================================== 了解什么是@RequestMappi ...
深度学习：模型的泛化能力浅显理解
深度学习:模型的泛化能力浅显理解通俗易懂的浅显理解通俗易懂的浅显理解模型的泛化能力通俗易懂的说就是模型在测试集(其中的数据模型以前没有见过)中的表现,也就是模型举一反三的能力,但是这些数据必须满 ...
指针、引用、const、类的浅显理解
指针.引用.const.类的浅显理解一.引用 1.1 理解与实验和const 1.1.1 实验一 1.1.1 实验二二.指针三.指针和引用的区别四.const(const和pointer) ...
读书笔记：为啥要有Hive？Hadoop上查询性能问题
因为提数需要用到Hive,于是阅读<Hive实战>,并整理成笔记, 下面是来自我:一个数据开发路人甲的理解,如何不当欢迎留言或私信. 1. 再认识Hadoop 粗略地说,Hadoop是针对 ...
hadoop学习--基于Hive的Hadoop日志分析
本文将本地的hadoop日志,加载到Hive数据仓库中,再过滤日志中有用的日志信息转存到Mysql数据库里. 环境:hive-0.12.0 + Hadoop1.2.1 1.日志格式 2014-04-1 ...
对凸优化（Convex Optimization）的一些浅显理解
©作者 | 李航前单位 | EPFL 研究方向 | 计算机图形学与三维视觉最近学习了一些凸优化课程,整理笔记的同时写下一些自己的理解,向着头秃的道路上越走越远. 凸优化是应用数学的一个基本分支,几 ...

hive和hadoop的浅显理解

hive和hadoop的浅显理解相关推荐

最新文章

热门文章