spark大数据基础概念

Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL的引擎，并且运行MapReduce任务，
Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。
当然，这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，
Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到Hbase，设置再从Hbase写回Hive。

最后但不是最重要的–为了运行Hbase，Zookeeper是必须的，
zookeeper是一个用来进行分布式协调的服务，这些服务包括配置服务，维护元信息和命名空间服务。

1.hive适合处理离线的数据
2.hbase适合处理实时的数据的查询

Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。hive需要用到hdfs存储文件，需要用到MapReduce计算框架。
hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。
hbase可以认为是hdfs的一个包装。他的本质是数据存储，是个NoSql数据库；hbase部署于hdfs之上，并且克服了hdfs在随机读写方面的缺点。

下面这个链接非常重要：
https://www.cnblogs.com/JDtech/p/5320408.html
可以看到spark＋hbase
spark＋hive优于spark+hbase(nosql)

https://blog.csdn.net/qq_41577045/article/details/79936353
这个链接中提到，元数据库可以是derby数据库也可以是mysql数据库

在有mysql的情况下，为什么要使用hive
https://blog.csdn.net/nxw_tsp/article/details/54314886

hive连接mysql相关参考链接：
https://www.cnblogs.com/kinginme/p/7249533.html
http://www.cnblogs.com/kinginme/p/7233315.html
https://blog.csdn.net/henni_719/article/details/52919795

非关系型数据库有以下这些：
mongoDB，redis，HBase
关系型的出名的有 sql server，oracle，mysql，postgresql，db2，sqlite ，
剩下的基本是NoSQL 新出的

spark大数据基础概念相关推荐

python编写spark程序视频_【Python版pyspark】Spark大数据基础入门视频课程
[注意:本课程只包含pyspark系列课程的基础入门部分] Python版本的pyspark是学习Python的人的福音,为广大的Python开发人员提供了一个使用Python调用Spark接口处理大 ...
spark大数据基本概念整理以及软件下载链接
注意: 所谓的hive on spark就是把mapreduce替换为spark 而spark on hive仅仅是spark连接hive -------------------------下面是sp ...
Spark大数据开发学习：Spark基础入门
在诸多的大数据技术框架当中,Spark可以说是占据了非常重要的地位,继Hadoop之后,基于实时数据处理需求的不断上升,Spark开始占据越来越大的市场份额,而Spark,也成为大数据的必学知识点.今 ...
【大数据基础】基于信用卡逾期数据的Spark数据处理与分析
https://dblab.xmu.edu.cn/blog/2707/ 实验过程数据预处理本次实验数据集来自和鲸社区的信用卡评分模型构建数据,以数据集cs-training.csv为分析主体,其中 ...
大数据基础以及项目视频下载（Spark、Hadoop等），面试必要学习
本博客主要更新大数据相关的教学视频和相关项目实战视频,以便于帮助广大大数据学习者.喜欢的话关注.点赞和收藏喔! (1)大数据详解全套视频教程(硅谷全套) 链接:https://pan.baidu.co ...
学完大数据基础，可以按照我写的顺序学下去
首先给大家介绍什么叫大数据,大数据最早是在2006年谷歌提出来的,百度给他的定义为巨量数据集合,辅相成在今天大数据技术任然随着互联网的发展,更加迅速的成长,小到个人,企业,达到国家安全,大数据的作用可 ...
《大数据原理与应用》林子雨：一. 大数据基础
<大数据原理与应用>林子雨:一. 大数据基础思维导图 PS:边学边记重点: 理解大数据的概念及其处理架构Hadoop 难点: 掌握大数据处理架构Hadoop的安装与使用方法第1章大 ...
大数据基础——Hadoop大数据平台搭建
文章目录前言 Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结前言分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
大数据技术原理与应用第一篇大数据基础
目录第一章大数据概述一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...

spark大数据基础概念

spark大数据基础概念相关推荐

最新文章

热门文章