通俗易懂讲解RPC、SpringCloud、Dubbo、Zookeeper、Hadoop、hive等概念的区别
文章目录
- 1. RPC
- 2. Hadoop
- 3. hive
- 4. SpringCloud和Dubbo
- 5. Zookeeper
- 6. 总结
1. RPC
RPC是一个远程调用的技术方式,其可以通过HTTP协议实现,也可以是基于SOCKET自己定义新的协议。其本质是为了让机器在进行远程调用的时候,不需要知道具体是从哪台机器调用,从而实现了服务的解耦。RPC本质上就实现了两个功能,一个是通过socket等实现的网络传输、一个是数据的序列化和反序列化。
RPC 和 HTTP 调用是没有经过中间件的,它们是端到端系统的直接数据交互。HTTP 调用其实也可以看成是一种特殊的 RPC,只不过传统意义上的 RPC 是指长连接数据交互,而 HTTP 一般是指即用即走的短链接。
RPC 在我们熟知的各种中间件中都有它的身影。Nginx/Redis/MySQL/Dubbo/Hadoop/Spark/Tensorflow 等重量级开源产品都是在 RPC 技术的基础上构建出来的,我们这里说的 RPC 指的是广义的 RPC,也就是分布式系统的通信技术。RPC 在技术中的地位好比我们身边的空气,它无处不在,但是又有很多人根本不知道它的存在。
2. Hadoop
hadoop是一个分布式的计算框架,主要用于分布式的存储(HDFS)和计算(MapReduce,可以被Spark替代),其机器间的技术使用的RPC(RPC可以使用HTTP协议实现,也可以是基于SOCKET自己定义新的协议)。其通俗的解释是将一个计算同时分派到很多机器一起算,每个机器算一部分。
3. hive
hive是由Facebook开源用于解决海量结构化日志的数据统计;hive是一个基于hadoop的数据库工具,可以将结构化数据映射成一张数据表,然后将SQL语句转化成MapReduce程序,并提供类SQL的查询(基于Hadoop的大数据高效查询)
4. SpringCloud和Dubbo
springcloud和dubbo都是分布式的服务框架,主要承担分布式服务器间的RPC通信功能。springcloud的通信协议是REST,dubbo的通信技术是RPC。其通俗的解释是一个程序的不同模块放在了不同机器上,所以他们之间需要用网线来连在一起交互。
5. Zookeeper
zookeeper是一个服务治理的组件,一般用于和dubbo配合使用(springcloud一般和eureka配合),因为dubbo实现了通信功能,但是你如果需要多个机器相应同一个功能模块,就需要 zookeeper来进行调度看什么时候分给哪一个。
6. 总结
- RPC是协议,是分布式系统实现的原理
- Hadoop负责分布式的进行大数据的存储和计算,hisv是Hadoop系统的一个工具
- SpringCloud和Dubbo承担分布式服务器之间的通信
- Zookeeper负责组织调度(与Dubbo配合)。
通俗易懂讲解RPC、SpringCloud、Dubbo、Zookeeper、Hadoop、hive等概念的区别相关推荐
- 生产队上线丨千锋索尔《阿里RPC框架Dubbo源码级讲解》重磅来袭
命运就算颠沛流离 命运就算曲折离奇 命运就算恐吓着你做人没趣味 别流泪心酸更不应舍弃 愿千锋能一生永远陪伴你 一生之中弯弯曲曲我也要走过 从何时有你有你伴我给我热烈地拍和 像Java语言陪伴真的我 结 ...
- hadoop+zookeeper+hbase+hive
hadoop安装配置 hadoop安装文档:https://blog.csdn.net/pucao_cug/article/details/71698903 zookeeper安装文档:https:/ ...
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
- zookeeper 密码_「附源码」Dubbo+Zookeeper 的 RPC 远程调用框架
技术博文,及时送达 作者 | 码农云帆哥 链接 | blog.csdn.net/sinat_27933301 上一篇:从零搭建创业公司后台技术栈 这是一个基于Dubbo+Zookeeper 的 RPC ...
- 微服务四个常见问题,以及SpringCloud Netflix和SpringCloud Alibaba和Apache Dubbo zookeeper区别
微服务的四个问题 1.服务很多,客户端该怎么访问? 2.这么多服务? 服务之间如何通信? 3.这么多服务? 如何治理? 4.服务挂了怎么办? 提出三种解决方案 1.spring cloud NetFl ...
- 大数据开发超高频面试题!大厂面试必看!包含Hadoop、zookeeper、Hive、flume、kafka、Hbase、flink、spark、数仓等
大数据开发面试题 包含Hadoop.zookeeper.Hive.flume.kafka.Hbase.flink.spark.数仓等高频面试题. 数据来自原博主爬虫获取! 文章目录 大数据开发面试题 ...
- 自动安装JDK、HADOOP、ZOOKEEPER、HIVE的shell脚本
看脚本需要注意的地方是用[" "]双引号括起来的字段一般是带有$某个东西的,例如$hostname,需要 取值的一般都用""不然会出错,如果不想取值,直接保留$ ...
- spring-boot重头再来 6 分布式理论 RPC远程过程调用 Zookeeper安装 Dubbo SpringBoot + Dubbo + zookeeper Spring Security
spring-boot重头再来 6 文章目录 spring-boot重头再来 6 分布式理论 RPC远程过程调用 Zookeeper安装 Dubbo dubbo-admin安装 dubbo-admin ...
- 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)
大数据集群搭建进度及问题总结 所有资料在评论区那里可以得到 第一章: 1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是 ...
最新文章
- linux基础(8)-颜色显示
- 使用Wisdom RESTClient如何在Linux和Mac上获取测试报告和API文档?
- django框架使用mysql报错,及两种解决方法
- python处理数据的优势-Python 的优势在哪里?
- 常考数据结构与算法:异或操作
- 22种代码味道(Martin Fowler与Kent Beck)
- rust里mp5a4_Rust源码分析:channel内部mpsc队列
- lintcode 单词接龙II
- 嵌入式linux镜像,使用Openembedded定制嵌入式Linux镜像
- 街篮服务器维修时间,全新花式技能系统 《街头篮球》春节前夕版本上线
- Android SQLite数据库
- 利用Python收发邮件
- 在浏览器上播放虚幻引擎:像素流前端教程
- 动态规划之背包问题——完全背包
- Loongson2f_龙芯逸珑8089A_扩容硬盘安装debian8(sd卡扩容)
- 中了勒索病毒,该如何恢复数据?
- 基于XC7K325T光纤传输的PCIE光纤卡、2路光纤的资料
- SPSS--回归-多元线性回归模型案例解析!(一)
- 【机器学习】1-机器学习的分类及重要概念
- 各代iphone尺寸_历代16款iPhone厚度对比:iPhone X 5年来最厚