mapreuce1.0局限性

1.扩展性差--MR1.0使用jobTracker负责集群的资源管理和作业控制，这成为系统最大瓶颈，严重制约了Hadoop集群扩展性。

2.可靠性差--MR1.0采用Master-Slave结构，单个namenode和多个datanode，其中master存在单点故障，一旦出现故障将导致整个集群不可用。

3.资源利用率低--MR1.0采用了槽位的资源分配模型，槽位是一种粗粒度的资源划分单位，通常一个任务无法使用完槽位对应资源，且其他任务无法使用这些空闲资源。此外，

Hadoop将槽位分为Map slot和 Reduce slot两种，且不允许他们之间共享，常常会导致一个槽位紧张而另外一种闲置。

4.无法支持多种计算框架--随着互联网高速发展，MapReduce这种基于磁盘的离线计算框架已不能满足应用要求，从而出现了一些新的计算框架，包括内存计算框架、流式计算框架和迭代式计算框架，而Mr1不支持多种计算框架并行。

mapreuce1.0局限性相关推荐

估算带卷积核二分类0,3的网络的收敛时间和迭代次数
制作一个网络分类minst的0和3求出这网络的迭代次数曲线表达式n(δ),和准确率表达式p-max(δ),用预期准确率去估算n,并推算需要的时间. 将minst的28*28的图片缩小到9*9,网络用一 ...
matlab球心投影,球心投影
描述此方位投影将地心用作其透视点.无论方位如何,所有的大圆都将投影为直线.此投影适用于导航,因为大圆将突出显示距离最短的路线. 投影方法此投影是一种从地球中心进行观察的平面透视投影.可以从任意方位 ...
mysql 层_mysql三层体系
为什么有连接池和线程池? 每创建一个新的会话(或链接),mysql内部创建一个新的用户线程来提供服务,当连接被销毁,线程也被销毁.即一个连接有一个线程.这种创建链接和销毁链接都会消耗cpu性能.为了降 ...
【计算机基础】计算机网络
文章目录计算机网络计算机网络的层次结构层次结构设计的基本原则 OSI七层模型 TCP/IP四层模型现代互联网的网络拓扑边缘部分核心部分树状结构计算机网络的性能指标速率Mbps = b ...
AWS S3 挂载到EC2
利用S3fs在Amazon EC2 Linux实例上挂载S3存储桶背景介绍 Amazon S3是互联网存储解决方案,能让所有开发人员访问同一个具备可扩展性.可靠性.安全性和快速价廉的数据存储基础设施 ...
4. 模板 STL容器
c++第三部分模板模板函数基本用法局限性类模板基本用法类模板成员函数创建时机类模板对象作函数参数类模板继承类模板分文件编写类模板与友元类模板案例: 深拷贝.运算符重载 STL ...
kubernetes 学习记录
Kubernetes 学习记录一.`kubernetes` 入门学习 1.1 部署第一个 `Deployment` 1.2 查看资源的命令 1.3 发布应用程序 1.3.1 暴漏服务的三种模式 1. ...
python使用jieba模块进行文本分析和搜索引擎推广“旅行青蛙”数据分析实战
目录 1 需要导入的模块 2 中文分词基础步骤 2.1 载入数据 2.2 分词 2.3 分词后的数据转回文本 2.4 保存分词后的文本为文本文件 3 添加自定义词典 3.1 方法1:直接定义词典列表 ...
神经网络收敛标准与准确率之间的数学关系
制作一个带一个3*3卷积核的神经网络,测试集是minst的0和2图片集,将28*28的图片缩小成9*9,隐藏层30个节点所以网络的结构是 S(minst0)-(con3*3)49-30-2-(1,0) ...

mapreuce1.0局限性

mapreuce1.0局限性相关推荐

最新文章

热门文章