按照《权威指南》的例子求最低温度并且修改默认调度器为FairScheduler

首先我只是下载了2003年的数据，因为网络较慢……然后把数据整合到test.txt中，upload到hdfs文件系统中。如图。已有一个test.txt。

数据准备好之后，开始搞代码。代码如图。

然后把它们打包成一个jar包，运行。

结果求得2003年的最低温度是-807。如图。

搞掂！！

接下来是实现hadoop的公平调度器。

首先不做任何修改，直接启动hadoop集群，然后启动两个作业，查看FIFO调度器队列。

可以看到，同时启动两个作业，只会有一个作业运行，另一个作业处在等待状态。

而接下来是用公平调度器，在mapred-site.xml中加入如下属性：

    <property> <name>mapred.jobtracker.taskScheduler</name>
       <value>org.apache.hadoop.mapred.FairScheduler</value></property><property>
       <name>mapred.fairscheduler.poolnameproperty</name> <value>pool.name</value></property> <property> <name>pool.name</name> <value>${user.name}</value></property>

然后在fair-scheduler.xml中设置了两个pool的名字以及容量等。就是在其中加入如下属性。

    <?xml version="1.0"?> <allocations> <pool name="sample_pool"> <minMaps>1</minMaps> <minReduces>1</minReduces> <maxMaps>2</maxMaps> <maxReduces>2</maxReduces> <minSharePreemptionTimeout>300</minSharePreemptionTimeout> </pool> <user name="sample_user"> <maxRunningJobs>6</maxRunningJobs> </user> <userMaxJobsDefault>3</userMaxJobsDefault> <fairSharePreemptionTimeout>600</fairSharePreemptionTimeout></allocations>

然后保存退出，重启集群，同时启动两个作业，查看调度器窗口，如图。可以看出两个作业同时运行，并且系统进行资源分配。

转载于:https://www.cnblogs.com/UUhome/p/4283316.html

按照《权威指南》的例子求最低温度并且修改默认调度器为FairScheduler相关推荐

全局分配数组、栈分配数组、堆分配数组在IDA反汇编中的不同——《IDA权威指南》例子尝试
数组不同分配方式对比概述例子 1.全局分配的数组 2.栈分配的数组 3.堆分配数组总结概述本文例子均来自<IDA PRO 权威指南>第八章第一节阅读前需要掌握基本的汇编指令例 ...
Java性能权威指南-总结5
Java性能权威指南-总结5 垃圾收集入门垃圾收集概述分代垃圾收集器垃圾收集入门很多时候没有机会重写代码,又面临需要提高Java应用性能的压力,这种情况下对垃圾收集器的调优就变得至关重要. 现 ...
挑战练习：禁止一题多答（三）（基于Android编程权威指南）
本文同样是基于Android编程权威指南一书中的程序进行修改,而禁止一题多答的具体内容是:用户答完某道题,就禁掉那道题对应的按钮,防止用户一题多答. 我的思路是:先把公共的代码写进Question.j ...
Akka 指南之「调度器」
温馨提示:Akka 中文指南的 GitHub 地址为「akka-guide」,欢迎大家Star.Fork,纠错. 文章目录调度器依赖简介默认调度器查找调度器为 Actor 设置调度器调度 ...
《果壳中的C# C# 5.0 权威指南》 (09-26章) - 学习笔记
<果壳中的C# C# 5.0 权威指南> ========== ========== ========== [作者] (美) Joseph Albahari (美) Ben Albahar ...
Kubernetes权威指南（下）
Phineas # Kubernetes权威指南<Kubernetes权威指南>第5版勘误:https://github.com/kubeguide/K8sDefinitiveGuide- ...
JavaScript权威指南第11章JavaScript标准库
JavaScript权威指南第11章JavaScript标准库第11章 JavaScript标准库 11.1 集合与映射 11.1.1 Set类 11.1.2 Map类 11.1.3 WeakMa ...
《果壳中的C# C# 5.0 权威指南》 (01-08章) - 学习笔记
<果壳中的C# C# 5.0 权威指南> ========== ========== ========== [作者] (美) Joseph Albahari (美) Ben Albahar ...
JavaScript权威指南 - 函数
函数本身就是一段JavaScript代码,定义一次但可能被调用任意次.如果函数挂载在一个对象上,作为对象的一个属性,通常这种函数被称作对象的方法.用于初始化一个新创建的对象的函数被称作构造函数. 相对 ...
《数据中心虚拟化技术权威指南》一2.2　数据中心网络拓扑
本节书摘来自异步社区<数据中心虚拟化技术权威指南>一书中的第2章,第2.2节,作者[巴西]Gustavo A. A. Santana,更多章节内容可以访问云栖社区"异步社区&qu ...

按照《权威指南》的例子求最低温度并且修改默认调度器为FairScheduler

按照《权威指南》的例子求最低温度并且修改默认调度器为FairScheduler相关推荐

最新文章

热门文章