Hadoop学习之MapReduce(三)

在学习过MapReduce框架的几个关键类和接口后（只是简单的说明了类或者接口的作用及使用方式，要想深入了解如何工作的就需要深入研究源代码了，这也是计划中的学习任务），接下来看看任务的执行和环境，主要涉及的还是一些参数。TaskTracker将mapper/reducer任务作为子进程在不同的jvm中执行，子任务继承了父进程TaskTracker的环境。用户可以通过 mapred.{map|reduce}.child.java.opts配置参数指定额外的选项，比如通过-Djava.library.path=<>指定运行时链接器搜索共享库的非标准的路径。如果mapred.{map|reduce}.child.java.opts参数包含符号@taskid@ ，那么使用MapReduce任务的taskid的值替换@taskid@ 。需要注意的是mapred.{map|reduce}.child.java.opts只用于管理从TaskTracker加载的子任务。

下面是一个包含多个参数和替换的例子，展示了jvm的GC日志，启动了无密码登录的JVM JMX代理（这样可以连接到控制台等以查看子进程内存，线程和取得线程dump），分别设置了map和reduce子jvm的最大堆大小为512MB和1024MB，通过java.library.path为子jvm添加了额外的路径。代码如下：

<property>
<name>mapred.map.child.java.opts</name>
<value> -Xmx512M -Djava.library.path=/home/mycompany/lib-verbose:gc - Xloggc:/tmp/@taskid@.gc -Dcom.sun.manage

Hadoop学习之MapReduce(三)相关推荐

Hadoop学习之MapReduce
Hadoop学习之MapReduce 目录 Hadoop学习之MapReduce 1 MapReduce简介 1.1 什么是MapReduce 1.2 MapReduce的作用 1.3 MapRedu ...
第三节 Hadoop学习案例——MapReduce课程设计好友推荐功能
提示:文章内容主要以案例为主目录前言项目说明一,程序需求 1.需求 2.数据二,编码操作 1.项目建包目录 2.FriendsRecommend.java 3.FriendsRecommen ...
Hadoop 学习笔记（三）常用命令
Hadoop 学习笔记(三)常用命令进入HADOOP_HOME目录. 执行sh bin/start-all.sh 进入HADOOP_HOME目录. 执行sh bin/stop-all.sh Usag ...
Hadoop学习之旅三：MapReduce
MapReduce编程模型在Google的一篇重要的论文MapReduce: Simplified Data Processing on Large Clusters中提到,Google公司有大量的 ...
Hadoop学习之Mapreduce执行过程详解
一.MapReduce执行过程 MapReduce运行时,首先通过Map读取HDFS中的数据,然后经过拆分,将每个文件中的每行数据分拆成键值对,最后输出作为Reduce的输入,大体执行流程如下图所示: ...
Hadoop学习之MapReduce(四)
接下来是跟MapReduce目录结构有关的参数.首先看两个参数,分别为在core-default.xml中定义的hadoop.tmp.dir,其默认值为/tmp/hadoop-${user.name} ...
Hadoop学习之MapReduce(二)
在通过WordCount的例子直观地了解了MapReduce框架的作业如何编写后,现在对MapReduce框架中的关键接口或者类进行深入地地探索和学习.主要讲解Hadoop1.x中的接口和类,也就是o ...
Hadoop学习之MapReduce(一)
在学习过了HDFS架构和Hadoop的配置管理后,现在学习MapReduce应用程序的编写和管理.首先简单介绍一下MapReduce框架. MapReduce是一个易于编写程序的软件框架,这些应用程序 ...
Hadoop学习之MapReduce分布式计算框架
目录一.本地模式 1.新建一个本地maven项目 2.修改prom依赖(maven) 3.新建一个包mapreduce,在该包中新建三个包 4.写mapper组件 5.写Reducer组件 6.写D ...

Hadoop学习之MapReduce(三)

Hadoop学习之MapReduce(三)相关推荐

最新文章

热门文章