目的

使用 CLI MiniCluster, 用户能够简单地仅仅用一个命令就启动或关闭一个单一节点的Hadoop集群,不须要设置不论什么环境变量或管理配置文件。 CLI MiniCluster 同一时候启动一个 YARN/MapReduce 和 HDFS 集群。

这对那些想要高速体验一个真实的Hadoop集群或是測试依赖明显的Hadoop函数的非Java程序 的用户非常实用。

Hadoop Tarball

你须要从公布页获取tar包。或者。你能够从源代码中自己编译。

$ mvn clean install -DskipTests
$ mvn package -Pdist -Dtar -DskipTests -Dmaven.javadoc.skip

注意: 你须要事先安装有 protoc 2.5.0 。

tar包应该在 hadoop-dist/target/ 文件夹.

执行 MiniCluster

从解压出的tar包的根文件夹。你能够用以下的命令启动 CLI MiniCluster :

$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT

在上面的命令演示样例中,RM_PORT 和 JHS_PORT 应该由用户的port号替换。假设不指定。会随机使用空暇的port。

命令行參数中有一个数字,用户能够用来控制启动哪个服务。或者传递别的属性。可用的命令行參数例如以下:

$ -D <property=value>    Options to pass into configuration object
$ -datanodes <arg>       启动多少个 datanodes  (默认是 1)
$ -format                格式化 DFS (默认是 false)
$ -help                  打印帮助选项
$ -jhsport <arg>         JobHistoryServer 端口 (默认是 0--我们选的)
$ -namenode <arg>        namenode 的 URL  (默认 要么是 DFS 集群,要么是暂时文件夹)
$ -nnport <arg>          NameNode 端口 (默认是 0--我们选的)
$ -nodemanagers <arg>    要启动多少个 nodemanagers(默认是 1)
$ -nodfs                 不启动一个 mini DFS 集群
$ -nomr                  Don't start a mini MR cluster
$ -rmport <arg>          ResourceManager 端口 (默认是 0--我们选的)
$ -writeConfig <path>    保存配置文件到这个XML文件中。
$ -writeDetails <path>   写出基本信息到这个JSON文件中。

要显示可用的參数的全列表。用户能够传-help參数给上面的命令。

本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/5389794.html,如需转载请自行联系原作者 

Hadoop-2.2.0中文文档—— Common - CLI MiniCluster相关推荐

  1. Apache Spark 2.2.0 中文文档 翻译活动

    为什么80%的码农都做不了架构师?>>>    Spark 2.2.0 已然发布(2017-07-11 发布) 5 天了,更新了一些新套路吧! 此版本从 Structured Str ...

  2. Django2.0中文文档

    title: Django2.0中文文档 tags: Python,Django,入沐三分 grammar_cjkRuby: true --- Django2.0版本已经发布了,我们先来看一个图片 从 ...

  3. Apache Spark 2.2.0 中文文档 - 概述 | ApacheCN

    Spark 概述 Apache Spark 是一个快速的, 多用途的集群计算系统. 它提供了 Java, Scala, Python 和 R 的高级 API,以及一个支持通用的执行图计算的优化过的引擎 ...

  4. Apache Spark 2.2.0 中文文档 - Spark RDD(Resilient Distributed Datasets)

    Spark RDD(Resilient Distributed Datasets)论文 概要 1: 介绍 2: Resilient Distributed Datasets(RDDs) 2.1 RDD ...

  5. Hadoop-2.2.0中文文档——MapReduce 下一代 -——集群配置

    目的 这份文档描写叙述了怎样安装.配置和管理从几个节点到有数千个节点的Hadoop集群. 玩的话,你可能想先在单机上安装.(看单节点配置). 准备 从Apache镜像上下载一个Hadoop的稳定版本号 ...

  6. python3怎么使用pyrex_用户指南 - Cython 和 Pyrex 之间的区别 - 《Cython 3.0 中文文档》 - 书栈网 · BookStack...

    Cython 和 Pyrex 之间的区别 警告 Cython 和 Pyrex 都是移动目标.已经到了这一点,两个项目之间所有差异的明确列表将很难列出和跟踪,但希望这个高级列表能够了解存在的差异.应该注 ...

  7. PyTorc 1.0 中文文档:扩展PyTorch

    译者:PEGASUS1993 本章中,将要介绍使用我们的C库如何扩展torch.nn,torch.autograd和编写自定义的C扩展工具. 扩展torch.autograd 添加操作autograd ...

  8. sequelize 增加数据库字段_sequelize 5.0中文文档连接数据源及数据类型 (一) - node.js语言最好用的orm...

    文章目录 前言 Node.js 社区中,sequelize 应该是最好用的 ORM 框架,它支持多种数据库,包括 PostgreSQL ,MySQL ,SQLite 和 MSSQL. 安装 npm i ...

  9. Apache Spark 2.2.0 中文文档 - 快速入门 | ApacheCN

    快速入门 使用 Spark Shell 进行交互式分析 基础 Dataset 上的更多操作 缓存 独立的应用 快速跳转 本教程提供了如何使用 Spark 的快速入门介绍.首先通过运行 Spark 交互 ...

  10. 装载HTML 5 Boilerplate 5.0 中文文档

    出处:http://www.w3cplus.com/html5/html5-boilerplate.html 本文是根据HTML5 Boilerplate 官方文档所译,主要介绍了HTML5 Boil ...

最新文章

  1. 了解C++类的大小和类变量的字节对齐
  2. 过拟合(原因、解决方案、原理)
  3. JZOJ 1220. Pla
  4. xp计算机知识点,全国职称计算机考试Windowsxp知识点
  5. Cifar10与ResNet18实战、lenet5、resnet(学习笔记)
  6. Git服务器搭建笔记
  7. 广告文案被指侮辱女性 茶颜悦色道歉:立即召回相关产品
  8. 基于matlab的高等数学,基于MATLAB的高等数学问题求解
  9. PixiJS学习(9)动画序列帧
  10. 一般纳税人和小规模纳税人哪个好?哪个更划算?
  11. 葡萄城报表模板库更新:新增6个行业、50张经典报表模板
  12. 电商购物后台管理系统总结
  13. 谈腾讯地图web api如何实现类似百度地图内置的城市切换、关键字输入提示功能
  14. .axf文件_「嵌入式笔记」hex文件、bin文件、axf文件的区别?
  15. 智能切换微信群活码二维码创建教程
  16. zbb20180930 java,nio,netty Netty5.0用法
  17. python小工具开发_python音乐下载小工具源码(tkinter)
  18. 1891-2100年php日历代码
  19. 学习笔记——Git的简单使用
  20. 微型计算机 电脑爱好者,电脑爱好者1994年全.pdf

热门文章

  1. Atitit 提升用户体验 生物识别 与登录 身份验证
  2. Atitit.软件中见算法 程序设计五大种类算法
  3. Atitit.软件gui按钮and面板---os区-----linux windows搜索文件 文件夹
  4. paip.输入法编程---增加码表类型
  5. paip.FTP服务端及客户端的使用总结
  6. paip.模块间同步登录SSO实现总结
  7. 一文读懂 K8s 持久化存储 | 凌云时刻
  8. 【电力负荷预测】基于matlab日特征气象因素支持向量机SVM电力负荷预测【含Matlab源码 1612期】
  9. 【RWM】基于matlab路由无线传感器网络模拟随机路点运动模型【含Matlab源码 1565期】
  10. 【目标跟踪】基于matlab Kalman目标跟踪【含Matlab源码 1119期】