我们将描述在单节点和多节点上的Hadoop设置。 将详细描述Hadoop环境的设置和配置。 首先,您需要下载以下软件(rpm)。

  • Java JDK RPM
  • Apache Hadoop 0.20.204.0 RPM

A)单节点系统Hadoop设置

1)在Red Hat或CentOS 5+系统上安装JDK。

$ ./jdk-6u26-linux-x64-rpm.bin.sh

Java已安装,并将JAVA_HOME设置为/ usr / java / default

2)安装Apache Hadoop 0.20.204。

$ rpm -i hadoop-0.20.204.0-1.i386.rpm

3)设置Apache Hadoop配置并启动Hadoop进程。

$ /usr/sbin/hadoop-setup-single-node.sh

设置向导将指导您完成一系列问题以设置Hadoop。 对所有问题回答“是”后,Hadoop应该正在运行。

在HDFS上为您自己创建一个用户帐户。

$ /usr/sbin/hadoop-create-user.sh -u $USER

B)多节点Hadoop设置

1)在所有节点上同时安装JDK和Hadoop 0.20.204.0 RPM

2)在所有节点上生成hadoop配置:

$ /usr/sbin/hadoop-setup-conf.sh \--namenode-url=hdfs://${namenode}:9000/ \--jobtracker-url=${jobtracker}:9001 \--conf-dir=/etc/hadoop \--hdfs-dir=/var/lib/hadoop/hdfs \--namenode-dir=/var/lib/hadoop/hdfs/namenode \--mapred-dir=/var/lib/hadoop/mapred \--datanode-dir=/var/lib/hadoop/hdfs/data \--log-dir=/var/log/hadoop \--auto

其中$ {namenode}和$ {jobtracker}应替换为namenode和jobtracker的主机名。

3)格式化namenode并设置默认的HDFS布局。

$ /usr/sbin/hadoop-setup-hdfs.sh

4)启动所有数据节点。

$ /etc/init.d/hadoop-datanode start

5)启动作业跟踪器节点。

$ /etc/init.d/hadoop-jobtracker start

6)启动任务跟踪器节点。

$ /etc/init.d/hadoop-tasktracker start

7)在HDFS上为您自己创建一个用户帐户。

$ /usr/sbin/hadoop-create-user.sh -u $USER

C)Hadoop的安装环境

$ vi ~/.bash_profile

在INSERT模式下,设置JAVA_HOME的路径

汇出JAVA_HOME

通过单击esc:wq保存文件

运行.bash_profile

$ source ~/.bash_profile

在Hadoop环境文件中设置JAVA_HOME路径

$ /etc/hadoop/hadoop-env.sh

D)Hadoop的配置

使用以下内容:

conf / core-site.xml:

<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property>
</configuration>

conf / hdfs-site.xml:

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

conf / mapred-site.xml:

<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property>
</configuration>

E)Hadoop命令

$ hadoop
$ hadoop namenode –format (Format the namenode, If ask to
answer press ‘Y’)
$ hadoop namenode (Start the namenode)
$ find / -name start-dfs.sh (find the file in directory)
$ cd usr/sbin (Go to respective directory directly)
$ start-dfs.sh
$ start-mapred.sh$ hadoop fs –ls / (Shows the HDFS root folder)
$ hadooop fs –put input/file01 /input/file01 (Copy local input/file01 to
HDFS root /input/file01)
参考: TechAlpine –技术世界博客上的JCG合作伙伴 Kaushik Pal提供了在单节点和多节点上的Hadoop设置 。

翻译自: https://www.javacodegeeks.com/2013/05/hadoop-setup-on-single-node-and-multi-node.html

在单节点和多节点上的Hadoop设置相关推荐

  1. 删除链表的中间节点 Java实现_【链表问题】删除单链表的中间节点

    前言 以专题的形式更新刷题贴,欢迎跟我一起学习刷题,相信我,你的坚持,绝对会有意想不到的收获.每道题会提供简单的解答,如果你有更优雅的做法,欢迎提供指点,谢谢. [题目描述] 给定链表的头节点head ...

  2. oracle单节点加入rac,实验:Oracle单节点RAC添加节点

    环境:RHEL 6.5 + Oracle 11.2.0.4 单节点RAC 需求:单节点RAC添加新节点 1.添加节点前的准备工作 参考Oracle官方文档: Oracle® Clusterware A ...

  3. 「数据结构 | 链表」单链表、双向链表节点操作演示动画

    目录 1. 什么是链表 2. 链表数据结构 2.1 单链表数据结构(Java) 2.2 双向链表数据结构(Java) 3. 单链表操作动画 3.1 新增节点 3.2 删除节点 4. 双向链表操作动画 ...

  4. c语言在尾部添加新节点,在单链表最后插入节点

    要在单链表的最后插入节点,需要提及以下两种情况. 新节点添加到空链表中 新节点添加到链表的末尾 1. 新节点添加到空链表中 如果满足条件(head == NULL). 因此,只需要在C语言中使用mal ...

  5. 工作流管理系统开发之十二 同一张表单在流程多节点中流转的权限控件

    以前写过一篇  表单权限与流程的权限控制:文章,没有具体的去实现,实践证明,同一张表单在多流程节点中流转,是工作流和电子表单必须要处理的问题. 工作流系统和电子表单相结合,达到同一张表单在流程的各个节 ...

  6. 数据结构,单链表讲解,并使用Java代码实现单链表增删改查【尾部添加,中间插入、修改节点、删除节点、展示链表】

    文章目录 单链表 什么是单链表,链式存储结构详解 链表的节点 头节点,头指针和首元节点 单链表的实现 1.尾部添加新节点 思路分析 代码实现 注意事项 2.按照编号插入新节点 思路分析 代码实现 注意 ...

  7. 从上往下打印出二叉树的每个节点,同层节点从左至右打印。

    从上往下打印出二叉树的每个节点,同层节点从左至右打印. 题目:从上往下打印出二叉树的每个节点,同层节点从左至右打印. 分析:借助一个队列,先将根结点的指针入队列,出来时访问它,然后将它的左右孩子带到队 ...

  8. 数据结构:在一个单链表中,若删除p指向节点的后继节点,则执行的操作为:( )

    在一个单链表中,若删除p指向节点的后继节点,则执行的操作为:( ) A.q=p->next; p->next=p->next->next; free(q) B.p=p-> ...

  9. sql 统计节点和子节点下面的数量_一次900万+数据量的 SQL 查询优化分析「上百倍性能优化」...

    有一张流水表,未分库分表,目前的数据量为950w,分页查询使用到了limit,优化之前的查询耗时167s左右 (execution: 16s831ms, fetching: 107 ms) 按照下文的 ...

最新文章

  1. 在C#中应用哈希表(Hashtable)
  2. C# API中的模型和它们的接口设计
  3. python基础4(来自廖雪峰的官方网站)
  4. 太阳系八大行星碰撞的视频_高中地理——太阳系与地球
  5. 问到ConcurrentHashMap不要再提Segment了
  6. Android之提示androidx.recyclerview.widget.LinearLayoutManager@51ddcd is already attached to a RecyclerV
  7. jsdiff 比较文本内容差异
  8. 【渝粤题库】国家开放大学2021春2773特种动物养殖题目
  9. Haproxy 管控台介绍
  10. 数据仓如何支撑应用?
  11. 大屏监控系统实战(9)-爬取所有博主实时投票票数并存数据库
  12. Linux常用命令之yum
  13. studio one 3 机架声道设置_雅马哈UR242声卡宿主机架直播跳线设置
  14. java判断浏览器杂项_杂 项 - HelloJava菜鸟社区
  15. 20考研率辉计算机复试(贪心法)
  16. Ubuntu下将TinyOS移植到CC2430芯片
  17. win10c盘扩容_【电脑维护宝典】C盘不再亮起红灯!
  18. 计算机电源简单知识,基本知识:电脑电源工作流程以及电路图赏析
  19. 市场规模一年猛增24% 这个靠“打印”出来的市场正在韩国崛起
  20. 手机电池容量的一些基础知识

热门文章

  1. android 新的布局,Android新布局方式ConstraintLayout快速入门教程
  2. BigDecimal类的使用
  3. 转-HTTPClient调用https请求,通过基本认证用户名密码(Basic Auth)
  4. 解决eclipse中tomcat无法识别maven web项目问题
  5. java计算混淆矩阵(分类指标:查准率P,查全率R,P和R的调和均值F1,正确率A)
  6. java流与文件——内存映射文件
  7. 游戏 服务器 微服务_整体服务器与微服务
  8. hibernate乐观锁_Hibernate Collection乐观锁定
  9. Spring MVC – HTTP消息转换器
  10. 显式无参数构造函数与默认构造函数