在单节点和多节点上的Hadoop设置
我们将描述在单节点和多节点上的Hadoop设置。 将详细描述Hadoop环境的设置和配置。 首先,您需要下载以下软件(rpm)。
- Java JDK RPM
- Apache Hadoop 0.20.204.0 RPM
A)单节点系统Hadoop设置
1)在Red Hat或CentOS 5+系统上安装JDK。
$ ./jdk-6u26-linux-x64-rpm.bin.sh
Java已安装,并将JAVA_HOME设置为/ usr / java / default
2)安装Apache Hadoop 0.20.204。
$ rpm -i hadoop-0.20.204.0-1.i386.rpm
3)设置Apache Hadoop配置并启动Hadoop进程。
$ /usr/sbin/hadoop-setup-single-node.sh
设置向导将指导您完成一系列问题以设置Hadoop。 对所有问题回答“是”后,Hadoop应该正在运行。
在HDFS上为您自己创建一个用户帐户。
$ /usr/sbin/hadoop-create-user.sh -u $USER
B)多节点Hadoop设置
1)在所有节点上同时安装JDK和Hadoop 0.20.204.0 RPM
2)在所有节点上生成hadoop配置:
$ /usr/sbin/hadoop-setup-conf.sh \--namenode-url=hdfs://${namenode}:9000/ \--jobtracker-url=${jobtracker}:9001 \--conf-dir=/etc/hadoop \--hdfs-dir=/var/lib/hadoop/hdfs \--namenode-dir=/var/lib/hadoop/hdfs/namenode \--mapred-dir=/var/lib/hadoop/mapred \--datanode-dir=/var/lib/hadoop/hdfs/data \--log-dir=/var/log/hadoop \--auto
其中$ {namenode}和$ {jobtracker}应替换为namenode和jobtracker的主机名。
3)格式化namenode并设置默认的HDFS布局。
$ /usr/sbin/hadoop-setup-hdfs.sh
4)启动所有数据节点。
$ /etc/init.d/hadoop-datanode start
5)启动作业跟踪器节点。
$ /etc/init.d/hadoop-jobtracker start
6)启动任务跟踪器节点。
$ /etc/init.d/hadoop-tasktracker start
7)在HDFS上为您自己创建一个用户帐户。
$ /usr/sbin/hadoop-create-user.sh -u $USER
C)Hadoop的安装环境
$ vi ~/.bash_profile
在INSERT模式下,设置JAVA_HOME的路径
汇出JAVA_HOME
通过单击esc:wq保存文件
运行.bash_profile
$ source ~/.bash_profile
在Hadoop环境文件中设置JAVA_HOME路径
$ /etc/hadoop/hadoop-env.sh
D)Hadoop的配置
使用以下内容:
conf / core-site.xml:
<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property>
</configuration>
conf / hdfs-site.xml:
<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>
conf / mapred-site.xml:
<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property>
</configuration>
E)Hadoop命令
$ hadoop
$ hadoop namenode –format (Format the namenode, If ask to
answer press ‘Y’)
$ hadoop namenode (Start the namenode)
$ find / -name start-dfs.sh (find the file in directory)
$ cd usr/sbin (Go to respective directory directly)
$ start-dfs.sh
$ start-mapred.sh$ hadoop fs –ls / (Shows the HDFS root folder)
$ hadooop fs –put input/file01 /input/file01 (Copy local input/file01 to
HDFS root /input/file01)
翻译自: https://www.javacodegeeks.com/2013/05/hadoop-setup-on-single-node-and-multi-node.html
在单节点和多节点上的Hadoop设置相关推荐
- 删除链表的中间节点 Java实现_【链表问题】删除单链表的中间节点
前言 以专题的形式更新刷题贴,欢迎跟我一起学习刷题,相信我,你的坚持,绝对会有意想不到的收获.每道题会提供简单的解答,如果你有更优雅的做法,欢迎提供指点,谢谢. [题目描述] 给定链表的头节点head ...
- oracle单节点加入rac,实验:Oracle单节点RAC添加节点
环境:RHEL 6.5 + Oracle 11.2.0.4 单节点RAC 需求:单节点RAC添加新节点 1.添加节点前的准备工作 参考Oracle官方文档: Oracle® Clusterware A ...
- 「数据结构 | 链表」单链表、双向链表节点操作演示动画
目录 1. 什么是链表 2. 链表数据结构 2.1 单链表数据结构(Java) 2.2 双向链表数据结构(Java) 3. 单链表操作动画 3.1 新增节点 3.2 删除节点 4. 双向链表操作动画 ...
- c语言在尾部添加新节点,在单链表最后插入节点
要在单链表的最后插入节点,需要提及以下两种情况. 新节点添加到空链表中 新节点添加到链表的末尾 1. 新节点添加到空链表中 如果满足条件(head == NULL). 因此,只需要在C语言中使用mal ...
- 工作流管理系统开发之十二 同一张表单在流程多节点中流转的权限控件
以前写过一篇 表单权限与流程的权限控制:文章,没有具体的去实现,实践证明,同一张表单在多流程节点中流转,是工作流和电子表单必须要处理的问题. 工作流系统和电子表单相结合,达到同一张表单在流程的各个节 ...
- 数据结构,单链表讲解,并使用Java代码实现单链表增删改查【尾部添加,中间插入、修改节点、删除节点、展示链表】
文章目录 单链表 什么是单链表,链式存储结构详解 链表的节点 头节点,头指针和首元节点 单链表的实现 1.尾部添加新节点 思路分析 代码实现 注意事项 2.按照编号插入新节点 思路分析 代码实现 注意 ...
- 从上往下打印出二叉树的每个节点,同层节点从左至右打印。
从上往下打印出二叉树的每个节点,同层节点从左至右打印. 题目:从上往下打印出二叉树的每个节点,同层节点从左至右打印. 分析:借助一个队列,先将根结点的指针入队列,出来时访问它,然后将它的左右孩子带到队 ...
- 数据结构:在一个单链表中,若删除p指向节点的后继节点,则执行的操作为:( )
在一个单链表中,若删除p指向节点的后继节点,则执行的操作为:( ) A.q=p->next; p->next=p->next->next; free(q) B.p=p-> ...
- sql 统计节点和子节点下面的数量_一次900万+数据量的 SQL 查询优化分析「上百倍性能优化」...
有一张流水表,未分库分表,目前的数据量为950w,分页查询使用到了limit,优化之前的查询耗时167s左右 (execution: 16s831ms, fetching: 107 ms) 按照下文的 ...
最新文章
- 在C#中应用哈希表(Hashtable)
- C# API中的模型和它们的接口设计
- python基础4(来自廖雪峰的官方网站)
- 太阳系八大行星碰撞的视频_高中地理——太阳系与地球
- 问到ConcurrentHashMap不要再提Segment了
- Android之提示androidx.recyclerview.widget.LinearLayoutManager@51ddcd is already attached to a RecyclerV
- jsdiff 比较文本内容差异
- 【渝粤题库】国家开放大学2021春2773特种动物养殖题目
- Haproxy 管控台介绍
- 数据仓如何支撑应用?
- 大屏监控系统实战(9)-爬取所有博主实时投票票数并存数据库
- Linux常用命令之yum
- studio one 3 机架声道设置_雅马哈UR242声卡宿主机架直播跳线设置
- java判断浏览器杂项_杂 项 - HelloJava菜鸟社区
- 20考研率辉计算机复试(贪心法)
- Ubuntu下将TinyOS移植到CC2430芯片
- win10c盘扩容_【电脑维护宝典】C盘不再亮起红灯!
- 计算机电源简单知识,基本知识:电脑电源工作流程以及电路图赏析
- 市场规模一年猛增24% 这个靠“打印”出来的市场正在韩国崛起
- 手机电池容量的一些基础知识
热门文章
- android 新的布局,Android新布局方式ConstraintLayout快速入门教程
- BigDecimal类的使用
- 转-HTTPClient调用https请求,通过基本认证用户名密码(Basic Auth)
- 解决eclipse中tomcat无法识别maven web项目问题
- java计算混淆矩阵(分类指标:查准率P,查全率R,P和R的调和均值F1,正确率A)
- java流与文件——内存映射文件
- 游戏 服务器 微服务_整体服务器与微服务
- hibernate乐观锁_Hibernate Collection乐观锁定
- Spring MVC – HTTP消息转换器
- 显式无参数构造函数与默认构造函数