Hadoop1.9安装配置
在rhel5安装hadoop1.9
一、 JDK的安装配置，使用的是JDK1.6（jdk-6u16-linux-i586.bin）
1. 把jdk1.6的安装文件放在/usr/local/目录中
设置执行权限chmod u+x jdk-6u16-linux-i586.bin
执行bin文件 ./jdk-6u16-linux-i586.bin
2、配置环境变量（/etc/profile）
JAVA_HOME=/usr/local/jdk1.6.0_16
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
3、执行命令让环境变量生效 source /etc/profile
二、 安装hadoop1.9
Hadoop安装在/home目录下
1、解压缩安装文件 tar zxvf hadoop-0.19.2.tar.gz
2、修改配置文件（conf/hadoop-env.sh）
设置JAVA_HOME环境变量
3. 修改配置文（conf/hadoop-site.xml）
<property>
<name>fs.default.name</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value> hdfs: //127.0.0.1:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4、设置密钥
执行下面两个命令
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
5、格式化分布式文件系统
进入hadoop的安装目录
执行命令：bin/hadoop namenode –format
6、启动 hadoop 进程
进入hadoop的安装目录，执行命令：bin/start-all.sh
控制台上的输出信息应该显示启动了 namenode, datanode, secondary namenode, jobtracker, tasktracker。启动完成之后，通过 ps –ef 应该可以看到启动了5个新的 java 进程
7、运行 wordcount 程序
mkdir input
echo “aaa aaa bb bbb bb cc ccc” > file.txt
cd ..
bin/hadoop dfs -put ./input input
执行hadoop程序：bin/hadoop jar hadoop-0.19.2-examples.jar wordcount input output
8、#查看执行结果:
将文件从 HDFS 拷到本地文件系统中再查看：
bin/hadoop dfs -get output output cat output/*
也可以直接查看
bin/hadoop dfs -cat output/*bin/stop-all.sh #停止hadoop进程
转载于:https://www.cnblogs.com/hymumu/archive/2011/10/16/2213855.html
Hadoop1.9安装配置相关推荐
- ZooKeeper学习第二期--ZooKeeper安装配置
一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式. ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境: ■ 伪集群模式:就是在一台 ...
- Oozie-3.3.2安装配置运行实践
参考:http://shiyanjun.cn/archives/644.html 注:按这篇文章说的做基本上没什么问题,但是有一点这里要说说: 在下载完ext-2.2.zip文件之后,一定要把其解压到 ...
- 一步步教你Hadoop多节点集群安装配置
一步步教你Hadoop多节点集群安装配置 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hado ...
- kerberos安装配置、配置kerberos server、client、日常操作与常见问题、卸载kerberos、hive整合kerberos
3.3.安装配置 安装kerberos前,要确保主机名可以被解析. 主机名 内网IP 角色 bigdata1 192.168.106.134 master KDC ,kerberos client b ...
- ZooKeeper安装配置
为什么80%的码农都做不了架构师?>>> 一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式. ■ 单机模式:Zookeepe ...
- hbase安装配置（整合到hadoop）
如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1. 快速单击安装 在单机安装Hbase的方 ...
- Hadoop集群_Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
- Linux下安装配置各种软件和服务
1. JDK 1.1. 解压Linux版本的JDK压缩包 yum -y install glibc.i686 #安装jdk源glibc(需要联网下载源) mkdir /usr/local/src/jd ...
- Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
最新文章
- Docker与LXC、虚拟化技术的区别——虚拟化技术本质上是在模拟硬件，Docker底层是LXC，本质都是cgroups是在直接操作硬件...
- SpringBoot 集成Mybatis
- matlab从入门到精通：图像可视化基础操作
- flink中datastream和dataset各自print()的异同
- 如何将Android Studio卸载的干干净净？
- 4.ID主键生成策略
- Centos7快速安装gcc8.3.1
- 下载 LINUX 和 windows 版本下 MySQL5.7.32
- java.lang.IllegalArgumentException: No enum constant org.apache.ws.commons.schema.XmlSchemaForm.
- Fiddler-抓取安卓手机APP请求地址
- SpringCloud与Ribbon整合的时候是如何提供RestTemplate负载均衡功能？
- 【Sencha Toucha】Sencha Touch ExtJs 给 Button 添加图片
- 计算机在环境工程专业中的应用,计算机在环境科学与工程方向的应用.pdf
- RL(Chapter 5): Monte Carlo Methods (MC) (蒙特卡洛方法)
- 搭建在线LaTeX编辑器Overleaf
- 知乎盐选会员-share1223会员商城
- 从安装包中提取wear OS手表端应用
- Wireshark网络安全之传输层安全-UDP泛洪(UDP Flood)
- 交通 流量 时间序列预测,神经网络 机器学习 BPNN
- win10系统下如何配置免安装版python（U盘版）及第三方库