hadoop 2.5.0安装和配置

安装hadoop要先做以下准备：

1.jdk，安装教程在

http://www.cnblogs.com/stardjyeah/p/4640917.html

2.ssh无密码验证，配置教程在

http://www.cnblogs.com/stardjyeah/p/4641524.html

3.linux静态ip配置，教程在

http://www.cnblogs.com/stardjyeah/p/4640691.html

准备好以后就可以进行hadoop 2.5.0安装和配置了

1）解压hadoop到自己的hadoop目录

2） 2.X版本较1.X版本改动很大，主要是用Hadoop MapReduceV2(Yarn) 框架代替了一代的架构，其中JobTracker 和 TaskTracker 不见了，取而代之的是 ResourceManager, ApplicationMaster 与 NodeManager 三个部分，而具体的配置文件位置与内容也都有了相应变化，具体的可参考文献：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

3） hadoop/etc/hadoop/hadoop-env.sh 与 hadoop/etc/hadoop/yarn-env.sh来配置两个文件里的JAVA_HOME

4）配置etc/hadoop/core-site.xml

<configuration><property>     <name>fs.default.name</name>     <value>hdfs://localhost:9000</value>     </property>  <property>  <name>io.file.buffer.size</name>  <value>4096</value>  </property>  <property>  <name>hadoop.tmp.dir</name>  <value>/home/hadoop/hadoop/hadoop-2.5.0/tmp</value>  </property>
</configuration>

5）配置etc/hadoop/hdfs-site.xml （注意：这里需要自己手动用mkdir创建name和data文件夹，具体位置也可以自己选择，其中dfs.replication的值建议配置为与分布式 cluster 中实际的 DataNode 主机数一致。）

<configuration>
<property>    <name>dfs.namenode.name.dir</name>    <value>/home/hadoop/hadoop/hadoop-2.5.0/hdfs/name</value> <final>true</final>   </property>    <property>    <name>dfs.datanode.data.dir</name>     <value>/home/hadoop/hadoop/hadoop-2.5.0/hdfs/data</value><final>true</final>    </property>    <property>    <name>dfs.permissions</name>    <value>false</value>    </property>  <property>  <name>dfs.replication</name>  <value>1</value>  </property>  <property>  <name>dfs.webhdfs.enabled</name>  <value>true</value>  </property>  <property>  <name>dfs.namenode.rpc-address</name>  <value>localhost:9000</value>  </property>  <property>  <name>dfs.namenode.secondary.http-address</name>  <value>localhost:50090</value>  </property>
</configuration>

6）配置etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property><property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property><property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property><property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/home/hadoop/hadoop/hadoop-2.5.0/mr-history/tmp</value>
</property><property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/home/hadoop/hadoop/hadoop-2.5.0/mr-history/done</value>
</property></configuration>

7）配置etc/hadoop/yarn-site.xml

<configuration><!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property><property>  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  <value>org.apache.hadoop.mapred.ShuffleHandler</value>  </property>  <property>
<name>yarn.resourcemanager.address</name>
<value>localhost:18040</value>
</property><property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>localhost:18030</value>
</property><property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>localhost:18025</value>
</property><property>
<name>yarn.resourcemanager.admin.address</name>
<value>localhost:18041</value>
</property><property>
<name>yarn.resourcemanager.webapp.address</name>
<value>localhost:8088</value>
</property><property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/hadoop/hadoop/hadoop-2.5.0/mynode/my</value>
</property><property>
<name>yarn.nodemanager.log-dirs</name>
<value>/home/hadoop/hadoop/hadoop-2.5.0/mynode/logs</value>
</property><property>
<name>yarn.nodemanager.log.retain-seconds</name>
<value>10800</value>
</property><property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/logs</value>
</property><property>
<name>yarn.nodemanager.remote-app-log-dir-suffix</name>
<value>logs</value>
</property><property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>-1</value>
</property><property>
<name>yarn.log-aggregation.retain-check-interval-seconds</name>
<value>-1</value>
</property>
</configuration>

8）启动测试

先格式化namenode：bin/hdfs dfs namenode –format

如果没有报错则表示成功

启动hdfs： sbin/start-dfs.sh

Jps查看是否启动了namenode,datanode, SecondaryNameNode

启动yarn：start-yarn.sh

Jps查看是否启动了NodeManager， ResourceManager

然后登陆8088端口看是否会出现如下页面：

登陆50070看是否会出现如下页面：

登陆50090看是否会出现如下页面：

如果页面都出现，则表示hadoop安装成功！

下面测试一下hdfs文件系统

建立一个目录：bin/hdfs dfs -mkdir /TestDir/

上传一个文件：bin/hdfs dfs -put ./test.txt /TestDir/

上传成功，下面进行wordcount测试

1.dfs上创建input目录
$bin/hadoop fs -mkdir -p input

2.把hadoop目录下的test.txt拷贝到dfs新建的input里
$bin/hadoop fs -copyFromLocal test.txt input

3.运行WordCount
$bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.0-sources.jar org.apache.hadoop.examples.WordCount input output

4.运行完毕后，查看单词统计结果
$bin/hadoop fs -cat output/*

假如程序的输出路径为output，如果该文件夹已经存在,先删除
$bin/hadoop dfs -rmr output

查看wordcount结果如下：

转载于:https://www.cnblogs.com/stardjyeah/p/4641554.html

hadoop 2.5.0安装和配置相关推荐

Hadoop 2.2.0安装和配置lzo
2019独角兽企业重金招聘Python工程师标准>>> Hadoop经常用于处理大量的数据,如果期间的输出数据.中间数据能压缩存储,对系统的I/O性能会有提升.综合考虑压缩.解压速度 ...
Hortworks Hadoop 2.4.2安装、配置
Hortonworks Hadoop 2.4.2安装.配置 1简介此手册应用于Hortonworks Hadoop(HDP2.4.2)的安装.使用. 1.1 参考资料 http://docs. ...
Spark2.1.0安装与配置（单机版）
Spark2.1.0安装与配置(单机版) B站同步视频:Spark2.1.0安装与配置(单机版) 前言该安装教程是承接Spark源码编译B站教程所制,因此所使用的安装包是在Spark源码编译教程中得 ...
记一次基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
一.基本信息官网 http://spark.apache.org/ Apache Spark 官方文档中文版(Spark 2.2.0) http://spark.apachecn.org/#/ Sp ...
Maven3.5.0安装与配置
Maven3.5.0安装与配置下载Maven3.5.0 Maven3.5.0下载地址 Maven3.5.0的安装将下载后的apache-maven-3.5.0-bin.zip解压,如"g ...
tomcat9.0安装与配置
tomcat9.0安装与配置准备工作通常情况下,是先下载JDK.JRE之后再下载tomcat的,所以在安装配置tomcat之前,需要检查一下你的jdk.jre环境变量是否配置完成. ·控制面板-& ...
国产达梦数据库学习笔记（一）：NeoKylin7.0安装及配置与常用基础命令
国产达梦数据库学习笔记(一):NeoKylin7.0安装及配置与常用基础命令以VMware Workstation Pro 15环境下的NeoKylin7.0与DM8为例中标麒麟系统NeoKyli ...
hadoop.2.6.0安装hive.1.2.2
文章目录 1.hadoop.2.6.0的安装 2.hive.1.2.2的安装 2.1 前提 2.2 解压错误1.提示 1.hadoop.2.6.0的安装参考:https://blog.csdn.n ...
查询linux kafka安装目录,Kafka 1.0.0安装和配置--Linux篇
阅读目录: 1. 关闭防火墙和Selinux 2. 安装所需环境JDK,Zookeeper 3. 下载Kafka 1.0.0版本 4. 配置Kafka 5. 启动Kafka并验证 6. 报错及解决 7 ...

hadoop 2.5.0安装和配置

hadoop 2.5.0安装和配置相关推荐

最新文章

热门文章