hadoop 2.6 伪分布式的安装

我们选择安装的版本为： hadoop-2.6.0-cdh5.4.0.tar.gz。

一、下载、解压

二、修改配置文件

配置文件在 hadoop-2.6.0-cdh5.4.0/etc/hadoop/ 路径下：

（1）hadoop-env.sh
```
export JAVA_HOME=/usr/local/jdk
```

（2）core-site.xml，namenode的位置

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop0:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-2.6.0-cdh5.4.0/data/tmp</value></property>
</configuration>

hadoop.tmp.dir 表示缓存目录，如果指定无此文件夹的话，框架会自动创建（在格式化文件系统时创建）。

（3）hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

（4）slaves（真正分布式和伪分布式的区别就在该配置文件）

我们将其设置为本机，即为伪分布模式：
```
hadoop0
```

三、启动前准备及启动

（1）设置自己到自己的免密码登录

[root@hadoop0 ~]# ssh hadoop0

是否需要输入密码，如果需要，则需执行如下的命令：

[root@hadoop0 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[root@hadoop0 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

（2）格式化文件系统，产生镜像文件，而 namenode 启动的时候，就需要读取此镜像文件。
```
[root@hadoop0 hadoop-2.6.0-cdh5.4.0]# ./bin/hdfs namenode -format
```

（3）启动

我们分别启动 datanode、namenode：

[root@hadoop0 hadoop-2.6.0-cdh5.4.0]#./sbin/hadoop-daemon.sh start namenode
[root@hadoop0 hadoop-2.6.0-cdh5.4.0]#./sbin/hadoop-daemon.sh start datanode

四、验证

（1）jps 查看是否显示 namenode 和 datanode，两个 java 进程
（2）浏览器端输入：hadoop0:50070 是否进入 namenode 节点

References

[1] Hadoop MapReduce Next Generation - Setting up a Single Node Cluster

hadoop 2.6 伪分布式的安装相关推荐

Hadoop 单机版和伪分布式版安装
1 依赖项 java ssh $ java -version java version "1.8.0_181" Java(TM) SE Runtime Environment (b ...
Hadoop系列之九：Hadoop集群伪分布式模式的实现详解
1.Hadoop依赖软件 Hadoop基于Java语言开发,因此其运行严重依赖于JDK(Java Development Kit),并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性 ...
Hadoop伪分布式简明安装操作说明
Hadoop伪分布式简明安装操作说明 1)cd /usr/local/ 切换到安装目录 2)mv hadoop-2.6.0-cdh5.7.0/ hadoop-2.6.0-cdh5.7.0.bak ...
hadoop的安装与配置（伪分布式模式安装）
最近偶然在研究hadoop看完网络上的配置文章居然在linux下安装成功的hadoop就把别人的文章进行说明一下,提供给需要的读者. hadoop 的安装分为本地模式.伪分布模式.集群模式.本地模式是 ...
Hadoop Single Node Setup（hadoop本地模式和伪分布式模式安装-官方文档翻译 2.7.3）
Purpose(目标) This document describes how to set up and configure a single-node Hadoop installation so ...
Hadoop单机和伪分布式环境搭建
hadoop环境搭建 1.三个环境单机.伪分布式.分布式 2.三个分支 apache版本(Apache基金会) cdh版本(cloudera公司) ...
hadoop - hadoop2.6 伪分布式示例 wordcount 分词和 hdfs常用操作命令
1.背景上篇已经学习了hadoop伪分布式安装,这篇演示一个例子:更好的理解hdfs 文件系统! 2.hdfs 命令操作说明:我这里hadoop进行了path 变量配置,所以可以使用 hadoop ...
伪分布式kafka安装与验证
基本信息安装环境:Centos7 # java -version openjdk version "1.8.0_102" OpenJDK Runtime Environment ...
windows下hadoop的单机伪分布式部署（3）
下面介绍myeclipse与hadoop的集成. 我用的myeclipse版本是8.5. 1.安装hadoop开发插件在hadoop1.2.1版本的安装包contrib/目录下,已经不再提供hado ...