linux centos/debian下hadoop2.6.5单机伪分布式安装

官方文档

hadoop2.6.5官方安装文档

配置`/etc/hosts`

增加节点名称node01

修改hdp配置文件

cd /opt/hadoop-2.6.5/etc/hadoop

第一个：hadoop-env.sh

vim hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/opt/jdk1.8.0_271

第二个：core-site.xml

<configuration><!-- 用来指定hdfs的老大（NameNode）的地址 --><property><name>fs.defaultFS</name><value>hdfs://node01:9000</value></property><!-- 用来指定Hadoop运行时产生文件的存放目录 --><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-2.6.5/tmp</value></property>
</configuration>

第三个：hdfs-site.xml

<configuration><!-- 指定HDFS保存数据副本数量 --> <property><name>dfs.replication</name><value>1</value></property><property><name>dfs.secondary.http.address</name><!--这里是你自己的ip，端口默认--><value>node01:50090</value></property>
</configuration>

对于目录更详尽的配置：

<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.namenode.name.dir</name><value>/opt/hadoop-2.6.5/local/dfs/name</value>
</property>
<property><name>dfs.datanode.data.dir</name><value>/opt/hadoop-2.6.5/local/dfs/data</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>node01:50090</value>
</property>
<property><name>dfs.namenode.checkpoint.dir</name><value>/opt/hadoop-2.6.5/local/dfs/secondary</value>
</property>

第四个：mapred-site.xml (需要从此文件复制mapred-site.xml.template)

cp mapred-site.xml.template mapred-site.xml

<configuration><!-- 告诉hadoop以后MR运行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

第五个：yarn-site.xml

<configuration><!-- NodeManager获取数据的方式是shuffle--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定YARN的老大（resourcemanager）的地址 --><property><name>yarn.resourcemanager.hostname</name><value>node01</value></property>
</configuration>

初始化namenode

执行下述命令没有报错即为初始化正常：

hdfs namenode -format

启动文HDFS和YARN

为了避免start-all.sh脚本执行时需要多次输入密码，需配置ssh localhost免密登录。

debian上最好以普通用户来执行该脚本。

start-all.sh

接下来，使用jps查看进程情况
jps（jps 在Linux/unix平台上简单察看当前java进程的一些简单情况），如果有以下进程则表示测试通过
Jps （java进程）
SecondaryNameNode （相当于NameNode的助理）
DataNode （hdfs部门的小弟，负责存放数据）
NameNode （hdfs部门的老大）
ResourceManager （yarn部门的老大，yarn负责资源管理）
NodeManager （yarn部门的小弟，可以一个，集群的话会有很多）

linux centos/debian下hadoop2.6.5单机伪分布式安装相关推荐

centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...
Hadoop单机伪分布式安装(完整版)
在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...
Hadoop单机伪分布式安装详解
文章目录写在开头的话前提环境准备配置JAVA环境将jdk安装包传输至你的Linux宿主机中操作jdk安装包,然后配置java环境配置ssh免密登录安装Hadoop,及其hadoop配置 ...
hadoop 单机伪分布式安装步骤
文章目录 1. 安装 Java 2. 配置SSH无密码登录 3. 下载 hadoop 4. 配置环境变量 5. 报错处理参考环境 Centos7 参考: https://hadoop.apache. ...
大数据-安装 Hadoop3.1.3 详细教程-单机/伪分布式配置(Centos)
Centos 7 安装 Hadoop3.1.3 详细教程前言 00 需准备 01 需掌握一.准备工作 00 环境 01 创建 hadoop 用户 02 修改 hadoop 用户权限 03 切换为 ...
Centos 7下TP-LINK tg 3269e/RTL8168网络唤醒与安装网卡驱动中出现的错误
Centos 7下TP-LINK tg 3269e/RTL8168网络唤醒与安装网卡驱动中出现的错误参考文章:centos7.8降级网卡驱动r8168 以下内容都是回忆内容,折腾了好几天驱动已装好就 ...
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
给力星追逐内心的平和首页笔记搜藏代码音乐关于 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 2014-08-09 (updated: 2016 ...
Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0
Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到 ...
单机安装 hadoop 环境（Hadoop伪分布式安装）
任务描述: 作为某公司运维工程师,需在单机安装 hadoop 环境(Hadoop伪分布式安装).本环节需要使用 root用户完成相关配置,具体部署要求如下: 1. 关闭虚拟机防火墙 2. 修改&quo ...

linux centos/debian下hadoop2.6.5单机伪分布式安装

官方文档

配置`/etc/hosts`

修改hdp配置文件

初始化namenode

启动文HDFS和YARN

linux centos/debian下hadoop2.6.5单机伪分布式安装相关推荐

最新文章

热门文章

linux centos/debian下hadoop2.6.5单机伪分布式安装

官方文档

配置/etc/hosts

修改hdp配置文件

初始化namenode

启动文HDFS和YARN

linux centos/debian下hadoop2.6.5单机伪分布式安装相关推荐

最新文章

热门文章

配置`/etc/hosts`