CentOS hadoop 伪分布式安装步骤

如果 hadoop 对应的 java进程运行在一个物理机器中，我们将之称为伪分布，如果它运行在多台物理机器中，就称其为分布式。

环境的准备

设置ip地址

采用host only网络连接方式，桌面右键网络连接，选择edit connections，设置静态ip（vmnet1保持一致）
执行命令 service network restart（重启网络服务，使ip生效）
验证: ifconfig
关闭防火墙

执行命令 service iptables stop
验证: service iptables status
关闭防火墙的自动运行

执行命令 chkconfig iptables off
验证: chkconfig –list | grep iptables
设置主机名

执行命令： vi /etc/sysconfig/network
需重启才可生效
验证：hostname（显示是否为修改的主机名）
ip与hostname绑定

执行命令 vi /etc/hosts
验证: ping 主机名
设置ssh免密码登陆
执行命令：
- (1)ssh-keygen -t rsa
- (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证：ssh 主机名

JDK 和 Hadoop 的安装

下载解压较为容易，主要在环境变量的添加和修改

JDK

修改 /etc/profile 并添加 JAVA_HOME 以及 PATH
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
Hadoop

修改/etc/profile 并添加 HADOOP_HOME以及PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

Hadoop 配置文件的配置

进入 hadoop 的conf目录：

hadoop-env.sh

解注释 JAVA_HOME，并设置为正确的路径

core-site.xml

<configuration><property><name>fs.default.name</name><value>hdfs://hadoop0:9000</value># hadoop0为当前主机名</property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property>
</configuration>

hdfs-site.xml

<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.permissions</name><value>false</value>
</property>

mapred-site.xml

<property><name>mapred.job.tracker</name><value>hadoop0:9001</value>
</property>

验证

格式化

hadoop namenode -format
启动

start-all.sh
验证
- jps：查看进程数，是否为NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker（5个Java进程）
- 浏览器中查看：
  - http://主机名:50070
  - http://主机名:50030

启动时没有namenode的原因

没有格式化
环境变量设置错误
ip与hostname绑定失败

CentOS hadoop 伪分布式安装步骤相关推荐

单机安装 hadoop 环境（Hadoop伪分布式安装）
任务描述: 作为某公司运维工程师,需在单机安装 hadoop 环境(Hadoop伪分布式安装).本环节需要使用 root用户完成相关配置,具体部署要求如下: 1. 关闭虚拟机防火墙 2. 修改&quo ...
hadoop伪分布式安装
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/43447733 首先需要有一台linux的 ...
hadoop 单机伪分布式安装步骤
文章目录 1. 安装 Java 2. 配置SSH无密码登录 3. 下载 hadoop 4. 配置环境变量 5. 报错处理参考环境 Centos7 参考: https://hadoop.apache. ...
Hadoop完全分布式安装步骤
文章目录第一节:新建虚拟机 1.配置类型为"自定义" 2.安装来源为"稍后安装操作系统" 3.客户机和版本分别为"Linux"和" ...
linux hadoop namenode_HADOOP_HDFS伪分布式安装步骤
1.网络配置好,关闭iptables防火墙,关闭selinux 2.jdk1.7.0_80 hadoop-2.6.5.tar.gz 上传这两个包 3.安装jdk rpm -ivh jdk-7u80-l ...
[hadoop新实战2]hadoop伪分布式安装序列（支持ubuntu和redhat）
转载于:https://www.cnblogs.com/laodiao/p/3541630.html
centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...
CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）
CentOS 7.4安装及Hadoop伪分布式配置(虚拟机:VMware) 准备 VMware虚拟机安装CentOs 7.4 虚拟机创建 CentOS 7.4安装网络配置 JDK配置 Hadoop伪 ...
hadoop 多机全分布式安装步骤（虚拟机1master+2slave）
文章目录 1. 虚拟机安装Centos7 2. 配置静态IP 3. 更改主机名 4. 编辑域名映射 5. 安装配置Java 6. 配置SSH免密登录 7 .安装Hadoop 8. 关闭防火墙 9. 格 ...

CentOS hadoop 伪分布式安装步骤

环境的准备

JDK 和 Hadoop 的安装

Hadoop 配置文件的配置

验证

启动时没有namenode的原因

CentOS hadoop 伪分布式安装步骤相关推荐

最新文章

热门文章