Hadoop伪分布式

1.安装JDK

解压 tar -zxvf jdk压缩包 -C 指定目录

2.安装hadoop

和jdk安装一样，直接tar开。

3.配置环境变量

4.使环境变量生效

source /etc/profile

5.伪分布模式。

a)进入${HADOOP_HOME}/etc/hadoop目录

b)编辑core-site.xml

<?xml version="1.0"?>

<name>fs.defaultFS</name>

<value>hdfs://localhost/</value>

</property>

</configuration>

c)编辑hdfs-site.xml

<?xml version="1.0"?>

<name>dfs.replication</name>

</property>

</configuration>

d)编辑mapred-site.xml

注意:cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<name>mapreduce.framework.name</name>

</property>

</configuration>

e)编辑yarn-site.xml

<?xml version="1.0"?>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

f)配置SSH

1)检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)

$yum list installed | grep ssh

2)检查是否启动了sshd进程

$>ps -Af | grep sshd

3)在client侧生成公私秘钥对。

$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

4)生成~/.ssh文件夹，里面有id_rsa(私钥) + id_rsa.pub(公钥)

5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

$>cd ~/.ssh

$>cat id_rsa.pub >> authorized_keys

6)修改authorized_keys的权限为644.

$>chmod 644 authorized_keys

7)测试

$>ssh localhost

g)修改hadoop配置文件hadoop/etc/hadoop/hadoop-env.sh

JAVA_HOME=/keduox/hadoop

h)启动hdfs:

格式化文件系统（仅第一次执行即可）hdfs namenode -format

启动hdfs：sbin/start-dfs.sh

i）验证是否启动成功jps查看进程

jps DataNode SecondaryNameNode NameNode

浏览器访问：http://ip地址：50070

j) 停止hdfs

sbin/stop-dfs.sh

Hadoop伪分布式相关推荐

搭建 Hadoop 伪分布式环境
软硬件环境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 关于本教程的说明云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 root ...
构建Hadoop伪分布式环境
构建Hadoop伪分布式环境这篇文章介绍Hadoop伪分布式环境的搭建过程与原理,是个人的学习总结,以纪念在各个步骤中遇到的麻烦.踩过的坑! 这篇笔记包含这样几个内容: 配置伪分布式环境运行一个简 ...
hadoop伪分布式模式_Hadoop模式介绍-独立，伪分布式，分布式
hadoop伪分布式模式了解了什么是Hadoop之后,让我们在单机上启动Hadoop: 这篇文章包含在ubuntu上安装Hadoop的说明. 这是Hadoop安装的快速分步教程. 在这里,您将获得以 ...
Windows 7 64位系统上搭建Hadoop伪分布式环境（很详细）
在开始配置前,我们先了解Hadoop的三种运行模式. Hadoop的三种运行模式独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行.在独立模式下测试和调试MapReduce程序 ...
Hadoop伪分布式配置和搭建，hadoop单机安装，wordcount实例测试，hadoop安装java目录怎么找，问题及问题解决方法
Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法环境说明系统:ubuntu18.04 主机名:test1 用 ...
“化鲲为鹏，我有话说”如何用鲲鹏弹性云服务器部署《Hadoop伪分布式》
1.安装环境和说明 CentOS 7.6 64 OpenJDK- 1.8 Hadoop- 3.0 2.安装 SSH 客户端 yum install openssh-clients openssh-se ...
如何用鲲鹏弹性云服务器部署《Hadoop伪分布式》
1.安装环境和说明 CentOS 7.6 64 OpenJDK- 1.8 Hadoop- 3.0 2.安装 SSH 客户端 sudo yum install openssh-clients opens ...
Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备. 一.如何为虚拟机做快 ...
Hadoop伪分布式搭建（本人新手，欢迎大家多多指导和关照）
1.创建hadoop账户,创建用户的home目录并设置密码.(useradd -m hadoop ) 2.本步骤可以不做(我是为了方便,给hadoop赋予了root权限)(vi /etc/sudoer ...
HADOOP 伪分布式集群搭建
一 linux 环境的搭建由于笔者这里使用的是vmware 虚拟机采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 (1) ...

Hadoop伪分布式

Hadoop伪分布式相关推荐

最新文章

热门文章