Windows上安装HADOOP单机伪分布式集群

2019独角兽企业重金招聘Python工程师标准>>>

1、准备HADOOP运行环境

下载解压并拷贝到Cygwin的用户主目录

http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz

1.x版本有BUG,参考：

https://issues.apache.org/jira/browse/HADOOP-7682
https://issues.apache.org/jira/browse/HADOOP-8274

BUG修复请参考：

http://en.wikisource.org/wiki/User:Fkorning/Code/Hadoop-on-Cygwin

在/home/ysc/.bashrc 中追加：

export JAVA_HOME=/home/ysc/jdk1.7.0_17

export PATH=/home/ysc/hadoop-0.20.2/bin:$JAVA_HOME/bin:$PATH

在hadoop-0.20.2/conf/hadoop-evn.sh中追加

export JAVA_HOME=/home/ysc/jdk1.7.0_17

export HADOOP_LOG_DIR=/tmp/logs

创建符号链接

mklink /D C:\tmp C:\cygwin\tmp

重新登录就生效

ssh localhost

which hadoop

2、配置HADOOP运行参数

vi conf/core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

vi conf/hdfs-site.xml

<property><name>dfs.replication</name><value>1</value>
</property>

vi conf/mapred-site.xml

<property><name>mapred.job.tracker</name><value>localhost:9001</value>
</property>
<property> <name>mapred.tasktracker.map.tasks.maximum</name><value>4</value>
</property>
<property> <name>mapred.tasktracker.reduce.tasks.maximum</name><value>4</value>
</property>

3、格式化名称节点并启动集群

hadoop namenode -format

4、启动集群并查看WEB管理界面

start-all.sh

访问http://localhost:50030可以查看 JobTracker 的运行状态

访问http://localhost:50060可以查看 TaskTracker 的运行状态

访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态，浏览分布式文件系统中的文件以及 log 等

5、停止集群

stop-all.sh

停止集群

转载于:https://my.oschina.net/apdplat/blog/397147

Windows上安装HADOOP单机伪分布式集群相关推荐

Hadoop单机/伪分布式集群搭建（新手向）
此文已由作者朱笑笑授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 本文主要参照官网的安装步骤实现了Hadoop伪分布式集群的搭建,希望能够为初识Hadoop的小伙伴带来借鉴意 ...
手把手教你搭建Hadoop生态系统伪分布式集群
Hello,我是 Alex 007,一个热爱计算机编程和硬件设计的小白,为啥是007呢?因为叫 Alex 的人太多了,再加上每天007的生活,Alex 007就诞生了. 手把手教你搭建Hadoop生态 ...
hadoop搭建伪分布式集群（centos7+hadoop-3.1.1）
原文地址:https://www.cnblogs.com/zhengna/p/9316424.html Hadoop三种安装模式搭建伪分布式集群准备条件第一部分安装前部署 1.查看虚拟机版本 2 ...
Hadoop集群安装部署_伪分布式集群安装_02
文章目录一.解压安装 1. 安装包上传 2. 解压hadoop安装包二.修改Hadoop相关配置文件 2.1. hadoop-env.sh 2.2. core-site.xml 2.3. hdfs ...
Hadoop集群安装部署_伪分布式集群安装_01
文章目录一.配置基础环境 1. 设置静态ip 2. hostname 3. firewalld 4. ssh免密码登录 5. JDK 一.配置基础环境 1. 设置静态ip [root@bigdata ...
【ManggoDB】安装配置（伪分布式集群搭建）Replia Set
文章目录 ManggoDB 参考资料安装配置配置 MongoDB 复制集(Replica Set)搭建搭建伪节点集群测试注意配置Debezium的connect 连接器创建数据库配置文 ...
在Win10安装上Hadoop2.7.5伪分布式集群
环境:Win10 64位 + Java8 + Hadoop2.7.5 为什么不安装Java9? 因为装完了Hadoop,下一步要装Spark,而Spark适配的Scala版本是2.11,而Scala2 ...
Linux 部署Hadoop伪分布式集群教程
首先:我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包链接: https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg 提取码:6s5a 接下来 ...
Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备. 一.如何为虚拟机做快 ...

Windows上安装HADOOP单机伪分布式集群

Windows上安装HADOOP单机伪分布式集群相关推荐

最新文章

热门文章