hadoop详细安装及配置
一、下载
http://hadoop.apache.org/?? hadoop官网
二、解压
注:使用管理员权限解压
三、配置环境变量
添加HADOOP_HOME配置:自己安装hadoop路径,我的是D:hadoop-3.0.3
在Path中添加如下:自己安装hadoop路径/bin,如:D:/hadoop-3.0.3/bin
四、hadoop需要jdk支持,jdk路径不能有空格,如有空格,可以这样,如:”D:Program Files"Javajdk1.8.0_25
五、hadoop路径下创建data用于数据存储,再在data下创建datanode目录和namenode目录
六、hadoop配置
四个hadoop路径/etc/hadoop/core-site.xml,etc/hadoop/mapred-site.xml,etc/hadoop/hdfs-site.xml,etc/hadoop/yarn-site.xml
1.core-site.xml
<configuration>??
????<property>??
???????<name>fs.default.name</name>??
???????<value>hdfs://localhost:9000</value>??
???</property>
</configuration>
myeclipse上配置hadoop时,localhost需写成自己的IP
2.mapred-site.xml
<configuration>??
????<property>??
???????<name>mapreduce.framework.name</name>??
???????<value>yarn</value>??
???</property>
</configuration>
3.hdfs-site.xm
<configuration>??
????<!--?这个参数设置为1,因为是单机版hadoop?-->??
????<property>??
????????<name>dfs.replication</name>??
????????<value>1</value>??
????</property>??
????<property>???
?????<name>dfs.permissions</name>???
?????<value>false</value>???
??</property>??
???<property>??
???????<name>dfs.namenode.name.dir</name>??
???????<value>/D:/hadoop-3.0.3/data/namenode</value>??
???</property>??
???<property>??
????????<name>fs.checkpoint.dir</name>??
????????<value>/D:/hadoop-3.0.3/data/snn</value>??
????</property>??
????<property>??
????????<name>fs.checkpoint.edits.dir</name>??
????????<value>/D:/hadoop-3.0.3/data/snn</value>??
????</property>??
???????<property>??
???????<name>dfs.datanode.data.dir</name>??
???????<value>/D:/hadoop-3.0.3/data/datanode</value>??
???</property>
</configuration>
4.yarn-site.xml
<configuration>??
<!--?Site?specific?YARN?configuration?properties?-->??
????<property>??
????????<name>yarn.nodemanager.aux-services</name>??
????????<value>mapreduce_shuffle</value>??
???</property>??
???<property>??
????????<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>????
????????<value>org.apache.hadoop.mapred.ShuffleHandler</value>??
???</property>
</configuration>
七、修改D:/hadoop-3.0.3/etc/hadoop/hadoop-env.cmd配置,找到set JAVA_HOME=%JAVA_HOME%替换为set JAVA_HOME="D:Program Files"Javajdk1.8.0_25
八、winutils中对应的hadoop版本中的bin替换自己hadoop安装目录下的bin
找到对应的版本下的bin替换hadoop中的bin
配置完成
九、启动服务
1.cmd中,D:hadoop-3.0.3in> hdfs namenode -format
执行后,data下的namenode和datanode下会有current等文件,我当时安装的是hadoop3.1.1,用的winutils中的hadoop3.0.0,datanode总是没有启动没有数据,换成hadoop3.0.3,使用wintuils的hadoop3.0.0后,就可以了。
2.D:hadoop-3.0.3sbin启动start-all.cmd服务,会看到
- Hadoop Namenode
- Hadoop datanode
- YARN Resourc Manager
- YARN Node Manager
十、HDFS应用
1、通过http://127.0.0.1:8088/即可查看集群所有节点状态:
2、访问http://localhost:9870/即可查看文件管理页面:
a.进入文件系统
b.创建目录
c.上传成功
注:在之前的版本中文件管理的端口是50070,在3.0.0中替换为了9870端口
d.使用hadoop命令进行文件操作
mkdir命令创建目录:hadoop fs -mkdir hdfs://ip:9000/user
put命令上传文件:hadoop fs -put D:/a.txt hdfs://ip:9000/user/
ls命令查看指定目录文件列表:hadoop fs -ls hdfs://ip:9000/user/
hadoop详细安装及配置相关推荐
- 图解MySQL5.5详细安装与配置过程
出自:http://www.dbhom.com/show.aspx?id=77&cid=9 MySQL是一个开源的关系型数据库管理系统,原由瑞典MySQL AB公司开发,目前属于Oracle公 ...
- MongoDB详细安装与配置
MongoDB详细安装与配置 下载地址 MongoDB安装 1.双击安装包进行安装 2.点击I accept the tems in the license agreement,点击Next 3.选择 ...
- linux 安装cvs,linux下cvs详细安装和配置.docx
Linux 下cvs详细安装和配置 2009-03-18 14:37:12 标签:[推送到技术圈] 版权声明:原创作品,允许转载,转载时请务必以超链接形式标明文章原始岀处 作者信息和本声明.否则将追究 ...
- Hadoop的安装与配置及示例程序wordcount的运行
前言 最近在学习Hadoop,文章只是记录我的学习过程,难免有不足甚至是错误之处,请大家谅解并指正!Hadoop版本是最新发布的Hadoop-0.21.0版本,其中一些Hadoop命令已发生变化,为方 ...
- Mac Hadoop的安装与配置
这里介绍Hadoop在mac下的安装与配置. 安装及配置Hadoop 首先安装Hadoop $ brew install Hadoop 配置ssh免密码登录 用dsa密钥认证来生成一对公钥和私钥: $ ...
- hadoop的安装与配置(伪分布式模式安装)
最近偶然在研究hadoop看完网络上的配置文章居然在linux下安装成功的hadoop就把别人的文章进行说明一下,提供给需要的读者. hadoop 的安装分为本地模式.伪分布模式.集群模式.本地模式是 ...
- hadoop ubantu环境搭建_Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)
一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...
- MySql的详细安装与配置步骤
安装MySql的详细步骤 1.如果电脑没有下载mysql-5.5.13-win32.msi的,先去网上下载一下,这里提供一个连接,mysql下载点此处. 2.下载好了mysql就可以开始安装了,双击m ...
- Hadoop的安装与配置(非常重要)
官方的原生配置文档Hadoop3.1.0 HDFS的组成 NameNode secondaryNameNode DataNode 这是以主从模式来运行的,前两个在maser节点上,最后一个在slave ...
最新文章
- 与后台交互方法一 ——Ajax
- 【概率论系列学习】泊松分布和指数分布的关系
- 计算机信息应用知识题库,计算机基础知识题库(含答案).doc
- 清除vc6工程中的vss
- 内连接 左连接 右连接 交叉连接的区别
- MFC UI库知多少
- Tomcat与JDK版本对应关系
- 串口.Qt532测试(异步)
- python编程语言继承_Python 面向对象编程——继承和多态
- python爬虫框架学习_学习Python爬虫必备框架:Scrapy
- C++模拟斗地主发牌
- 微信发红包如何设计测试用例
- Manjaro学习笔记
- RPG Maker MV 路标,随机移动,随机对话
- 【第三篇:利用ChatGPT编写贪食蛇小游戏】
- EXCEL批量加入图片
- 实战案例——小帅优化网站,70天目标关键词全部第一
- C:\KEIL\C51\intrins.h包含不正确的路径。Keil 头文件路径错误
- 不要被约束的意思_不想被束缚的说说
- 旅行商问题在现代物流中的意义