安装和配置Hadoop
2019独角兽企业重金招聘Python工程师标准>>>
本实验环境:云服务器CentOS 7.4
JDK 1.8
Hadoop 2.7.5
一、安装和配置JDK
1.下载jdk
[root@localhost ~]#wget http://download.oracle.com/otn-pub/java/jdk/8u161-b12/2f38c3b165be4555a1fa6e98c45e0808/jdk-8u161-linux-x64.tar.gz?AuthParam=1520664270_b0eda8a9778a082600265e6b879ccc72[root@localhost ~]#tar xf jdk-8u161-linux-x64.tar.gz?AuthParam=1520664270_b0eda8a9778a082600265e6b879ccc72 -C /usr/local[root@localhost local]#cd /usr/local[root@localhost local]#ln -sv jdk1.8.0_161 jdk
2.配置环境变量
[root@localhost local]#vi /etc/profile
在etc/profile文件中添加以下内容
JAVA_HOME=/usr/local/jdkPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME PATH
保存后
[root@localhost local]#source /etc/profile //让配置文件生效
测试jdk是否安装成功
[root@localhost local]#java -version
二、下载和安装Hadoop
1.下载Hadoop
[root@localhost ~]#wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz[root@localhost ~]#mkdir/usr/local/hadoop[root@localhost ~]#tar xf hadoop-2.7.5.tar.gz -C /usr/local/hadoop[root@localhost ~]#mkdir/usr/local/hadoop/tmp[root@localhost ~]#mkdir/usr/local/hadoop/hdfs[root@localhost ~]#mkdir/usr/local/hadoop/hdfs/data[root@localhost ~]#mkdir/usr/local/hadoop/hdfs/name
2.配置环境变量
[root@localhost ~]#vi /etc/profile
在etc/profile文件中添加以下内容
# set hadoop path
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin
保存后
[root@localhost local]#source /etc/profile //让配置文件生效
3,Hadoop配置
进入/usr/local/hadoop/hadoop-2.7.5/etc/hadoop/目录,配置以下六个配置文件如下:
hadoop-env.sh yarn-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml
(1)配置hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
(2)配置yarn-env.sh
export JAVA_HOME=/usr/local/jdk
(3)配置core-site.xml
添加以下内容:
<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value><description>HDFS的URI,文件系统://namenode标识:端口号</description></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value><description>namenode上本地的hadoop临时文件夹</description></property>
</configuration>
(4)配置hdfs-site.xml
添加以下内容:
<configuration><property><name>dfs.name.dir</name><value>/usr/local/hadoop/hdfs/name</value><description>namenode上存储hdfs名字空间元数据 </description> </property><property><name>dfs.data.dir</name><value>/usr/local/hadoop/hdfs/data</value><description>datanode上数据块的物理存储位置</description></property><property><name>dfs.replication</name><value>1</value><description>副本个数,配置默认是3,应小于datanode机器数量</description></property>
</configuration>
(5)配置mapred-site.xml
添加以下内容:
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
(6)配置yarn-site.xml
添加以下内容:
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>localhost:8099</value></property>
</configuration>
4,Hadoop启动 (路径:/usr/local/hadoop/)
1)格式化namenode
[root@localhost hadoop]#source hadoop-2.7.5/etc/hadoop/hadoop-env.sh
[root@localhost hadoop]#hadoop namenode -format
2)启动NameNode 和 DataNode 守护进程
[root@localhost hadoop]#./hadoop-2.7.5/sbin/start-dfs.sh
3)启动ResourceManager 和 NodeManager 守护进程
[root@localhost hadoop]#./hadoop-2.7.5/sbin/start-yarn.sh
5,启动验证
1)执行jps命令,有如下进程,说明Hadoop正常启动
[root@localhost hadoop]# jps
20167 Jps
19387 NodeManager
2414 Bootstrap
17903 ResourceManager
转载于:https://my.oschina.net/drathin/blog/1635253
安装和配置Hadoop相关推荐
- Windows下安装Cygwin配置Hadoop集群
Hadoop集群一般是配置到Linux系统之上,如果电脑用的是Windows系统,那么可以通过虚拟机安装Linux系统或者在Windows上安装Cygwin来模拟Linux环境,从而搭建Hadoop集 ...
- Mac OS X上下载安装和配置hadoop指南
Mac OS X上下载安装和配置hadoop指南 jdk下载 下载hadoop 添加Hadoop环境变量 修改Hadoop的配置文件 启动Hadoop jdk下载 [可以在这个网盘去下载] https ...
- Hadoop的学习前奏(一)——在Linux上安装与配置Hadoop
前言 笔者目前是在做Android开发,又是在一个信息安全的公司.公司的主要是做在虚拟机上运行的产品,又涉猎云计算,心想是要去搞一下云计算.自我感觉移动互联网 + 云计算 + 信息安全会是一个很好的方 ...
- Mac Hadoop的安装与配置
这里介绍Hadoop在mac下的安装与配置. 安装及配置Hadoop 首先安装Hadoop $ brew install Hadoop 配置ssh免密码登录 用dsa密钥认证来生成一对公钥和私钥: $ ...
- Hadoop集群安装及其配置(三台虚拟机)
Hadoop集群安装及其配置(三台虚拟机) 利安装配置前准备--安装虚拟机 利用cat查看配置文件 修改主机名称 配置IP映射 配置网卡设备的mac地址 Xshell的安装与配置 ssh的配置 JDK ...
- 第六天 - 安装第二、三台CentOS - SSH免密登陆 - hadoop全分布式安装、配置、集群启动
第六天 - 安装第二.三台CentOS - SSH免密登陆 - hadoop全分布式安装.配置.集群启动 第六天 - 安装第二.三台CentOS - SSH免密登陆 - hadoop全分布式安装.配置 ...
- 给虚拟机下载安装jdk,hadoop等(非常详细的步骤)
文章目录 前言 一.创建文件夹并且安装小工具 1.创建文件夹 2.yum安装几个小工具 二.安装jdk 1.安装jdk压缩包 2.解压 3.配置环境变量 4.保存退出,让配置起作用 5.查看Java是 ...
- hadoop2.8配置_Hadoop 2.8集群安装及配置记录
第一部分:环境配置(含操作系统.防火墙.SSH.JAVA安装等) Hadoop 2.8集群安装模拟环境为: 主机:Hostname:Hadoop-host,IP:10.10.11.225 节点1:Ho ...
- Linux中安装配置hadoop集群
原文:http://www.cnblogs.com/lijingchn/p/5574476.html 一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把 ...
最新文章
- 图解yolo目标检测如何进行运动估计
- 12 求1+2+...+n
- 学习Kotlin(七)反射和注解
- java 类交互图_Java与UML交互图
- python集合类型变量_Python小白学习之路(八)—【变量】【基本数据类型分类】【集合】【集合的功能】...
- Java 中文乱码问题
- MySQL之GROUP BY用法误解
- python-引用/模块
- 新手进阶:巧用 macOS 帮助菜单?
- 动手学深度学习(三十四)——序列模型
- DCM4CHEE 中worklist 乱码问题 dcmchee 中文乱码
- VBS好玩的整人小程序
- 【java编程规范】阿里巴巴编程考试规范+真题答案+考试分享
- 什么是android原生系统版本,定制安卓和原生Android到底有哪些不同之处?彻底真相了...
- 消息中间件(消息队列)介绍
- htmlcss,Hbuilder入门小项目——我的淘宝,相似
- 计算机博士毕业致谢,这篇博士论文《致谢》刷屏,句句扎心……
- Python、Selenium、火狐浏览器,简单的自动化实现
- 笔记本usb转vga外连显示器问题解决记录
- 一文读懂谷歌I/O 新硬件、Android Q及多项功能升级