Hadoop 安装部署
官网下载软件:
Ubuntu : https://releases.ubuntu.com/
jdk : https://www.oracle.com/java/technologies/downloads/
Hadoop : https://archive.apache.org/dist/hadoop/common/hadoop-3.3.2/
下载后上传到服务器,解压
一
1. 关闭防火墙
sudo ufw disable
查看防火墙状态,状态为“不活动”,说明防火墙已经关闭
sudo ufw status
2. ssh 安装
(1)安装SSH客户端软件
检查是否已安装
sudo dpkg -l | grep ssh
安装:
sudo apt-get install openssh-client`在这里插入代码片`
(2)安装SSH服务端软件
sudo apt-get install openssh-server
重启:
sudo /etc/init.d/ssh restart
(3)免密登录设置
生成密钥对 , 一路回车
ssh-keygen -t rsa
查看
ls ~/.ssh
追加公钥
cat .ssh/id_rsa.pub >> .ssh/authorized_keys
chmod 600 .ssh/authorized_keys
查看
ls ~/.ssh
免密登录验证
~/.ssh$ ssh node1
退出
exit
3. JDK
解压,更名,建立软连接
配置JDK环境变量
vim ~/.bashrc
追加
export JAVA_HOME=~/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
export PATH=${JAVA_HOME}/bin:$PATH
使配置生效
source ~/.bashrc
验证
四. Hadoop
1. 更改主机名
查看主机名
hostname
更改主机名
sudo vim /etc/hostname
重启
(2)映射IP地址及主机名
sudo vim /etc/hosts
追加
192.168.30.128 node1
(3)设置Hadoop配置文件
解压,改名称
设置环境变量
vi ~/.bashrc
追加
export HADOOP_HOME=~/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
使配置生效
输入 hadoop 验证
source ~/.bashrc
2. 配置 hadoop 相关 文件
在 hadoop 的 etc/hadoop 下
(1) hadoop-env.sh
cd ~/hadoop/etc/hadoopvi hadoop-env.sh
找到export JAVA_HOME一行,把行首的#去掉,并按实际修改JAVA_HOME的值。
# The java implementation to use.
export JAVA_HOME=/home/hadoop/jdk
(2) .core-site.xml
vi core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>fs.defaultFS</name><value>hdfs://node1:8020</value><!-- 以上ip地址或主机名要按实际情况修改 --></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop/tmp</value></property>
</configuration>
PS : /home/hadoop/hadoop/tmp 这个目录是不存在的,要自己创建一个,如果后面jps验证后出不来,就试试加权限
(3) 配置hdfs-site.xml
vi hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>
dfs.replication的默认值是3,因为伪分布式只有一个节点,所以值设置为1
(4) 配置mapred-site.xml
复制mapred-site.xml.template,生成mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
打开mapred-site.xml
vi mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
mapreduce.framework.name默认值为local,设置为yarn,让MapReduce程序运行在YARN框架上
(5) 配置yarn-site.xml
vi yarn-site.xml
<?xml version="1.0"?>
<configuration><property><name>yarn.resourcemanager.hostname</name><value>node1</value><!-- 以上主机名或IP地址按实际情况修改 --></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>
PS:
通过以上设置,我们完成了Hadoop伪分布式模式的配置。其实Hadoop可以配置的属性还有很多,没有配置的属性就用默认值,默认属性配置存放在core-default.xml、hdfs-default.xml、mapred-default.xml和yarn-default.xml文件中。可以到官网查询对应文档或通过命令 locate <查找的文件名> 来查找文件所在路径,再通过cat命令查看其内容
ps: 用locate 之前先更新
locate core-default.xml
/home/hadoop/soft/hadoop-2.7.3/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml
(6) 格式化HDFS
hdfs namenode -format
sudo chmod 777 hadoop
(7) 启动Hadoop
启动HDFS
start-dfs.sh
用jps命令验证
启动YARN
start-yarn.sh
用jps命令验证多了两个
或者
start-all.sh
五 通过Web访问Hadoop
- HDFS Web界面
(1)在Windows浏览器中,输入网址http://192.168.100.129:50070,可以查看NameNode和DataNode的信息
(2)在Windows浏览器中,输入网址http://192.168.100.129:50090,可以查看SecondaryNameNode的信息
- YARN Web界面
在Ubuntu操作系统的浏览器中,输入网址http://192.168.100.129:8088,可以查看集群所有应用程序的信息
六 测试Hadoop
通过一个MapReduce程序测试Hadoop,统计HDFS中/input/data.txt文件内单词出现的次数
1.创建一个文本文件data.txt
cd ~vi data.txt
Hello World
Hello Hadoop
- 在HDFS创建input文件夹
hdfs dfs -mkdir /input
将data.txt上传到HDFS
hdfs dfs -put data.txt /input
查看是否上传成功
hdfs dfs -ls /input
(5) 运行MapReduce WordCount例子
cd ~/hadoop/share/hadoop/mapreduce
注意 jar 版本
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output
(6) 查看结果
hdfs dfs -cat /output/part-r-00000
(7) 停止Hadoop进程
stop-dfs.sh
stop-yarn.sh
或者
stop-all.sh
至此,Hadoop伪分布式模式搭建完成
PS: 由于是后期整理的笔记,IP与主机名,目录路径可能存在偏差,读者需多注意一下
Hadoop 安装部署相关推荐
- hadoop安装部署(伪分布及集群)
hadoop安装部署(伪分布及集群) @(HADOOP)[hadoop] hadoop安装部署伪分布及集群 第一部分伪分布式 一环境准备 二安装hdfs 三安装YARN 第二部分集群安装 一规划 一硬 ...
- Hadoop 安装部署-多服务器
环境 Ubuntu Linux 8.04 linuxsvr01.vgolive.com 192.168.1.209 linuxsvr02.vgolive.com 192 ...
- 时空大数据实践之GeoWave安装部署实践
2019独角兽企业重金招聘Python工程师标准>>> 时空大数据实践之GeoWave安装部署实践 GeoWave是由国家地理空间情报局(NGA)与RadiantBlue和Booz ...
- Apache Atlas 2.3.0 安装部署
安装前环境准备 hadoop 3.1.0 hbase 2.3.4 hive 3.1.3 solr 7.7.3 zookeeper 3.5.7 kafka 2.11-2.4.1 atlas 2.3.0 ...
- hadoop 安装过程记录
1)首先配置好了四个linux虚拟机 root pwd:z****l*3 关闭了防火墙 开通了 sshd服务 开通了 ftp服务 配置了 jdk 1.8 配置好了互信 (之前配置的过程忘了!--检查了 ...
- hadoop 开启防火墙_Hadoop部署一Hadoop安装
哈喽,同学们好,继上篇文章<Hadoop部署一jdk与MySQL>,我们安装好了jdk以及MySQL.我们现在开始安装部署Hadoop,开启Hadoop之旅. 一.下载Hadoop安装包 ...
- Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署 首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备. 一.如何为虚拟机做快 ...
- flume java 安装部署_[Hadoop] Flume安装部署与简单使用
1. Flume Flume是一个分布式的日志收集框架,针对日志数据进行采集汇总,把日志从A地方搬运到B地方去. 使用场景: RDBMS ==> Sqoop ==> Hadoop 分散在各 ...
- Zookeeper+Hadoop+Hbase完全分布搭建数据仓库安装部署说明
Zookeeper+Hadoop+Hbase 完全分布搭建数据仓库安装部署说明 ------------一个专注学习技术的不正经程序猿,像一颗海草,在技术的海洋里浪啊浪~ 网上一搜一大把这种文章,我这 ...
- CentOS 7.4 安装部署 hadoop 2.6 文档 V1.3
########################################################################## ################ CentOS 7 ...
最新文章
- 用Python从零开始创建区块链
- EMD算法之Hilbert-Huang Transform原理详解和案例分析
- Notes-stringr-part2
- ThreadPoolExecutor使用错误导致死锁
- libtorch调用模型
- vue项目在IE中显示空白,报错:vuex requires a Promise polyfill in this browser
- plSQL复制数据的方法
- 一个java小程序运行结果图_编写以下程序,并上传源代码和运行结果截图,附件中上传java源程序。...
- JVM垃圾回收机制总结
- 使用OSHI 检索系统信息,超牛逼、超级秀、超级巴适!!快来看看吧!不然你会后悔的!!666
- jira 6.x 日期设置
- hp laserjet 1213 linux驱动下载,惠普HP LaserJet Pro M1213nf 一体机驱动
- 2021-08-27
- 计算机取证程序论文,计算机取证论文参考文献推荐 计算机取证论文参考文献哪里找...
- linux node安装菜鸟教程,手把手告诉你如何安装多个版本的node
- Android 关于推送通知还需要一些其他的设置问题,最新高频Android笔试题分享
- 《树莓派4B家庭服务器搭建指南》第六期:将RSSHub私有化部署到树莓派,并通过《嘎!RSS》订阅自己的信息流...
- SWUST OJ#480 Locker doors
- 8. Celery 4.3.0 Periodic Tasks 周期性任务调度
- 带电粒子在匀强电场中的运动(忽略重力)