尚硅谷kylin单机版之安装Hadoop3.1.3
安装Hadoop
（一）打开安装包所在地
[root@kylin141 etc]# cd /opt/install/
[root@kylin141 install]# ls
apache-hive-3.1.2-bin.tar.gz mysql-community-devel-5.7.28-1.el7.x86_64.rpm
apache-kylin-3.0.2-bin.tar.gz mysql-community-embedded-5.7.28-1.el7.x86_64.rpm
apache-zookeeper-3.5.7-bin.tar.gz mysql-community-embedded-compat-5.7.28-1.el7.x86_64.rpm
hadoop-3.1.3.tar.gz mysql-community-embedded-devel-5.7.28-1.el7.x86_64.rpm
hbase-2.0.5-bin.tar.gz mysql-community-libs-5.7.28-1.el7.x86_64.rpm
jdk-8u212-linux-x64.tar.gz mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
kafka_2.11-2.4.1.tgz mysql-community-server-5.7.28-1.el7.x86_64.rpm
mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar mysql-community-test-5.7.28-1.el7.x86_64.rpm
mysql-community-client-5.7.28-1.el7.x86_64.rpm mysql-connector-java-5.1.37.jar
mysql-community-common-5.7.28-1.el7.x86_64.rpm spark-3.0.0-bin-hadoop3.2.tgz
（二）解压安装包
[root@kylin141 install]# tar -zxf /opt/install/hadoop-3.1.3.tar.gz -C /opt/soft/
[root@kylin141 install]# cd /opt/soft
[root@kylin141 soft]# ls
hadoop-3.1.3 jdk180
（三）重命名
[root@kylin141 soft]# mv hadoop-3.1.3 hadoop313
[root@kylin141 soft]# ls
hadoop313 jdk180
（四）查看路径
[root@kylin141 ~]# cd /opt/soft/hadoop313/
[root@kylin141 hadoop313]# pwd
/opt/soft/hadoop313
（五）配置环境
[root@kylin141 soft]# vi /etc/profile
#hadoop
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
（六）环境配置好后，source一下
[root@kylin141 soft]# source /etc/profile
（七）查看Hadoop安装版本
[root@kylin141 hadoop]# hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/soft/hadoop313/share/hadoop/common/hadoop-common-3.1.3.jar
（八）查看Java安装路径
[root@kylin141 hadoop]# echo $JAVA_HOME
/opt/soft/jdk180
（九）查看java版本
[root@kylin141 hadoop]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
（十）查看虚拟机名称
[root@kylin141 hadoop]# hostname
kylin141
（十一）查看虚拟机地址
[root@kylin141 hadoop]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:50:56:26:48:4f brd ff:ff:ff:ff:ff:ff
inet 192.168.59.141/24 brd 192.168.59.255 scope global noprefixroute ens33
(十二）修改windows系统 c:/window/system32/drivers/etc/hosts 添加ip hostname
192.168.59.141 kylin141
（十三）配置Hadoop文件
[root@kylin141 soft]# cd /opt/soft/hadoop313/etc/hadoop/
1.配置文件hadoop-env.sh
[root@kylin141 hadoop]# vi hadoop-env.sh
#hadoop-3.1.0是第54行,hadoop-2.7.7是第25行
54 export JAVA_HOME=/opt/soft/jdk180
2.配置文件core-site.xml
先新建文件夹 hadooptmp 路径/opt/soft/hadoop313/hadooptmp
[root@kylin141 hadoop]# mkdir -p /opt/soft/hadoop313/hadooptmp
[root@kylin141 hadoop]# vi core-site.xml
<configuration>
<property>
<!-- HDFS namenode地址 -->
<name>fs.defaultFS</name>
<value>hdfs://kylin141:9000</value>
</property>
<property>
<!-- HADOOP 运行时存储路径 -->
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop313/hadooptmp</value>
</property>
<!-- 配置HDFS网页登录使用的静态用户为 root -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<property>
<!-- 配置该root(superUser)允许通过代理访问的主机节点 -->
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理用户所属组 -->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理的用户 -->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
3.配置文件 hdfs-site.xml
[root@kylin141 hadoop]# vi hdfs-site.xml
<configuration>
<!-- 设置hadoop存储文件的复本数，默认3份 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- namenode web端访问地址 -->
<property>
<name>dfs.namenode.http-address</name>
<value>kylin141:9870</value>
</property>
<!-- 2namenode web端访问地址 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>kylin141:9868</value>
</property>
</configuration>
注意dfs.namenode.http-address在hadoop-3.1.0版本上的默认值是 0.0.0.0:9870 ，在hadoop-2.7.7版本上的默认值是0.0.0.0:50070，所以不同版本可以通过不同端口访问NameNode。
4.配置文件 mapred-site.xml
[root@kylin141 hadoop]# vi ./mapred-site.xml
<configuration>
<property>
<!-- mapreduce执行计算时，使用的资源调度框架为Yarn -->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>kylin140:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>kylin140:19888</value>
</property>
</configuration>
5.配置文件 yarn-site.xml
[root@kylin141 hadoop]# vi ./yarn-site.xml
<configuration>
<!-- 指定MR走shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>kylin141</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- yarn容器允许分配的最大最小内存 -->
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>4096</value>
</property>
<!-- yarn容器允许管理的物理内存的大小 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://kylin141:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
6.配置文件 slaves
[root@kylin141 hadoop]# vi ./slaves
kylin141
（十四）Hadoop初始化
[root@kylin141 hadoop]# hadoop namenode -format
（十五）挨个启动Hadoop组件
[root@kylin141 hadoop]# hadoop-daemon.sh start namenode
[root@kylin141 hadoop]# hadoop-daemon.sh stop namenode
[root@kylin141 hadoop]# hadoop-daemon.sh start datanode
[root@kylin141 hadoop]# hadoop-daemon.sh stop datanode
[root@kylin141 hadoop]# hadoop-daemon.sh start secondarynamenode
[root@kylin141 hadoop]# hadoop-daemon.sh stop secondarynamenode
启动yarn资源管理器 NodeManager ResourceManager
[root@kylin141 hadoop]# start-yarn.sh
[root@kylin141 hadoop]# stop-yarn.sh
启动hdfs DataNode namenode secondarynamenode
[root@kylin141 hadoop]# start-dfs.sh
[root@kylin141 hadoop]# stop-dfs.sh
[root@kylin141 hadoop]# yarn-daemon.sh start nodemanager
[root@kylin141 hadoop]# yarn-daemon.sh stop nodemanager
[root@kylin141 hadoop]# yarn-daemon.sh start resourcemanager
[root@kylin141 hadoop]# yarn-daemon.sh stop resourcemanager
全部启动
[root@kylin141 hadoop]# start-all.sh
[root@kylin141 hadoop]# stop-all.sh
http://hostname/ip:9870 HDFS（3.X版本默认接口为9870）
http://kylin141:8088/ yarn管理界面
http://kylin141:19888/ jobhistory界面
启动历史服务
[root@kylin141 hadoop]# mr-jobhistory-daemon.sh start historyserver
[root@kylin141 hadoop]# jps
6064 NodeManager
6289 JobHistoryServer
5346 NameNode
5783 ResourceManager
6359 Jps
5627 SecondaryNameNode
5469 DataNode
命令方式查看 节点状态
[root@kylin141 hadoop]# yarn node -list -all
在hdfs文件系统中创建input目录
[root@kylin141 hadoop]# 单个目录 hdfs dfs -mkdir /input 多级目录 hdfs dfs -mkdir -p /input
查看目录下的文件信息
[root@kylin141 hadoop]# hdfs dfs -ls / hdfs dfs -ls /input
上传文件到hdfs指定目录下
[root@kylin141 hadoop]# hdfs dfs -put ./yarn-env.sh /input/
下载
[root@kylin141 hadoop260]# hdfs dfs -get /input/yarn-env.sh ./yarn-env.sh.bak
删除
[root@kylin141 hadoop260]# hdfs dfs -rmr /input
远程连接
[root@kylin141 hadoop]# ssh-keygen -t rsa -P ""
[root@kylin141 hadoop]# cd
[root@kylin141 ~]# cd .ssh/
[root@kylin141 .ssh]# ls
authorized_keys id_rsa id_rsa.pub known_hosts
[root@kylin141 .ssh]# cat id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCf3QxyVdpeunW9AL8+4CpYQLv66E/xcDMO+GpRoObcoJ0QJ99pR2tynbd4joEqaOKRf3j79g5HAhcmPyWhuiif7CFLrqpRJKLeqpERb9etna2njwbcR8pYwuSVIu2Tym0CHMtnddMUvOL+GAZWrwpCXze9QxNnflEOBF63ObnhCD8DnN6+SoNFyYqtChUdmub+SKy3gv2BOX9aFC9pvWvPgjVVFmAVgS2BrTAZX0yJbPCNz9TCvD4C7YZlbBoPb7WFz6Bd+Jp1ilsotHK/I6uzp99y5DFKVBAhvCzQVdJNfbUjlommjzg/+FHyOv8DoOlP6iwcxheXK3ZJfuRmbOzL root@kylin141
[root@kylin141 .ssh]# cd
[root@kylin141 ~]# ssh-copy-id -i .ssh/id_rsa.pub -p22 root@192.168.59.141 密码为1（即之前设置的虚拟机密码）
[root@kylin141 ~]# ssh -p22 root@192.168.59.141
Last login: Tue Apr 26 15:31:21 2022
[root@kylin141 ~]# exit
logout
Connection to 192.168.59.141 closed.
[root@kylin141 ~]# ssh -p22 root@kylin141
Last login: Tue Apr 26 16:46:50 2022 from kylin141
尚硅谷kylin单机版之安装Hadoop3.1.3相关推荐
- 九十五、尚硅谷kylin单机版环境——安装flume1.6.0
一.单机版flume hurys24 (一)打开安装包所在地 cd /opt/soft/install/ ls (二)解压安装包 tar -zxf flume-ng-1.6.0-cdh5.14.0. ...
- 2019尚硅谷大数据Maven篇一 Maven安装和概念
2019尚硅谷大数据Maven篇一安装和概念 tags: golang 2019尚硅谷 categories: java Maven 安装 依赖 概念 文章目录 2019尚硅谷大数据Maven篇一安装 ...
- 尚硅谷大数据技术Zookeeper教程-笔记01【Zookeeper(入门、本地安装、集群操作)】
视频地址:[尚硅谷]大数据技术之Zookeeper 3.5.7版本教程_哔哩哔哩_bilibili 尚硅谷大数据技术Zookeeper教程-笔记01[Zookeeper(入门.本地安装.集群操作)] ...
- 尚硅谷YYDS (课件资料)
面试大保健 链接:https://pan.baidu.com/s/1duUHb4AwOnW9jycDnUCRVA 提取码:undf 尚硅谷大数据技术之 StarRocks 链接:https://pan ...
- 尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】
视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01[大数据概论] 尚硅谷大数据技术Hadoop教程-笔记02[Hadoop-入 ...
- 尚硅谷大数据视频_Zookeeper视频教程
这次分享的是尚硅谷大数据教程视频的第四份--Zookeeper Zookeeper主要应用于大数据开发中的,统一命名服务.统一配置管理.统一集群管理.服务器节点动态上下线.软负载均衡等场景.该框架相当 ...
- 尚硅谷Docker实战教程-笔记02【安装docker、镜像加速器配置】
尚硅谷大数据技术-教程-学习路线-笔记汇总表[课程资料下载] 视频地址:尚硅谷Docker实战教程(docker教程天花板)_哔哩哔哩_bilibili 尚硅谷Docker实战教程-笔记01[理念简介 ...
- 尚硅谷大数据项目之电商数仓（4即席查询数据仓库）
尚硅谷大数据项目之电商数仓(即席查询) (作者:尚硅谷大数据研发部) 版本:V4.0 第1章 Presto 1.1 Presto简介 1.1.1 Presto概念 1.1.2 Presto架构 1.1 ...
- 尚硅谷 SpringCloud 第二季学习笔记【已完结】
SpringCloud 一.介绍 (一)cloud和boot之间的依赖关系 https://spring.io/projects/spring-cloud#overview Finchley 是基于 ...
- 《尚硅谷大数据Hadoop》教程
尚硅谷大数据Hadoop教程 概论 入门 HDFS MapReduce YARN 由于对这方面的知识只是做一个了解,所以详细的东西并不会做笔记. 概论 大数据的特点 海量.高速.多样.低价值密度 入门 ...
最新文章
- 飞越难关，飞书生态「战疫工具箱」来驰援！
- XSS漏洞自动化攻击工具XSSer
- windows下nodejs环境配置
- 【原创】Windows下使用 Eclipse 管理 RabbitMQ 源码之问题解决
- 聊聊面试的事（应聘方）
- Java 集合 之 Set
- 问题三十六：ray tracing中的Inverse Mapping（0）——概要
- RSA总裁：2010年需重点关注云计算安全
- java之模块学习-JAVA的IO流
- 手机上ftp测试软件,ftp工具手机版
- zenmap扫描ip段_扫描工具——Nmap用法详解
- 算法学习笔记(5) 传递闭包
- VTK系列12_VTK读取PNG图像并显示
- Python批量处理Excel文件之删除操作
- poi导出使用HSSFWorkbook行数超出
- MYSQL导入数据出现ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it
- 未来的事业计算机工程师英语作文,英语作文：我未来的事业 My Future Career
- UI设计（用户界面设计）的好处
- 小程序关注公众号组件
- 【在线研讨会-倒计时】12月12日Softing工业物联网解决方案 助力工业4.0