Hadoop 平台搭建完整步骤
Hadoop 平台搭建完整步骤
环境准备
也可以用VMware.
创建三台虚拟机 hd-master、hd-node1、hd-node2 三台虚拟机服务器中的主机名(hostname)分别更改为master、node1、node2。
创建好虚拟机之后
(1) 我们为了能够更加方便来识别主机,我们使用主机名而不是使用IP地址,以免多处配置带来更多的麻烦。把hd-master、hd-node1、hd-node2三台虚拟机服务器中的主机名(hostname)分别更改为master、node1、node2。
命令如下:
cd /etc/? ?// 进入配置目录vi hostname? // 编程hostname 配置文件
先点击 Esc : wq 保存
在另外两个节点上进行相同的操作
(2)开启主机的DHCP模式,自动获取ip地址。方法如下:
cd /etc/sysconfig/network-scripts/ //进入网卡编辑目录
vi ifcfg-enp16777736 //编辑网卡enp0s3的配置文件
重启网卡 service network restart
三个虚拟机的ip都记一下
master
node1
node2
(3) 配置hosts
配置 hosts 主要是为了让机器能够相互识别主机
_注:_hosts__文件是域名解析文件,在__hosts__文件内配置了 ip__地址和主机名的对应关系,配置之后,通过主机名,电脑就可以定位到相应的__ip__地址 。
vi /etc/hosts
在hosts配置文件内容输入如下内容:使用同样的方式更改node1和node2的网卡配置。
(4) ssh 免密登录
ssh 一路回车
ssh-keygen
使用如下命令将公钥复制要node1和node2节点中:
ssh-copy-id root@node1
ssh-copy-id root@localhost
ssh-copy-id root@node2
使用 ssh node1 实验是否能免密登录
_注意:_ssh__免密设置后会在如下目录生成四个文件
(5) JDK环境安装(环境配置好后, 拷贝带其他节点)
在 master 中新建目录 /opt/bigdata/, 此目录下存放 hadoop 大数据所需要的环境包.
- 把下载好的JDK包和hadoop上传至master主机中,JDK是安装Hadoop的基础环境,所以需要优先安装好JDK环境(最好把包考到opt目录下下)
连接好后将文件拖到opt目录下即可
解压 JDK 并配置环境变量
tar -zxvf jdk-8u181-linux-x64.tar.gz
mv jdk1.8.0_181/ bigdata/
然后我们配置环境变量
vi /etc/profile
source /etc/profile
java -version #验证环境是否配置成功
(6)Hadoop 安装(环境配置好后, 拷贝带其他节点)
- 把 hadoop 的压缩包解压在当前文件夹然后移动到 bigdata 目录下
tar -zxvf hadoop-3.1.1.tar.gz
mv hadoop-3.1.1 bigdata/
- 配置 hadoop 环境变量
- 注:环境变量是让系统变量,在环境变量配置的命令目录后,该目录的命令将可以在任何位置都可以使用。
source profile
hadoop verison
配置 hadoop
cd /opt/bigdata/hadoop-3.1.1/etc/hadoop/
我们需要对 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml进行配置
(1) 配置hadoop-env.sh
编辑hadoop-env.sh文件。
命令如下:
vi hadopp-env.sh
查找JAVA_HOME 配置的位置
:/export JAVA_HOME
输入JAVA_HOME的绝对路径。
export JAVA_HOME=/opt/bigdata/jdk1.8.0_181 (要把前面的注释#去掉)
(2)配置core-site.xml
编辑core-site.xml文件。
vi core-site.xml
进入core-site.xml文件中结构如下所示,找到configuration的位置。
<configuration><property><name>fs.default.name</name><value>localhost:9000</value></property><property><name>hadoop.temp.dir</name><value>/opt/bigdata/hadoop-3.1.1/temp</value></property> </configuration>
(3) 配置 hdfs-site.xml
vihdfs-site.xml
<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.datanode.name.dir</name><value>/opt/bigdata/hadoop-3.1.1/hdfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/bigdata/hadoop-3.1.1/hdfs/data</value></property><property><name>dfs.namenode.secondary.http-address</name><value>node1:9001</value></property><property><name>dfs.http.address</name><value>0.0.0.0.50070</value></property>
</configuration>
(3)配置mapred-site.xml
vimapred-site.xml
<configuration><property><name>mapred.job.tracker.http.address</name><value>0.0.0.0:50030</value></property><property><name>mapred.task.tracker.http.address</name><value>0.0.0.0:50060</value></property></property>
</value><property><name>mapreduce.framework.name</name><value>yarn</value></property>
<property><name>mapreduce.application.classpath</name><value>/opt/bigdata/hadoop-3.1.1/etc/hadoop,/opt/bigdata/hadoop-3.1.1/share/hadoop/common/*,/opt/bigdata/hadoop-3.1.1/share/hadoop/common/lib/*,/opt/bigdata/hadoop-3.1.1/share/hadoop/hdfs/*,/opt/bigdata/hadoop-3.1.1/share/hadoop/hdfs/lib/*,/opt/bigdata/hadoop-3.1.1/share/hadoop/mapreduce/*,/opt/bigdata/hadoop-3.1.1/share/hadoop/mapreduce/lib/*,/opt/bigdata/hadoop-3.1.1/share/hadoop/yarn/*,/opt/bigdata/hadoop-3.1.1/share/hadoop/yarn/lib/*
</value>
</property>
</configuration>
(5)配置yarn-sit.xml
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
<property><name>yarn.resourcemanager.webapp.address</name><value>master:8099</value>
</property>
(6)配置workers
此处因为前面配置了hosts,所以此处可以直接写主机名,如果没有配置,必须输入相应主机的ip地址。配置的workers,hadoop会把配置在这里的主机当作datanode。
node1
node2
(7)hadoop****复制到其他host
把hadoop复制到所有datanode节点,此处是node1和node2。
命令如下:
scp -r * node1:/opt/ scp -r * node2:/opt/
starta-all.sh 启动
Hadoop 平台搭建完整步骤相关推荐
- 在线教育平台搭建具体步骤
到目前为止,国内的疫情基本算是被控制住了,大部分地区中小学也在正式开学.可能有些人会想:开学了,就不用搞在线教育了.但实际上,疫情的结束只是在线教育发展的新起点.且目前很多线下教培机构还是顺势而上,努 ...
- 大数据Hadoop平台搭建(Apache)
Hadoop环境搭建 一.节点详情 服务器 配置 组件 hadoop101 8核/16.0GB QuorumPeerMain,PrestoServer,Kafka,DataNode,NodeManan ...
- 输入法 java_使用 Utf7ime 输入法实现中文输入 Windows+Java 平台(完整步骤版)
今天完成了对真机上的 APP 输入框的中文输入的操作,也研究了很久,很不易,特贴出来分享给广大才接触 appium 的 tester 希望对你们有帮助,不过我这个帖子是基于 Windows+Java ...
- Hadoop平台搭建与数据分析实验报告
目录 Hadoop简介 实验一:构建虚拟机网络 (一)Virtual Box的安装及配置
- Hadoop平台搭建
1. 2. 3. 转载于:https://www.cnblogs.com/xubing-613/p/5163342.html
- 大数据基础——Hadoop大数据平台搭建
文章目录 前言 Hadoop大数据平台搭建 一.Hadoop原理和功能介绍 二.Hadoop安装部署 三.Hadoop常用操作 总结 前言 分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
- 百度Apollo仿真仿真平台搭建-附1
百度Apollo仿真仿真平台搭建-附1 1 Apollo版本升级 2 参考书籍 3 运行Apollo仿真代码 1 Apollo版本升级 Apollo由版本V3.5升级到V6.0(Ubuntu18.04 ...
- 基于Hadoop的数据分析平台搭建
企业发展到一定规模都会搭建单独的BI平台来做数据分析,即OLAP(联机分析处理),一般都是基于数据库技术来构建,基本都是单机产品.除了业务数据的相关分析外,互联网企业还会对用户行为进行分析,进一步挖掘 ...
- Hadoop 全分布模式 平台搭建
现将博客搬家至CSDN,博主改去CSDN玩玩~ 传送门:http://blog.csdn.net/sinat_28177969/article/details/54138163 Ps:主要答疑区在本帖 ...
最新文章
- android matrix 简书,android matrix
- activity在屏幕旋转时的生命周期
- java高并发(八)不可变对象
- 硬核致敬Linux !30岁生日快乐!
- linux 命令 语法,linux常用命令及语法
- 拓扑排序 详解 + 并查集 详解 + 最小生成树详解
- 输入域html,我可以让HTML输入表单域成为可选的吗?
- c++ 将引用赋值给引用_5分钟掌握 Python 对象的引用
- 算法——X^3+Y^3+Z^3=XYZ(水仙花数)
- java读取配置文件的详细写法,Properties配置文件读取相关java知识
- 智能优化算法:蝙蝠算法-附代码
- ds18b20工作原理和测温原理介绍
- excel出现为了防止数据流失,无法移走非空单元格怎么办
- MATLAB的MCC命令
- 自定义鼠标指针图案每次开机或者重启都会重置的解决办法
- python简单图片识别_用Python进行简单的图片识别(1)
- CentOS系统磁盘的分区格式化和挂载操作
- 【不看即后悔系列】学习的真相及方法【建议收藏】
- 为什么双绞线可以屏蔽外部磁场干扰?
- Java 12 / JDK 12 正式发布
热门文章
- Idea一键自动导包设置--导入类中所有包
- python:关于三维装箱问题的算法研究-2
- python 路径带空格_路径中包含空格
- 值小米3上市之际,说说小米科技
- mac安装protobuf
- centos-7(1908)配置HTTPS
- Kotlin终章:动态权限申请
- 点成动态丨 2023中国(南京)国际科教技术及装备博览会(CESEE)精彩回顾
- c语言字符分类计数器,输入一行数字字符,请用数组元素作为计数器来统计每个数字字符的个数....
- 骁龙870什么水平 骁龙865相当于天玑多少