linux下hadoop 环境搭建

准备 3台linux 分别hostname为: node-1,node-2,node-3

vi /etc/sysconfig/network
HOSTNAME=yourhostname#保存
hostname yourhostname
hostname

安装 JDK 并配置环境变量
通过xshell等ssh 工具查看3台机子的时间是否一致(需通过成一致的时间)
xshell 查看-撰写-撰写窗口-全部会话(可以在敲一遍命名在所有窗口生效)

Vi /etc/hosts

 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.1.220 node-1192.168.1.222 node-2192.168.1.223 node-3

免密登入配置:

     ssh-keygen -t rsa(4个空格) 生成 id_rsa(公钥) id_rsa..pub(公钥)cd ~/.ssh/scp id_rsa.pub root@ip:/usr/local/cd /usr/local/cat id_rsa.pub >> ~/.ssh/authorized_keys

解压hadoop安装包tar -zxvf hadoop-3.3.1.tar.gz
vi /usr/local/hadoop-3.3.1/etc/hadoop/hadoop-env.xml
#配置jdk JAVA_HOME=/usr/local/jdk1.8.0_301

vi /usr/local/hadoop-3.3.1/etc/hadoop/core-site.xml

    <configuration> <property> <name>fs.default.name</name> <value>hdfs://node-1:9000</value> </property> ##临时文件存放位置<property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> </property> </configuration>

vi /usr/local/hadoop-3.3.1/etc/hadoop/hdfs-site.xml

   <configuration><property> <name>dfs.replication</name> <value>2</value></property> <property> <name>dfs.namenode.secondary.http-address</name> <value>node-2:50090</value> </property><property> <name>dfs.datanode.handler.count</name> <value>50</value></property> </configuration>

vi /usr/local/hadoop-3.3.1/etc/hadoop/mapred-site.xml

   <configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

vi /usr/local/hadoop-3.3.1/etc/hadoop/yarn-site.xml

<configuration><property> <name>yarn.resourcemanager.hostname</name> <value>node-1</value> </property> <property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>

vi /usr/local/hadoop-3.3.1/etc/hadoop/workers
```
node-1
node-2
node-3
```

配置hadoop环境变量(vi /etc/profile)

export HADOOP_HOME=/usr/local/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin: $HADOOP_HOME/sbin

复制: scp -r /usr/local/hadoop-3.3.1/ root@node-2:/usr/local/
scp -r /usr/local/hadoop-3.3.1/ root@node-3:/usr/local/
复制: scp –r /etc/profile root@node-2:/etc/
scp –r /etc/profile root@node-3:/etc/

格式化 hadoop
首次启动需要格式化是进行文件系统的初始化操作,创建一些自己需要的文件
启动后,不在需要格式化
必须在主节点上(主机器)操作
hdfs namenode -format 或 hadoop namenode -format

一键启动
主机器操作许配置 slaves 和 ssh 免密登入
进入 hadoop 下 sbin 文件夹下 start-dfs.sh(sdfs 集群)和 start-yarn.sh(yarn 集群) 或者 start-all.sh(sdfs   和 yarn 集群同时启动)
//启动历史
mr-jobhistory-daemon.sh start historyserver
启动时报错:
修改配置21和22

查看启动结果 jps 命令
13248 NameNode
13345 DataNode
13610 ResourceManager
13757 Jps
13711 NodeManager提示 一下标识成功或者访问 ip:50070 页面

将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh，stop-yarn.sh

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

如果启动后没有datenode节点要删除 core-site.xml中的路径在执行格式化
通过浏览器http://ip:8080访问页面

java操作HDFS

//连接hdfs
configuration conf =new Configuration();
conf.set(fs.defaultFs,"hdfs://node-1:9000")//设置用户身份
方式1:System.setProperty("HADOOP_USER_NAME","root")
方式2:FileSystem fs=FileSystem.get(new URI("hdfs://node-1:9000"),conf,"root");
FileSystem fs=FileSystem.get(conf);
//操作
fs.xxxx()
fs.close()
---------------------------获取遍历文件--------
RemoteInterator<LocatedFIleStatus> list=fs.listFIles(path,true);
while(list.hasnext()){LocatedFIleStatus f=list.next()};
--------------------------上传文件流操作---------------------------------------------
FSDataOutputStream out=fs.create(new Path(文件),true);
FIleInputStream in=new FIleInputstream("D://文件");
IOUtils.copy(in, out  );
---------------------------------------------------------------------------------

linux下hadoop 环境搭建相关推荐

php linux下开发教程,linux下php环境搭建教程_后端开发
linux下php环境搭建要领:起首猎取PHP.Apache以及MySQL装置包:然后装置Apache,并修正设置文件httpd.conf:接着装置MySQL,并做基础设置:末了装置PHP,并设置ph ...
Linux下开发环境搭建－－－2. emacs篇
Linux下开发环境搭建---2. emacs篇本节主要参考: 曹乐的<在Emacs下用C/C++编程> 王纯业的<Emacs 一个强大的平台> ...
vs在linux下的环境搭建,linux下vscode环境配置
文章目录 linux下vscode环境配置编译器,调试器安装 sudo apt update #通过以下命令安装编译器和调试器 sudo apt install build-essential gd ...
Android Linux下开发环境搭建
开发环境--这个没有要求你一定得在什么系统下开发,你对哪个环境熟悉就用哪个. 如果习惯Windows的话,那在Windows下开发:如果对Linux比较熟,那你就用Linux. 不过,话说回来,Lin ...
Zedboard学习（二）：zedboard的Linux下交叉编译环境搭建
环境准备首先肯定是要下载xilinx-2011.09-50-arm-xilinx-linux-gnueabi.bin文件,这是官方提供的linux下交叉编译链安装文件,下载地址为:https://p ...
Linux下python环境搭建
前言:在Linux平台上搭建环境,往往因为系统版本.下载版本等原因,跟随安装教程安装,导致环境搭建失败.这里就总结一些我所遇到的问题及解决方法. Linux版本:Cen ...
linux下cgi环境搭建,CGI Linux下搭建环境
CGI Linux下搭建环境一.简述记--在Ubuntu系统搭建CGI编程测试环境,服务器使用apache,还可以使用其它服务器如lighttpd,boa,nigx. 二.安装apache 命令: ...
W800/Nepture/Hi3861/BL602 Harmony OS IOT Linux下开发环境搭建
OpenHarmony(以下简称OH)自开源以来,已经过去了1年多.一年多时间,许多厂商争先恐后加入到OH的队伍中来,这一年多,发展迅速. 我有幸可以在这OH发展的初期加入到OH的开发中来,成为OH中 ...
linux使用fabric教程,Hyperledger fabric在Linux下的环境搭建
本文介绍如何在Ubuntu和CentOS系统下安装部署fabric环境,并在单机上运行一个示例启动fabric网络. 一.Ubuntu cURLsudo apt-get install curl Gi ...
go linux环境搭建,Linux 下 Go 环境搭建以及 Gin 安装
专栏地址:技术专栏同时,也欢迎关注我的微信公众号 AlwaysBeta,更多精彩内容等你来. 将安装包解压: tar -C /usr/local -xzf go1.11.4.linux-amd64. ...

linux下hadoop 环境搭建

linux下hadoop 环境搭建相关推荐

最新文章

热门文章