centOS 7下Hadoop伪分布式搭建

记录笔记，尝试在centOS下安装Hadoop伪分布式（之前是在Ubuntu下安装的），查漏补缺。

步骤

第一步：先把在window系统中下载好的关于Hadoop、jdk压缩包用Xftp传输到centos

名称自定义，主机我写的是IP地址，需要去centOS的终端输入ifconfig,划黄线的是IP地址

用户名如果在安装centos中没有创建的话，默认是root，密码是登陆密码。点击连接，弹出下面这个对话框，我选的是一次性接受（自行选择）。

成功会亮起小绿点，然后直接把从此电脑中的目标压缩包拖拽到新建会话那边你想放的地方，能记住地址就行。这个地址建议简洁，之后的安装会出现多次。

第二步：设置centOS的静态IP

（之前在Ubuntu安装完后Hadoop伪分布式出现了连不上网的情况，右上角的少了个有线网图标，记得多去搜索尝试，我也是试了好几种才成功。）

言归正传，在centOS的终端输入su跟换成超级用户，再输入“vi /etc/sysconfig/network-scripts/ifcfg-ens33”，回车，进入文件编辑页面，然后点击字母“i”进入插入模式，修改、添加我用荧光笔画起来的信息，IPADDR(IP地址）是主机的IP地址（ifconfig命令），GATEWAY(网关）是需要你点击编辑>>虚拟网络编辑器查看，最后按esc键，冒号加wq----->“：wq“进行保存退出。

设置完毕后需要输入”systemctl restart network.service"重启虚拟机的网路服务，最后输入

“ip addr"查看当前的虚拟机的IP地址。（IP地址在ens33那，认准ens33）

第三步关闭防火墙

输入”firewall-cmd --state"检查防火墙状态，running就输入

“systemctl stop firewalld.service"命令

第四步修改主机名

输入"vi /etc/hostname",将原来的值随意替换其他，但那个值要记得，不易复杂。

第五步配置主机名与IP映射

输入”vi /etc/hosts",回车，增添 ”IP地址主机名“这条。

第六步设置 SSH免密登陆

输入“rpm -qa | grep ssh"查看是否已经安装，没有的话输入”yum-y install openssh“，成功如下图

再输入”ssh-keygen -t rsa"生成密钥

输入“cd ~;cd .ssh"查看已生成的密钥文件

输入”cat id_rsa.pub >> authorized_keys"把公钥（id_rsa.pub)复制到当前目录也就是.ssh目录下authorized_keys中，输入“chmod 600 authorized_keys”修改权限，最后输入“ssh 主机名”，如果不用输入密码就成功了

第七步安装java和Hadoop运行环境

把第一步移动到centos的jdk和Hadoop压缩包解压,cd到你放压缩包的路径下，输入“tar -zxvf jdk或者hadoop-xxxxxx.tar.gz"，重新命名解压后的文件为”jdk和hadoop”，主要是为了后续敲jdk-xxxxxx.不那么费劲，输入“mv jdkxxxxx jdk"，hadoop一样的重新命名。

配置环境变量喽，输入”vi /etc/profile" ，添加我用荧光笔画起来的信息。记住，JAVA_HOME和HADOOP_HOME后面写的是你存储jdk和Hadoop的路径，不能照抄（千万别错）

验证是否配置成功，输入”source /etc/profile" 和“java -version"、”hadoop version"，注意hadoop后面没有“-”！！！

第八步修改Hadoop的配置文件

前提：不管处于哪个路径下，一定要cd到你存放Hadoop的路径下+etc/hadoop

（1）修改hadoop-env.sh文件，输入“vi hadoop-env.sh"，找下图这个地方

再增添荧光笔画出来的信息。把#删了，JAVA_HOME后面跟得是你储存jdk的路径！！！

（2）修改hdf-site.xml文件，输入"vi hdfs-site.xml",增添用荧光笔画起来的信息。记住，file后面跟的是你储存Hadoop的路径+tmp/dfs/name和/tmp/dfs/data

（3）修改core-site.xml文件,输入“vi core-site.xml",增添用荧光笔画起来的信息，常年不变记得修改成自己的主机名和Hadoop途径+/tmp（4）修改mapred-site.xml,输入 “vi mapred-site.xml",增添用荧光笔画起来的信息。

（5）修改yarn-site.xml文件，输入”vi yarn-site.xml",增碳用荧光笔画起来的信息。

最后一步启动和停止hadoop

(1)NameNode格式化，前提：输入“cd 你储存Hadoop的路径/bin”

输入"hdfs namenode -format"

我得到的结果是下图所示

(2)启动HDFS和YARN,前提：输入“cd 你储存hadoop的路径/sbin"

用vi进入start-dfs.sh和stop-dfs.sh文件进行修改，用vi进入start-yarn.sh和stop-yarn.sh进行修改，添加的信息去这个网站查看吧(5条消息) Attempting to operate on hdfs namenode as root_子清.的博客-CSDN博客

最后输入“start-all.sh"执行完后使用”jps“命令(我这就直接全部启动了，也可以分别启动HDFS和YARN,（自行选择吧）

（3）访问Hadoop，打开浏览器，在其地址栏上输入“你的静态IP地址+：18088”，检查YARN的启动情况，成功如下图

在地址栏上输入“http://你的静态IP地址+：50070”，检查HDFS的启动情况，成功如下图

终于完成了~

centOS 7下Hadoop伪分布式搭建相关推荐

Hadoop伪分布式搭建（本人新手，欢迎大家多多指导和关照）
1.创建hadoop账户,创建用户的home目录并设置密码.(useradd -m hadoop ) 2.本步骤可以不做(我是为了方便,给hadoop赋予了root权限)(vi /etc/sudoer ...
Hadoop伪分布式搭建
1.到hadoop官网下载hadoop3.0,解压后用xftp复制到ubuntu中 2.配置hadoop的环境变量在/etc/profile文件中添加如下语句: exportHADOOP_HOME= ...
hadoop伪分布式搭建 java_hadoop2.2.0伪分布式搭建
第一步:安装jdk 我的linux版本是centos7,使用最简单的安装方式,这里首先说一下,由于系统会预装openjdk版本等其他各种版本,首先要做的是清除这些版本,然后iu安装oracle的jdk ...
Hadoop伪分布式配置和搭建，hadoop单机安装，wordcount实例测试，hadoop安装java目录怎么找，问题及问题解决方法
Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法环境说明系统:ubuntu18.04 主机名:test1 用 ...
本地搭建Hadoop伪分布式环境之一：虚拟机的安装
作者:GISer_Leo 好久没有写技术文档了,最近都在做项目:今日抽空搭建下Hadoop伪分布式环境: 个人笔记本:win8.1系统,内存32G,i7,硬盘1.5T: 准备软件:1.VMware-w ...
Spark伪分布式搭建与SparkYarn搭建
Spark伪分布式搭建教程(Standalone:Master+Slave) 分析: 1.配置好IP 2.修改好主机名 3.做好IP映射 4.关闭防火墙 5.安装好Java(请参考Linux-Java ...
centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...
Centos7（linux）下hbase的伪分布式搭建以及eclipse远程连接
本博客是在VMware15.5pro.hadoop-2.7.5.jdk1.8.0.hbase-1.2.10,下进行的 hbase-1.2.10-bin.tar.gz下载地址:Index of /dis ...
Hadoop伪分布式集群的搭建
一.准备虚拟机 1.从网上将VMware下载下来 https://www.vmware.com/content/dam/digitalmarketing/vmware/en/images/galler ...

centOS 7下Hadoop伪分布式搭建

centOS 7下Hadoop伪分布式搭建相关推荐

最新文章

热门文章