【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题？你解决了吗？

（1）浏览器问题

当你配置都完成了，你输入主机名+端口号去访问时，不能访问，但是你得确定前面的配置的哪些步骤都没有错，这可能是你浏览器的问题，我推荐用Chrome或者火狐，这两个基本上是可以的。

（2）域名问题

当你输入IP地址+端口号能访问时，这时你就得看看你的Windows上的映射是否配置成功，可能是在你在配置Windows中的映射的时候配置错了或者是你没有配置。C:\Windows\System32\drivers\etc\hosts记得去查看是配置，如果配置了，那可能是你Linux上的映射没有配置，vi /etc/hosts,记得去查看是否配置。

（3） jdk问题

当出现这个问题时，可能是你jdk的安装出现问题：常见的问题是系统自带的openjdk 没有卸载，查看是否卸载的命令：

sudo rpm -qa |grep java 如果没有卸载，卸载的命令是： sudo rpm -e --nodeps jdkname,若卸载了，那么问题可能是环境变量配置的问题：需要在 sudo vi /etc/profile 配置#JAVA_HOME，export JAVA_HOME=/opt/modules/jdk1.8.0_91

export PATH=${PATH}:${JAVA_HOME}/bin，jdk才能生效。使其生效的命令是source /etc/profile,验证是否安装成功：Java -version,若都没有错那就是别的问题了。

还有记得修改3个模块的环境变量（*.env）hadoop-env.sh、 yarn-env.sh、mapred-env.sh JAVA_HOME，把安装好的jdk路径写进去。

（4）还是域名问题，

当前面的错都没有，这时你就需要考虑是否是你的域名是否输错，这时候尽量不要去自己打，尽量是去复制，因为打会出错，域名一般是主机名+端口号，可以通过命令hostname来查看主机名然后加上端口号就可以了。也可能是主机名与映射中配置好的不一样。

（5）权限问题

可能是这个文件不是该用户的或者是该用户没有读、写的权限，这时需要去给该用户分配权限。这时分配的命令 chown -R huadian:Huadain hadoop-2..../*，如果这个都没有错，那可能是下面这个问题，还可能就是先建的目录的权限是root用户，需要修改权限。

（6）防火墙问题

前面几个问题都没有，那可能是防火墙的问题，这里是几个与防火墙有关的命令：

查看防火墙是否运行的命令：service iptables status 临时关闭：service iptables stop

chkconfig iptables --list 查看是否关闭成功如果这些问题都没有，那么基本上是可以了，说明你的配置已经好了，环境搭配已经完成。还有没有关闭防火墙的安全机制，命令是vi /etc/selinux/config ，设置SELINUX=disabled，然后保存退出。

（7）其他的问题

当你配置好HDFS之后，去格式化时，出现格式之后的状态为1或者其他，为0是成功的，出现前者，要不就是你格式化了多次，也可能是你的权限问题。如果是格式化了多次，你需要去重新启动虚拟机，然后再试一试。这时候应该就可以了。当你输入一些命令出错时，请认真检查是否是命令些写错或者是相关的目录没有写对，还有配置文件是否配置正确，在配置文件中写配置内容时千万不要加空格或者换行这个，不然会报错。

以上就是在配置Hadoop中的一些配置文件以及环境的搭建中常见的问题，以上是我的总结希望可以帮助到大家。

【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题？你解决了吗？相关推荐

从部署 httpd 入手，理清 k8s 配置中的 containerPort、port、nodePort、targetPort
注:文中各种内网.公网 IP 仅为示例,不保证所有 IP 都可以访问,且你的环境中 IP 可能不同. 背景在上一篇文章自己搭建一个k8s环境中,我们一顿操作猛如虎,搭建出了由 1 个 maste ...
Django+Linux+Uwsgi+Nginx项目部署文档
Django+Linux+Uwsgi+Nginx项目部署文档 WSGI 在生产环境中使用WSGI作为python web的服务器 WSGI:全拼为Python Web服务器网关接口,Python We ...
【Linux 内核】编译 Linux 内核 ④ ( 打开 Linux 内核编译菜单配置 |菜单配置中的光标移动与选中状态 | 保存配置 | 配置项帮助文档 )
文章目录一.打开 Linux 内核编译菜单配置二.菜单配置中的光标移动与选中状态三.保存配置四.配置项帮助文档一.打开 Linux 内核编译菜单配置执行 make menuconfig ...
linux nfs系统客户端,Linux系统中挂载共享目录NFS文件系统客户端安装与配置
NFS服务简介 NFS是Network File System(网络文件系统).主要功能是通过网络让不同的服务器之间可以共享文件或者目录.NFS客户端一般是应用服务器(比如web,负载均衡 ...
linux nuc 吗支持_在你的树莓派家庭实验室中使用 Cloudinit | Linux 中国
本文字数:2513,阅读时长大约:4分钟导读:了解了云行业的标准,该向你的家庭实验室自动添加新设备和用户了.https://linux.cn/article-12371-1.html作者:Chris ...
BIG DATA 神奇的大数据 - Hadoop（Linux）环境搭建与部署
自说 Hadoop的运行环境有两种,分别是windows和linux系统,Linux更适合作为服务器操作系统,也更加方便使用. 学习路径 BIG DATA 神奇的大数据 - hadoop简章准备工作 ...
在hadoop中伪分布式部署的命令与步骤
HDFS是进行存储的,YARN是进行调度的. 第一步先切换到hadoop下面的etc(配置文件都在etc下面) 命令:cd /etc 然后在hadoop中配置core-site.xml 命令:Vi c ...
在Linux中进行hadoop集群搭建
在公网IP为x.x.x.x.y.y.y.y和z.z.z.z并装有Centos8的服务器上进行hadoop集群搭建,都安装hadoop-3.1.3和server-jre-8u202-linux-x64. ...
Ambari在离线环境中安装Hadoop集群
2019独角兽企业重金招聘Python工程师标准>>> http://www.hackbase.com/article-973-1.html (WJW)Ambari在离线环境中安装H ...

【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题？你解决了吗？

【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题？你解决了吗？相关推荐

最新文章

热门文章