centos 7.6安装java_Hadoop的安装
为了方便后面使用Hadoop的shell命令,我先介绍Hadoop的安装。
Hadoop有多种安装模式,这里介绍伪分布式的安装。
我测试过Ubutun、Centos和WSL,都可以正常安装Hadoop的所有版本。所有一般不会出现版本对应的问题。
Hadoop是基于Java语言进行编写的,在Hadoop程序执行过程中会调用起系统环境的java虚拟机(JVM),所以我们的系统中需要安装JDK。直接搜索JDK进入官网下载即可。考虑到目前的Hadoop基本上都是基于JDK1.8的,建议下载JDK1.8,高版本的Java虽然也可以支持Hadoop的正常执行,但是会报Warning,强迫症看着应该会很难受。
一、JDK安装
如果你的系统是Centos可以需要卸载Centos系统自带的OpenJDK。
java -version
使用这个命令会看到当前系统的Java版本,如果系统存在Java,那么可以直接看到Java版本信息。如果没有安装Java,那么应该什么也看不到。如果是OpenJDK,就需要先卸载。
OpenJDK卸载过程
rpm -qa | grep java
使用这个命令就可以看到所以的Java文件,.noarch结尾的文件可以不用删除,其他文件使用下述命令进行删除。
rpm -e --nodeps [Java文件名]
将[java文件名]替换为对应的Java文件名就可以删除了。如果提示权限不够,则需要使用管理员权限。
以上过程之后,OpenJDK就删除完成了。
OracleJDK安装
找到下载好的JDK安装包,我们知道,Linux系统万物皆是文件,所以所谓的安装过程其实就是文件的解压。
tar -zxvf [文件名]
同理,将 [文件名] 改成对应的JDK安装包的名称。之后我们就可以看到解压好的JDK文件,我们可以将其移动到我们希望安装的位置。一般都是放在 /usr 目录下。为了方便,我们先将JDK文件重命名为java,然后移动到 /usr 目录下。
mv [文件名] javamv java /usr/
之后就可以配置环境变量了。
vi /etc/profile
这个命令是需要root权限的,建议进入root用户再进行处理。使用上述命令打开文件后,在文件最后写入Java的目录信息。
这样Java就安装完成了。
java -version
二、SSH免密登录
玩过GitHub的人应该都配置过免密登录。他是为了方便用户使用,避免每次使用都重新输入密码。
SSH安装
ssh localhost
输入上述命令后,若显示
ssh: connect to host localhost port 22: Connection refused
则意味着没有安装SSH,我们需要先安装SSH。过程也很简单(Centos将apt命令改为yum命令)
apt-get updatesudo apt-get install openssh-serversudo apt-get install openssh-server
接着启动SSH
sudo service ssh start
SSH免密配置
ssh-keygen
输入上述命令之后,一路回车即可。它会在 /home/[用户名] 目录下生成一个隐藏的 .ssh文件夹,文件夹内保存着密钥信息。
cd /home/[用户名]/.sshtouch authorized_keyschmod 600 authorized_keyscat id_rsa.pub >> authorized_keys
执行时,将 [用户名] 改为自己的用户目录即可。
此时尝试
ssh localhost
发现无需密码,可以直接登录成功。
SSH卸载
提供了一个卸载方法,以备不时之需。
sudo apt-get remove openssh-serversudo apt-get remove openssh-client
三、Hadoop安装
本着Linux中万物皆文件的哲学,我们明白,所谓的安装就是解压二进制安装包,修改配置文件。
直接进入官网,下载自己想要Hadoop版本,我使用的2.7.7版本。下载完之后进行解压,然后修改称自己喜欢的名字,放到想安装的目录下。
tar -zxvf [hadoop安装包名] # 解压mv [hadoop文件名] hadoop # 重命名mv hadoop /home/hadoop/ #将文件移动到/home/hadoop目录下
文件配置
Hadoop安装的重点其实就是文件的配置。在hadoop文件的 etc/hadoop目录下,我们会看到很多.sh或者.xml结尾的配置文件。我们需要其中几个必选项。使用 vi 命令进入文件进行修改。例如:
vi core-site.xml
添加内容:
1. core-site.xml
<configuration> <property> <name>hadoop.tmp.dirname> <value>file:/home/hadoop/hadoop/tmpvalue> <description>Abase for other temporary directories.description> property> <property> <name>fs.defaultFSname> <value>hdfs://localhost:9000value> property>configuration>
2. mapred-site.xml
如果你只看到 mapred-site.xml.template文件,自己复制一个并重命名就可以。在下面的配置中,遇到同样的问题,可以采用相同的方法解决。
copy mapred-site.xml.template mapred-site.xmlvi mapred-site.xml
<configuration> <property> <name>mapred.job.trackername> <value>localhost:9001value> property> <property> <name>mapreduce.framework.namename> <value>yarnvalue> property>configuration>
3. hdfs-site.xml
<configuration> <property> <name>dfs.replicationname> <value>1value> property> <property> <name>dfs.namenode.name.dirname> <value>file:/home/hadoop/hadoop/tmp/dfs/namevalue> property> <property> <name>dfs.datanode.data.dirname> <value>file:/home/hadoop/hadoop/tmp/dfs/datavalue> property>configuration>
4. hadoop-env.sh
export JAVA_HOME=[java_path]
将 [java_path] 改为你自己java路径就可以。
5. yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-servicesname> <value>mapreduce_shufflevalue> property>configuration>
至此,一个伪分布式Hadoop就安装完成了。
Hadoop的初始化
安装完成之后,需要进行集群初始化,当然这里我们没有集群,但是初始化也是必须的。
进入Hadoop文件目录。执行:
bin/hdfs namenode -format
之后会出现一连串信息,我们不用管他,中途没有出现ERROR关键字,我们的集群初始化就算成功了。
之后就可以启动Hadoop了。
sbin/start-dfs.shsbin/start-yarn.sh
没有出现报错则说明启动成功,输入jps
jps
叮!!!
配置完成。
打开浏览器,输入地址 localhost:50070
现在你就走出了Hadoop的新手村。
关闭也很简单
sbin/stop-all.sh
centos 7.6安装java_Hadoop的安装相关推荐
- 在CentOS 6.3 64bit下yum安装MySQL后重置root密码的方法
为了简单省事,我在CentOS 6.3上直接使用yum方法来安装MySQL,安装很顺利,但是我发现root用户登录不了. 下面是参考网上的资料并实操后的笔记整理 yum -y install mysq ...
- Centos 64位使用 yum 会安装两个相同软件包的解决方法
Centos 64位使用 yum 会安装两个相同软件包的解决方法 - 后山一根葱 Centos 64位使用 yum 会安装两个相同软件包的解决方法 [Linux] post by 后山一根葱 / 20 ...
- CentOS 7下源码编译安装新版本内核
在工作中,很多时候由于需要使用新的技术方案,需要较新版本的内核来支持新的功能,而CentOS系统自带的内核版本普遍都比较旧,因此我们需要对系统的内核进行升级,安装新版的内核.在此,以CentOS 7系 ...
- Linux(CentOS 7_x64位)系统下安装RDkit(修正)
Linux(CentOS 7_x64位)系统下安装RDkit(修正) 一.RDKit简介 Linux(CentOS 7_x64位)系统下安装RDkit点击打开链接 前面写的一篇CentOS 7下安装R ...
- Centos 6.5 Pxe+kickstart 无人值守安装操作系统
Centos 6.5PXE+kickstart 无人值守安装操作系统 PXE一种引导方式.进行 PXE 安装的必要条件是在要安装的计算机中必须包含一个 PXE 支持的网卡(NIC),即网卡中必须要有 ...
- (总结)CentOS 6.x使用yum快速安装Apache+PHP+Tomcat(JSP)+MySQL
(总结)CentOS 6.x使用yum快速安装Apache+PHP+Tomcat(JSP)+MySQL PS:这个是懒人yum快速安装法,用于开发和测试环境很方便,用于没有特殊要求的生产环境也可以.特 ...
- 【经验】CentOS 5.2 下用Yum安装Apache+PHP+MySQL环境
CentOS 5.2 下用Yum安装Apache+PHP+MySQL环境 Fedora 8下用Yum安装Apache+PHP+MySQL环境 fedora8 用yum来管理安装Apache+PHP+M ...
- CentOS 6.x使用yum快速安装MySQL 5.5
MySQL 5.5系列成为稳定版已经有一段时间了,但据我调查了解,在生产环境中还是以5.1系列为主.在国内的大公司里,只确定金山在使用5.5了. 之前一直用自带安装的MySQL 5.1系列,使用了in ...
- Centos 6.x/7.x yum安装php5.6.X
鉴于Centos 默认yum源的php版本太低了,手动编译安装又有点一些麻烦,那么如何采用Yum安装的方案安装最新版呢.那么,今天我们就来学习下如何用yum安装php最新版. 1.检查当前安装的PHP ...
最新文章
- poj 1964 Cow Cycling(dp)
- Input.GetTouch 获取触摸
- Python--day8--Socket编程/异常处理
- String,char,数组,列表 相互转化 (更新中)
- 【预测模型】基于matlab GUI AR模型线性预测【含Matlab源码 942期】
- 【项目简介】LinkWeChat:基于企业微信开源系统
- 计算机文化基础清华大学PPT,数据库基础知识清华大学计算机文化基础.ppt
- word to latex 2.56安装方法
- Python 计算两点之间的距离
- 计算机电脑网络电缆,宽带连不上网,电脑显示网络电缆被拔出
- java导出用什么_Java导出Excel
- 谷歌浏览器提示您的连接不是私密连接怎么办
- VNode 是什么? 什么是虚拟 DOM?
- PCM音频文件格式的头信息
- Bochs 调试指令
- 目标检测框架网络模型分析(二 双塔奇兵)
- stm32【GT30L32S4W字库芯片】
- AndroidManifest.xml解析
- 各大搜索引擎之间转换,搜索引擎集合,新站登陆搜索引擎
- 让窗口一直在上面 (转)