Linux环境Hadoop的下载安装

准备工作：JDK1.8的安装和 SSH免密登录

1. Hadoop的下载

windows在Apache官网下载2.7.6的binary文件，通过FTP传输到centOS虚拟机。

2. 解压安装：tar xzvf hadoop-2.7.6.tar.gz -C /usr/local/hadoop

3. 查看安装的版本是多少位的

先切换到目录hadoop下的lib/native目录

cd /usr/local/hadoop/lib/native

file libhadoop.so.1.0.0 发现已经是64位的。Apache官网目前已经提供了一些64位的数据文件，不用再自己编译。

4. Hadoop安装包的目录结构

5. Hadoop配置文件的修改

Hadoop安装主要就是配置文件的修改，一般在主节点进行修改，完毕后使用scp命令下发给其他各个从节点机器。

切换目录cd /usr/local/hadoop/etc/hadoop，所有配置都是在此目录下进行。

（1）配置hadoop-env.sh (此步骤必不可少）

执行命令vim hadoop-env.sh

设置JAVA_HOME: export JAVA_HOME=/usr/local/jdk

(2) 配置core-site.xml： vim core-site.xml

（3）配置hdfs-site.xml

（4）配置mapred-site.xml

（5）配置yarn-site.xml

（6）配置slave文件

6. 将Hadoop添加到环境变量中：vim /etc/profile

在最后加上export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存之后，source /etc/profile使此配置立即生效.

7. 以上都是中centos-hadoop-node-01主节点上面进行的配置，从节点不用分别进行复杂的配置，可以使用scp命令将Hadoop安装包从主节点拷贝到从节点虚拟机上面。

scp -r /usr/local/hadoop/ root@centos-hadoop-node-02:/usr/local

scp -r /usr/local/hadoop/ root@centos-hadoop-node-03:/usr/local

scp -r /usr/local/hadoop/ root@centos-hadoop-node-04:/usr/local

8. 配置文件注意事项

Apache官网文档中可以查看默认的配置和已经过时的配置

Linux环境Hadoop的下载安装相关推荐

【Nginx】Nginx在Windows、Linux环境下的下载安装详细步骤
文章目录 Nginx下载安装 Nginx-windows安装下载安装启动 Nginx-Linux安装下载准备安装启动检查 Nginx常用命令 Nginx下载安装 Nginx跨平台,在w ...
linux校园网客户端,Ubuntu Linux环境下校园网客户端安装使用
最近发现好多兄弟姐妹不用Linux原因是在我们学校大大环境下上校园网有点费劲,或者干脆就不会弄,亦或者根本就没想到上网^_^ 这里我写上这么一段简单的过程,为了大家能够顺利上网,大牛直接掠过,不要喷我 ...
Linux环境下Python的安装过程
Linux环境下Python的安装过程前言一般情况下,Linux都会预装 Python了,但是这个预装的Python版本一般都非常低,很多 Python的新特性都没有,必须重新安装新一点的版本,从 ...
Linux环境下Protobuf完整安装和使用教程
Linux环境下Protobuf完整安装和使用教程目标下载和安装环境配置一个例子 1.报文定义 2.报文生成 3.使用报文 4.编译程序 5.常见问题: 目标本文将教会一个完全的新手如何搭建 ...
hp ux安装mysql5.1.56_详细讲解Linux环境下MySQL5.1安装步骤
1.下载MySQL免安装版/二进制版软件(不用编译) 文件格式:MYSQL-VERSION-OS.tar.gz 2.创建MySQL组,建立MySQL用户并加入到mysql组中 (不同版本的Unix中, ...
linux环境下使用virtualbox安装ghost系统
linux环境下使用virtualbox安装ghost系统环境为Ubuntu 18.04LTS,这次难点在于使用virtualbox如何使用虚拟机外部的文件安装系统.后来看到加载iso很方便,就往这 ...
k8s简介以及linux环境下的详细安装步骤
k8s简介以及linux环境下的详细安装步骤 k8s是Kubernetes的简称,Kubernetes中间有8个单词,所以叫k8s,就是这么简单粗暴. 我们可以看到docker的图标是鲨鱼,k8s的图 ...
Linux环境搭建记录——GitLab安装
Linux环境搭建记录 GitLab安装 GitLab安装更多GitLab详细信息请参考:GitLab官方文档分步指南获取GitLab资源可以访问 https://mirrors.tuna.t ...
Windows、linux环境下neo4j下载教程梳理
Windows.linux环境下neo4j下载,无需注册安装好java 后,要下载 neo4j ,但是官网打不开,下载不了.虽然网上那么多教程,但是小白的我试了N多命令,很多教程是关于 neo4j- ...

Linux环境Hadoop的下载安装

Linux环境Hadoop的下载安装相关推荐

最新文章

热门文章