[ 安装 ] Hadoop安装步骤!
Hadoop安装步骤
- 一、准备工作
- 二、具体步骤
- (一)解压
- (二)更改权限
- (三)Hadoop配置
- hadoop-env.sh
- core-site.xml
- hdfs-site.xml
- (四)yarn配置
- 1.配置mapred-site.xml
- 2.配置yarn-site.xml
- 3.启动yarn
- (五)环境变量配置
- (六)启动\关闭 服务
- (七)服务启动时输入密码优化
- (八)HDFS测试
前言:下文中的IP地址、文件路径、主机名等,请根据您自己的实际情况,进行修改和配置。
Hadoop260下载链接 | 提取码:byfa |
---|---|
Hadoop-native下载链接 | 提取码:dgct |
一、准备工作
安装一台虚拟机(★★★ 虚拟机 CentOS 7的安装步骤 ★★★)
安装JDK环境(★★★ JDK安装步骤 ★★★)
启动一台虚拟机,并连接至Xshell、Xftp(连接方法)
建议在虚拟机里 opt 文件夹下单独创建两个文件夹(download、software),用来存放安装包和软件
建议在 software 目录下新建一个子目录 hadoop ,用来存放 hadoop 生态圈的相关软件
需要将 hadoop-2.6.0-cdh5.14.2.tar.gz 和 hadoop-native-64-2.6.0.tar 文件,上传至 download 目录。或者在shell窗口内,输入命令:
yum install lrzsz
,待加载完毕后可以直接将Windows下的文件拖拽至shell窗口内
提示:hadoop-native-64-2.6.0.tar 根据自己需要进行安装
二、具体步骤
(一)解压
1. 输入命令:tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/software/hadoop/
,将文件解压至目标路径下。
2. 解压完毕后,到 software 的 hadoop 目录的下,输入命令:mv hadoop-2.6.0-cdh5.14.2/ hadoop260
,将文件重命名。
【自选步骤】 输入命令:cd hadoop260/lib/native/
,进到解压好的hadoop260文件夹下的native目录里,输入命令:ls
,却发现什么文件都没有,这时,你再输入命令:tar -xvf /opt/download/hadoop-native-64-2.6.0.tar
,将download里的对应的文件解压到此目录下,再输入命令:ls
,就会发现多了很多文件。
下面这招对于解决,在启动 dfs 重遇到 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 这种报错时,有效果。【亲测有效】
输入命令:cd /opt/software/hadoop/hadoop260/etc/hadoop
、vi hadoop-env.sh
,将 HADOOP_OPTS 修改成如下代码。
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
(二)更改权限
进到/opt/software/hadoop目录下,输入命令:chown -R root:root hadoop260/
,用来更改文件目录权限,更改完毕之后,可通过命令:ls -la
,来查看。
(三)Hadoop配置
hadoop-env.sh
输入命令:cd /opt/software/hadoop/hadoop260/etc/hadoop
,进入此文件夹下,输入命令:vi hadoop-env.sh
,进行配置,利用命令:echo $JAVA_HOME
,找到Java路径,并添加到配置项里,命令如下。配置完成后保存并退出。
export JAVA_HOME=/opt/software/jdk180
core-site.xml
输入命令:cd /opt/software/hadoop/hadoop260/etc/hadoop
,进入此文件夹下,输入命令:vi core-site.xml
,进行配置。将 < configuration ></ configuration > 部分修改成下方命令。
<configuration><property><name>fs.defaultFS</name><value>hdfs://192.168.59.200:9000</value></property><property><name>hadoop.temp.dir</name><value>/opt/software/hadoop/hadoop260/tmp</value></property><property><name>hadoop.proxyuser.root.users</name><value>*</value></property><property><name>hadoop.proxyuser.root.users</name><value>*</value></property>
</configuration>
hdfs-site.xml
输入命令:cd /opt/software/hadoop/hadoop260/
,进入此文件夹下,新建一个 tmp 文件夹,在 tmp 文件夹下,再新建两个 name 、 data 文件夹,取 name 、 data 两个文件夹的路径并保存。
输入命令:cd /opt/software/hadoop/hadoop260/
,进入此文件夹下,输入命令:vi hdfs-site.xml
,进行配置。将 < configuration ></ configuration > 部分修改成下方命令。
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/software/hadoop/hadoop260/tmp/name</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/software/hadoop/hadoop260/tmp/data</value></property>
</configuration>
(四)yarn配置
输入命令:cd /opt/software/hadoop/hadoop260/etc/hadoop
,进到此文件下,输入命令:mv mapred-site.xml.template mapred-site.xml
,将 mapred-site.xml.template 这个文件重命名。
你也可以通过命令:cp mapred-site.xml.template mapred-site.xml
,来复制一份出来并重命名,这一步主要是为了保留模板文件。
1.配置mapred-site.xml
输入命令:vi mapred-site.xml
,进行配置,将 < configuration ></ configuration > 部分修改成下方命令。
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>192.168.59.200:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>192.168.59.200:19888</value></property>
</configuration>
2.配置yarn-site.xml
输入命令:vi yarn-site.xml
,进行配置,将 < configuration ></ configuration > 部分修改成下方命令。
<configuration><property><name>yarn.resourcemanager.localhost</name><value>localhost</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>
</configuration>
3.启动yarn
这边先不忙启动 yarn 。
(五)环境变量配置
1. 输入命令:vi /etc/profile
,进入配置文件,输入下方命令,进行配置,配置完毕后保存并退出,输入命令:source /etc/profile
,重新载入配置文件。
#HADOOP
export HADOOP_HOME=/opt/software/hadoop/hadoop260
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME
2.重置完 /etc/profile 后,直接输入命令:hdfs namenode -format
,进行格式化。
(六)启动\关闭 服务
启动:
1. 格式化完毕之后,输入命令:start-dfs.sh
,打开服务。其间需要你输入若干次密码和 yes/no ,该密码为当前虚拟机用户的密码,根据实际情况输入 yes/no ,当然一般情况下全部都是 yes 。
2.输入命令:start-yarn.sh
,启动 yarn 服务。
3. 当跳转完毕之后,输入命令:jps
,来查看服务是否已经开启。
你也可以通过命令:start-all.sh
,来启动所有 hdfs 和 yarn 服务。
关闭:
1. 输入命令:stop-dfs.sh
,关闭 hdfs 服务。
2.先输入命令:stop-yarn.sh
,关闭 yarn 服务。
3. 当跳转完毕之后,输入命令:jps
,来查看服务是否已经完全关闭。
你可先输入命令:jps
,查看端口号,然后再输入命令:kill -9 (端口号)
,就能关闭。如果想关闭全部服务,则可以输入命令:stop-all.sh
,来关闭所有 hdfs 和 yarn 服务。
(七)服务启动时输入密码优化
没有做过 免密操作 ,启动和关闭服务时就要频繁输入密码 ,如果你想避免频繁输入密码,那你就点这里!
(八)HDFS测试
1. 如果服务启动成功,在 web 端输入 URL: 192.168.59.200:50070
,则会进行页面转跳,此界面是 hadoop 的 web 端窗口。
2. 尝试利用下方命令在 shell 窗口对 hdfs 进行操作,每操作一步可在下图指示处查看。
hdfs dfs -ls / #查看hdfs目录
hdfs dfs -mkdir /test
hdfs dfs -chmod -R 777 /test #递归修改目录或文件权限
hdfs dfs -rm -r /test #递归删除
hdfs dfs -put FILE /test #上传文件FILE至hdfs根目录下的test目录
hdfs dfs -get /test/FILE #下载hdfs根目录下test目录中的FILE
hdfs dfs -rm -f /test/FILE #删除hdfs根目录下test目录中的FILE
hdfs dfs -cat /test/FILE
3. 如果提示无法进入该网站,建议尝试点击“重新载入”并等待1~2分钟,如果尝试过后仍不能访问,就要回头查看服务是否启动成功。
提示:如果再不行,那就换换浏览器吧。
[ 安装 ] Hadoop安装步骤!相关推荐
- VMware上安装Hadoop安装配置与教程小白必看
VMware上安装Hadoop安装配置与教程小白必看 安装Hadoop前准备工作 进入BIOS模式开启虚拟化 安装虚拟机VMware并安装ubuntu Hadoop安装与配置 启动终端 创建新用户并设 ...
- Linux下安装hadoop的步骤
一.前期准备: 下载hadoop: http://hadoop.apache.org/core/releases.html http://hadoop.apache.org/common/releas ...
- [Hadoop]在Windows上安装Hadoop
详细步骤请下载附件:在Windows上安装Hadoop ,以下是主要章节: 1.引言 本示例主要介绍如何在windows下安装/启动hadoop,本示示例中在以下环境测试通过: ★ 操作系统:wind ...
- Centos7普通用户安装Hadoop
Centos7普通用户安装Hadoop 前置步骤 root用户下需要进行的操作 hadoop用户的操作 配置三台机器之间的免密登录(hadoop用户) Hadoop配置(test1的hadoop用户) ...
- vmware虚拟机上的centos安装Hadoop,以及在本地eclipse上运行mapReduce项目,并将文件输出到HDFS中...
注意centos主机名不支持下划线,所以文章中若出现centos_02.com,请替换为 centos02.com vmware虚拟机上的centos安装Hadoop 安装vmware虚拟机 虚拟机上 ...
- 超详细 Hadoop 安装(内附ssh免密登录,图文详解,小白必看)
Hadoop 伪分布安装 (内附ssh免密登录,收藏起来看哦) 目录 Hadoop 伪分布安装 (内附ssh免密登录,收藏起来看哦) 一: 安装前准备 二: jdk 安装,java环境配置 ...
- hadoop安装详细步骤_推荐一个超详细的Hadoop安装教程,已有32万次阅读
安装Hadoop软件系列,首选Linux系统,比如Ubuntu.如果你的系统是Windows,建议再安装一个Ubuntu,组成双系统,如此可以发挥各自系统的特点. 使用U盘制作一个系统,拿出一块分区用 ...
- 大数据基础系列 4:伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析
文章目录 前言 一.创建 Ubuntu 用户 二.安装 Java 2.1.查看本地 Java 版本 2.2.验证 Java 在本地的配置情况 三.安装 ssh 服务 3.1.安装 openssh-se ...
- 零基础linux安装hadoop步骤,hadoop的Linux下简单安装步骤
首先安装Hadoop cluster版本: $ curl -O http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u6.tar.gz $ cd / ...
- Hadoop 安装(详细步骤)
前期操作 下载 hadoop 安装包至安装目录 安装目录:/opt hadoop版本:hadoop-2.6.0-cdh5.14.2.tar.gz 解压安装包至软件目录(最好更名,以便之后方便配置文件) ...
最新文章
- sql server分布式事务解决方案[新事务不能登记到指定的事务处理器中错误]
- ubuntu 中安装memcache,并给出一个简单的实例·
- Loss Function , Cost Function and Kernel Function in ML(To be continued)
- 开源播放器 Banshee 发布 1.0 beta 2
- 基于主动学习算法减少人工标注量,提升文本标注效率的方案探究
- c# 操作IIS应用程序池
- python的cubes怎么使用_如何使用python中的opengl?
- 编译原理——实验叁——基于YACC的TINY语法分析器的构建
- 微服务架构的核心要点和实现原理解析
- jquery.alerts.js模拟js的alert,confirm的插件
- Android Jetpack组件之App Startup,源码+原理+手写框架
- 32位win10服务器系统,win10原版32位
- html面中select下拉框回显,select下拉框数据回显
- 计算机无法同步时间同步,在win10中,为什么电脑时间不能同步?
- 基于Android的医院预下单叫号排队系统
- 笔记1之极大值分布问题
- 还原一个真实的银行待遇
- xmuoj《C++与Python语法入门练习(By郭炜老师)》python参考代码
- SpaceVR真的要上天,让你星际穿越不是梦
- 网络安全售前工程师需要具备哪些能力?