Ubuntu下Hadoop的安装教程
Ubuntu下Hadoop的安装教程,Hadoop的单机配置和伪分布式安装
教程
本教程采用的是Ubuntu18.04.4+hadoop2.7.7+jdk1.8
创建Hadoop用户
打开命令行终端(ctrl+alt+t),输入如下命令创建hadoop用户:sudo useradd -m hadoop -s /bin/bash
为hadoop用户设置密码:sudo passwd hadoop
(连续输入两次)
hadoop用户增加管理员权限:sudo adduser hadoop sudo
。
apt工具更新
sudo apt-get update
若出现如下错误:
可以使用以下语句进行解决sudo rm /var/lib/apt/lists/lock
(亲测有效,可以用)
SSH的安装
检查ssh是否已经安装启动,有sshd说明已经启动。
sudo ps -ef | grep ssh
Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
sudo apt-get install openssh-server
登录ssh(首次登录会有提示,按提示输入yes):
ssh localhost
紧接着退出登录,设置无密码登录,使用ssh-keygen 生成密钥,并将密钥加入到授权中:
exit
cd ~/.ssh/
ssh-keygen -t rsa # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys
之后便可直接利用ssh localhost
进行无密码登录。
Java环境的搭建
JDK的安装我采用的是手动安装,将压缩的jdk安装包jdk-8u261-linux-x64.tar.gz先进行下载,假设保存在“/home/zheng/Downloads/”目录下,之后执行如下代码:
cd /usr/lib
sudo mkdir jvm #用来存放jdk文件夹,如果已有该文件夹,则跳过此步骤
cd ~ #进入主目录
cd Downloads
sudo tar -zxvf ./jdk-8u262-linux-x64.tar.gz -C /usr/lib/jvm #解压jdk文件
mv jdk1.8.0_262 java #修改jdk文件名为java,如果出错,请先用“ls”查看该路径是否有该文件夹
紧接着为jdk设置环境变量:
cd ~
vi ~/.bashrc
在编辑器中添加以下几行代码:
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
保存.bashrc文件并退出编辑器,使用source ~/.bashrc
让文件配置生效。
使用java -version
检查安装是否完成,如果显示版本信息,则安装已经完成。
安装Hadoop
通过Hadoop镜像进行下载,选择tar.gz格式的文件,本教程采用hadoop-2.7.7.tar.gz版本进行安装。
将安装包下载并安装在/usr/local下:
sudo tar -zxvf /usr/local/hadoop-2.7.7.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-2.7.7/ ./hadoop #将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop #修改文件夹权限
解压完使用以下代码验证是否可用,如果出现版本信息则表示已成功:
cd /usr/local/hadoop
./bin/hadoop version
Hadoop单机配置
使用Hadoop自带例子进行调试,创建input文件夹,将输出数据存放在output文件夹下。
cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件拷贝到input文件夹下
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/* # 查看output文件夹下运行结果
若出现以下结果,则代表执行成功。
再次运行上面例子会出错,需要先将output文件夹删除。rm -r ./output
Hadoop伪分布式配置
伪分布式需要修改 /usr/local/hadoop/etc/hadoop/ 下的core-site.xml 和 hdfs-site.xml 文件。
修改配置文件 core-site.xml:vi ./etc/hadoop/core-site.xml
为xml中的configuration 标签添加如下内容:
<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
同样的,修改配置文件 hdfs-site.xml:
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>
配置完成后,即可进行NameNode 的格式化:
cd /usr/local/hadoop
./bin/hdfs namenode -format
如果倒数第五行有“Exitting with status 0” 的提示,即表示成功。
然后开启 NameNode 和 DataNode 守护进程。
cd /usr/local/hadoop
./sbin/start-dfs.sh
此处会有ssh提示,按照提示输入yes即可。
若出现如图错误,找到"/usr/local/hadoop/etc/hadoop/hadoop-env.sh”该文件,在里面找到“export JAVA_HOME= J A V A H O M E ” 这 行 , 将 其 中 的 “ {JAVA_HOME}”这行,将其中的“ JAVAHOME”这行,将其中的“{JAVA_HOME}”改为具体地址,比如,“export JAVA_HOME=/usr/lib/jvm/java”,然后,再次启动Hadoop即可。
启动完成后,可以通过命令 jps
来判断是否成功启动。若成功,则会出现下图类似结果。
成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
Ubuntu下Hadoop的安装教程相关推荐
- Ubuntu下hadoop的安装与简单应用
1. 安装jdk和ssh 1.1 下载jdk jdk下载地址:https://www.oracle.com/java/technologies/javase-jdk14-downloads.html ...
- ubuntu下mysql5.7安装教程_Ubuntu 16.04 上安装 MySQL 5.7 教程
介绍 MySQL 是一种开源数据库管理系统,通常作为流行的LAMP(Linux,Apache,MySQL,PHP / Python / Perl)堆栈的一部分安装.它使用关系数据库和SQL(结构化查询 ...
- PyTorch——Ubuntu上Pytorch的安装教程
1 致谢 感谢网友夜幕下的光123提供的帮助, 原文链接如下: https://blog.csdn.net/songchunxiao1991/article/details/95192063 2 前言 ...
- Ubuntu 10.10安装配置指南Ubuntu 11.10 图形安装教程
Ubuntu 11.10 (Oneiric Ocelot )图形(图解)安装教程.基本设置.网络设置.软件源.语言与输入法.硬件驱动.Unity.Gnome3.Ubuntu文档.制作USB Live. ...
- Ubuntu的docker详细安装教程
docker是一个容器管理的软件,容器背后其实就是一个进程:类似于一个集装箱. docker的官方下载地址:Install Docker Engine on Ubuntu | Docker Docum ...
- Ubuntu安装及Ubuntu下常用软件安装(不断补充)及Windows相关--软件开发用途
之前一直使用Window系统,现在工作中大家主流使用Ubuntu,同事帮忙装个Ubuntu系统,事后写一下安装过程,以备后续再次安装查阅. 1Ubuntu安装 1.1Ubuntu文件下载: Ubunt ...
- 家用服务器虚拟机装hadoop,超详细hadoop虚拟机安装教程(附图文步骤)
前两天看到有人留言问在什么情况下需要部署hadoop,我给的回答也很简单,就是在需要处理海量数据的时候才需要考虑部署hadoop.关于这个问题在很早之前的一篇分享文档也有说到这个问题,数据量少的完全发 ...
- Centos7下Fluka的安装教程(保姆级)
Centos7下Fluka的安装教程(保姆级) 1 安装Fluka 首先大家去官网下载,在下载之前需要注册为fluka用户,下载之后就可以将其放在合适的位置进行解压,命令如下: tar -zxvf f ...
- Ubuntu下使用Anaconda安装opencv 解决无法读取视频
Ubuntu下使用Anaconda安装opencv 最近在Ubuntu16.04下使用Anaconda安装opencv,碰到很多坑,记录备忘. cv2.VideoCapture(filename) 返 ...
最新文章
- String复习笔记
- 动态连接库的两种方式
- 为何2018年中国自然灾害损失大幅下降?官方回应
- C语言试题十二之m个人的成绩存放在score数组中,请编写函数function,它的功能是:将低于平均分的人数作为函数值返回,将低于平均分的分数放在below所指定的数组中。
- 已知网友建立html,职称计算机模拟试题:Dreamweaver网页设计模拟试题及答案(5)...
- 双绞线传输距离_一看就懂的网络传输介质介绍
- quadprog函数的介绍和应用,二次规划函数
- 电脑计算器_教训!19年中级败给了电脑计算器,CPA难道要步后尘?
- 数据包接收系列 — 上半部实现(内核接口)
- C语言关键字必备练习题
- 手机屏幕坏了____怎么把里面的资料导出(18种方法)
- [足式机器人]Part3机构运动微分几何学分析与综合Ch01-1 平面运动微分几何学——【读书笔记】
- shell 追加指定内容至某文件
- linux cp并打包目录,【linux】【qt5】【将linux下的qt程序打包发布(完全适用于中标麒麟)】...
- 在sql执行横表转换过程中,出现特殊字符‘∞’
- UVa Problem 10067 Playing With Wheels (摆弄轮子)
- Linux执行yum不显示时间图形,Linux命令yum
- Unity发布WebGL注意事项以及移动端打开webgl网页
- 个人档案以及博客声明
- 解决配置vim之后不能鼠标右键复制问题