Ubuntu下hadoop的安装与简单应用
1. 安装jdk和ssh
1.1 下载jdk
jdk下载地址：https://www.oracle.com/java/technologies/javase-jdk14-downloads.html
1.2 安装jdk
下载jdk完成后，将其解压在以下目录：
1.3 设置环境变量
在/etc/profile中添加如下环境变量：
保存后执行如下命令，验证java，可以看到，jdk已经安装成功：
source /etc/profile
1.4 安装并运行ssh
sudo apt-get install openssh-server
启动ssh
sudo service ssh start
详细的安装和配置ssh过程，请看此篇
2. 安装hadoop
2.1 下载hadoop
hadoop下载地址：http://apache.communilink.net/hadoop/common/
2.2 安装hadoop
下载hadoop完成后，将其解压在如下目录：
2.3 配置环境变量
在/etc/profile中添加如下环境变量：
设置好路径后，使用如下命令使之生效：
source /etc/profile
2.4 配置文件hadoop-env.sh
修改/usr/hadoop/hadoop-2.7.7/etc/hadoop/hadoop-env.sh文件，在export JAVA_HOME=${JAVA_HOME}行前面插入如下内容：
export JAVA_HOME=/usr/java/jdk/jdk-14.0.1
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.7.7/etc/hadoop
3. 配置伪分布式
在/usr/hadoop/hadoop-2.7.7目录下新建一个temp的文件夹：
以下配置文件均在/usr/hadoop/hadoop-2.7.7/etc/hadoop/目录下。
3.1 配置 core-site.xml
<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/hadoop/hadoop-2.7.7/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
3.2 配置 hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/hadoop/hadoop-2.7.7/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/hadoop/hadoop-2.7.7/tmp/dfs/data</value></property>
</configuration>
关于Hadoop配置项的一点说明：
虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行，不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。
3.3 配置 yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>
3.4 配置mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property>
</configuration>
3.5 执行格式化
hdfs namenode -format
完成后是这样的界面：
3.6 启动 hadoop
在/usr/hadoop/hadoop-2.7.2/sbin目录下使用如下命令：
./start-all.sh
在浏览器中输入地址http://localhost:8088/，查看Hadoop 管理介面：
在浏览器中输入地址http://localhost:50070/，查看 Hadoop DFS 状态：
Ubuntu下hadoop的安装与简单应用相关推荐
- Ubuntu下Hadoop的安装教程
Ubuntu下Hadoop的安装教程,Hadoop的单机配置和伪分布式安装 教程 本教程采用的是Ubuntu18.04.4+hadoop2.7.7+jdk1.8 创建Hadoop用户 打开命令行终端( ...
- ubuntu下 teamviewer的安装方法（超简单，亲测可用）
ubuntu下 teamviewer的安装方法(超简单,亲测可用) 1.去官网下载安装包 官网链接:https://www.teamviewer.com/zhcn/download/linux/ 点击 ...
- Ubuntu下mongodb的安装与配置
MongoDB 是一个跨平台的,面向文档的数据库,提供高性能,高可用性和可扩展性方便.这里介绍在Ubuntu下mongodb的安装与配置. 1.下载 mongodb可以在官网上下载,地址,选择Ubun ...
- ubuntu下ffmpeg编译安装
ubuntu下ffmpeg编译安装 解决库链接不上的问题 ubuntu下ffmpeg编译安装 1.ffmpeg是什么东西?相信很多人第一次接触这个东西,我先在这里做个简单的介绍. FFmpeg是一 ...
- 在Ubuntu下rtorrent编译安装笔记
为什么80%的码农都做不了架构师?>>> rtorrent是一个Bittorrent软件,基于终端的BT客户端,高性能.低资源,另外有不少人给rtorrent开发了Web GU ...
- conda安装Pytorch下载过慢解决办法(11月26日更新ubuntu下pytorch1.3安装方法)
目录 添加清华源 安装PyTorch 3月5日更新ubuntu下pytorch1.0.1安装方法(Ubuntu16.04+CUDA9.0+PyTorch1.0.1) 7月23日更新ubuntu下pyt ...
- android rtorrent 编译,在Ubuntu下rtorrent编译安装笔记
rtorrent是一个Bittorrent软件,基于终端的BT客户端,高性能.低资源,另外有不少人给rtorrent开发了Web GUI来更好的让用户控制管理rtorrent,总而言之在Linux平台 ...
- Ubuntu下使用Anaconda安装opencv 解决无法读取视频
Ubuntu下使用Anaconda安装opencv 最近在Ubuntu16.04下使用Anaconda安装opencv,碰到很多坑,记录备忘. cv2.VideoCapture(filename) 返 ...
- 【区块链-以太坊】5 Ubuntu下truffle ganache安装及使用
[区块链-以太坊]5 Ubuntu下truffle & ganache安装及使用 1 truffle安装 1)输入sudo npm install -g truffle 2)将truffle复 ...
最新文章
- Lua代码加密，防止代码反编译
- (转)Windows重启延迟删除,重命名技术原理
- jquery 判断元素内容是否为空
- [Xcode 实际操作]四、常用控件-(5)UILabel文本标签自定义文字样式
- ICCV Neural Architects Workshop - 对话深度学习大咖
- python元组类型_Python数据类型之元组
- jcmd 命令_jcmd：一个可以全部统治的JDK命令行工具
- Ubuntu 14.04下安装Redis报错：“You need tcl 8.5 or newer in order to run the Redis test”问题解决
- Stupid cat Doge （分形图）
- java gui 单选_java GUI编程(swing)之三swing单选框复选框组件
- 使用 Web Workers
- 赵明晒荣耀20青春版三色真机图：哪款会是你的菜？
- 源数据怎么排查重复MySQL_面试官：在使用mysql数据库时，遇到重复数据怎么处理？...
- 触发事件_SAP 通过事件触发后台JOB
- 测试工程师，必须掌握的shell变量知识
- 系统工程师加薪必备技能－活动目录 (Active Directory)
- rk3399pro Andoid9.0 修改系统默认音量设置
- java编程 编写求解九宫格_java编程-九宫格问题
- shell脚本中执行ssh
- 禾穗HERS | 职场新人第一定律