史上最详细的hadoop安装教程
一、引言
首先说明一下,本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样,那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。
本机的配置环境如下:
Hadoop(3.1.1)
Ubuntu Linux(64位系统)
二、安装ssh服务
ubuntu中默认是没有安装ssh server的,只有 ssh client,可以使用如下命令安装:
sudo apt-get install ssh openssh-server
默认root用户是无法通过ssh连接到ubuntu的,修改配置文件
vim /etc/ssh/sshd_config
把 PermitRootLogin yes 按照这个配置
三、安装Hadoop
1.下载Hadoop安装包
可以到如下网址下载:http://apache.stu.edu.tw/hadoop/common/hadoop-3.1.1/
2.解压
把压缩包传到 /usr/local/目录中
使用如下命令解压缩Hadoop安装包:
tar -zxvf hadoop-3.1.1.tar.gz
解压完成之后出现Hadoop-3.1.1的文件下如下:
3.配置Hadoop中相应的文件
我使用的是Hadoop的伪分布式,因此需要配置的文件如下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,所有的文件均位于hadoop3.1.1/etc/hadoop下面,
具体需要的配置如下:
(1)core-site.xml 配置如下: 目录文件不需要你自己去创建会自动生成。
<configuration><property><name>hadoop.tmp.dir</name><value>file:/home/root/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
(2)mapred-site.xml.template配置如下:
把mapred-site.xml.template 复制一份 cp mapred-site.xml.template mapred-site.xml,然后配置
mapred-site.xml这个文件内容
<configuration>
<property><name>mapred.job.tracker</name><value>localhost:9001</value></property></configuration>
(3)hdfs-site.xml配置如下:
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/home/root/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/root/hadoop/tmp/dfs/data</value></property>
</configuration>
(4)hadoop-env.sh配置如下:
查看你的 jdk安装目录
echo $JAVA_HOME
export JAVA_HOME="/usr/local/jdk8"
四、运行Hadoop
1.首先你需要初始化HDFS系统
在hadop3.1.1目录下使用如下命令:
bin/hdfs namenode -format
成功之后截图如下:
表示已经初始化完成。
2.开启NameNode和DataNode守护进程
在hadop3.1.1目录下使用如下命令:
sbin/start-dfs.sh
成功之后截图如下:
3.查看进程信息
在hadop3.1.1目录下使用如下命令:
jps
成功之后截图如下:
4.查看Web UI
在浏览器中输入http://localhost:50070,即可查看相关信息。但是有些同学可能出现访问不了50070端口的问题。你可以在终端使用
netstat -ntlp
查看一下服务器启动的端口。
以后关机在启动hadoop只需要执行sbin/start-all.sh就可以启动hadoop了
sbin/start-all.sh
然后一个个尝试,我最终找到的HDFS nameNode 的登陆端口是9870
成功之后的截图如下:
史上最详细的hadoop安装教程相关推荐
- 史上最详细宝塔面板安装教程(收藏)
下面稍微介绍一下如何使用阿里云服务器安装宝塔面板. 概述 如果还有不了解宝塔面板怎么使用的小伙伴,可以看下我总结的系列教程,保证从新手变老鸟: [建站流程科普] 个人和企业搭建网站基本流程及六个主要步 ...
- 史上最详细的Vmware安装教程(一)-创建Linux虚拟机
本文将演示如何使用Vwmare workstation软件创建Linux虚拟机,通过学习,我们将可以按照自己下需求,来创建一个安装Linux操作系统(Centos)的虚拟机,虚拟机的CPU.硬盘.网卡 ...
- 安装unzip_史上最详细的WordPress安装教程(六):安装WordPress
程序下载 WordPress官网下载安装源码,也可以在中文官网下载中文版:https://cn.wordpress.org/download/. 如果一直429,那就百度其它下载资源吧,无解. 下载源 ...
- 安装thymeleaf 插件_史上最详细的WordPress安装教程(四):安装mysql 5.7
安装mysql 添加源 rpm -Uvh http://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm#或wget http: ...
- Wordpress 修改 mysql 插件_史上最详细的WordPress安装教程(三):安装php 5.6及fpm、pdo、mysql等插件...
安装php 5.6 yum -y install epel-release rpm -ivh http://rpms.famillecollet.com/enterprise/remi-releas ...
- kali安装python gui_黄聪:史上最详细的kali安装教程没有之一
首先在vm里面新建虚拟机,直接选择典型,然后下一步. 1 2 然后到了这一步,选择中间的安装程序光盘镜像文件,然后去文件里面找你自己下载的镜像,这时候可能系统会出现无法检测此光盘镜像中的操作系统,没关 ...
- 史上最详细版Centos6安装详细教程
镜像CentOS-6.8-x86_64-bin-DVD1.ISO 将下载好的镜像上传到服务器,并选择该镜像(详情请看上篇exsi镜像上传文章) 一.安装开始 开机选择第一项 这里询问我们是否要对光盘进 ...
- GitChat·大数据 | 史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 [不要错过文末彩蛋] 前言 Hadoop在大数据技术体系中的地位至关重要 ...
- 最详细的Hadoop安装教程
最详细的Hadoop安装教程 前言 Hadoop 在大数据技术体系中的地位至关重要,Hadoop 是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远. 这是一篇 ...
- 史上最详细的LXR安装介绍
史上最详细的LXR安装介绍(Ubuntu14.04+Apache2.4.7) 简介: LXR (Linux Cross Reference)是一个通过交叉索引方便用户查看项目源代码的工具.项目地址:h ...
最新文章
- Python的setuptools详解【2】find_packages()
- JAVAspringboot微服务b2b Spring MVC+mybatis+spring cloud+spring boot+spring security
- Java中Socket通信-客户端与服务端相互传输对象数据
- Javascript代码优化的8个知识点
- SparkStreaming入门及例子
- 论文解读:深度监督网络(Deeply-Supervised Nets)
- c和c++的结构体使用
- HTML5营销代理商设计机构网站模板
- ajax control toolkit vs2013,VS2008 .net framework 3.5使用Ajax Control Toolkit完整解决方案
- vue中获取输入框中得到值_如何获取vue input的值
- Oracle查看IP操作,Oracle VM VirtualBox虚拟机ip addr命令查看ip不显示以及静态IP设置
- RAMOS (内存操作系统)-无忧百科(不断完善中)
- EasyUi入门教程01
- 两个水壶相互倒水—水壶问题
- 高德API 经纬度转换地市区县(含读取文件)
- vue导出excel加一个进度条_vue项目中如何把数据导出成excel文件
- 破解微信 DB, 导出 Mac 微信聊天记录
- SpringBoot专栏:集成mybatis以及restful风格样例演示(第8讲)
- 手机资费相关问题的解答
- shell屏蔽错误和警告输出
热门文章
- c语言作业大全,C语言练习题(答案)
- 计算机二级c语言填空题库,全国计算机二级C语言填空题库.doc
- Kotlin 常用API汇总
- bat命令打开指定网页进入全屏
- Python语言程序设计课程论文——Python小游戏
- fmea第五版pfmea表格_解读第五版FMEA“六步法”(附第五版FMEA表单下载)
- 完全免费绝地求生吃鸡罗技宏
- atiny_log | LiteOS 物联网操作系统中的日志打印组件使用分享
- 医院耗材管理系统开发_17
- python函数手册pdf_Numpy函数手册(中文版).pdf